正在閱讀:

4萬字告訴你ChatGPT到底是什么?(上)

掃一掃下載界面新聞APP

4萬字告訴你ChatGPT到底是什么?(上)

ChatGPT全稱為“Chat Generative Pre-trained Transformer”,Chat是聊天,GPT是“生成型預(yù)訓(xùn)練變換模型”,可以翻譯為“聊天生成預(yù)訓(xùn)練轉(zhuǎn)換器”或簡稱“優(yōu)化對話的語言模型”。

文 | 星船知造 錢鴻生

編輯 | 唐曉園

序言及摘要:

作為星船知造“現(xiàn)代通信與智能網(wǎng)技術(shù)展望”系列欄目的第一輯,我們邀請星船知造的資深讀者、通信行業(yè)教授級高級工程師錢鴻生博士為我們撰寫了《ChatGPT技術(shù)架構(gòu)及中國人工智能未來發(fā)展趨勢報告》。

報告正文共3.8萬字,在介紹了ChatGPT的進(jìn)化歷程、主要內(nèi)涵、底層技術(shù)架構(gòu)與邏輯后,提出ChatGPT潛在的商業(yè)價值和對資本市場影響的風(fēng)險管控警示。

并分析了算法和算力以及芯片技術(shù),對我國人工智能AI發(fā)展的制約與影響,最后切入我國AI產(chǎn)業(yè)結(jié)構(gòu)調(diào)整、建立AI法律保護(hù)與系統(tǒng)安全的視角,對發(fā)展我國人工智能產(chǎn)業(yè)提出一些前瞻性的趨勢分析和研判。我們將節(jié)選出報告中部分內(nèi)容,在星船知造公眾號分上、下兩篇發(fā)布。

今天的上篇主要聚焦第一章《ChatGPT的含義與OpenAI公司概況》中的“ChatGPT的基本功能模塊”;

第二章《ChatGPT的內(nèi)涵與底層技術(shù)架構(gòu)》中的“ChatGPT的DALLE2自然語言轉(zhuǎn)換成像技術(shù)”、“人工智能AI芯片的重要意義”、“人工智能中的算力單位pfs-day”等章節(jié)中的部分內(nèi)容。

同時節(jié)選第三章《ChatGPT的潛在商業(yè)價值與市場動態(tài)》中的“國內(nèi)投資者和廠商對ChatGPT的反應(yīng)”、“ChatGPT可能影響的行業(yè)初探”等章節(jié)中部分內(nèi)容。

ChatGPT含義與OpenAI公司概況

ChatGPT全稱為“Chat Generative Pre-trained Transformer”,Chat是聊天,GPT是“生成型預(yù)訓(xùn)練變換模型”,可以翻譯為“聊天生成預(yù)訓(xùn)練轉(zhuǎn)換器”或簡稱“優(yōu)化對話的語言模型”。

由美國人工智能公司OpenAI 開發(fā)的ChatGPT兩個月時間內(nèi)用戶已超1個億。

作為一款建立在云計算、海量數(shù)據(jù)庫、人工智能算法架構(gòu)和深度神經(jīng)網(wǎng)絡(luò)基礎(chǔ)之上開發(fā)的聊天機(jī)器人程序,ChatGPT不像傳統(tǒng)的搜索引擎一樣復(fù)制、粘貼、拼湊網(wǎng)上已有的信息給你。它的回答是有邏輯的、生動的,有上下文關(guān)聯(lián)的。

ChatGPT聊天機(jī)器人目前支持幾乎世界上所有的語言輸入。有人說未來它會像《流浪地球》系列電影中的智能量子計算機(jī)MOSS,不僅擁有超強(qiáng)算力,還有自我意識、自我迭代、自我更新的特點,最終演化出有思維的人工智能。

或許MOSS已經(jīng)離我們不遠(yuǎn)了。

OpenAI官網(wǎng)發(fā)布的ChatGPT系統(tǒng)界面

OpenAI初期是從事人工智能研究的非營利化組織,公司初期宗旨和使命是確保通用人工智能 (Artificial General Intelligence,AGI)在大多數(shù)具有經(jīng)濟(jì)價值的工作上超越人類。建造出安全的、符合共同利益的通用人工智能,也希望能預(yù)防人工智能的災(zāi)難性影響,推動人工智能技術(shù)發(fā)揮積極作用。

同時也針對谷歌在搜索引擎業(yè)務(wù)領(lǐng)域形成的壟斷優(yōu)勢,利用人工智能技術(shù)展開全面對抗。

OpenAI發(fā)展里程碑

2019年3月:OpenAl向資本市場開放,引入戰(zhàn)略投資者微軟公司,隨后宣布從非營利性質(zhì)過度到封頂營利性質(zhì),利潤上限為任何投資的100倍。創(chuàng)立了OpenAlLP公司。

2019年7月:微軟向OpenAI注資10億美金,并得到了OpenAl技術(shù)的商業(yè)化授權(quán),將OpenAl公司開發(fā)產(chǎn)品與微軟產(chǎn)品深度融合。

2020年6月:OpenAI宣布了GPT-3語言模型,發(fā)布了第一個產(chǎn)品OpenAl-API,從此OpenAl公司開始了正式商業(yè)運作。

2020年9月:OpenAl公司授權(quán)微軟公司使用其GPT-3模型,微軟成為世界首個享用OpenAl公司人工智能產(chǎn)品GPT-3的公司。

2021年:微軟再次對OpenAI投資,雙方合作關(guān)系正式進(jìn)入第二階段,微軟擁有OpenAI新技術(shù)商業(yè)化授權(quán),同時將OpenAI工具與自有產(chǎn)品再次進(jìn)行深度集成,并推出相應(yīng)產(chǎn)品。

2022年12月:OpenAI在微軟資助下,發(fā)布了人工智能模型,開發(fā)出了最新款人工智能產(chǎn)品,取名為ChatGPT。2個月后,ChatGPT的全球活躍用戶突破了1億。

2023年2月2日:OpenAI宣布推出ChatGPT Plus訂閱服務(wù),可以讓用戶在高峰期優(yōu)先使用人工智能聊天機(jī)器人 ChatGPT。

OpenAl還有兩個不為人知的小故事。其一關(guān)于馬斯克與OpenAI的歷史淵源。

馬斯克實際上是OpenAI創(chuàng)始人之一。2015年馬斯克聯(lián)合LinkedIn 創(chuàng)始人、Y Combinator總裁及 PayPal創(chuàng)始人等共同宣布創(chuàng)立OpenAI 公司,目標(biāo)說是打造屬于全人類的、開放的AI組織,其定位是非營利性的,不過在2018年馬斯克突然離開OpenAI。

外界傳聞有兩個版本:

一是特斯拉公司也在研究AI,與OpenAI 在研發(fā)方向上有沖突,馬斯克因此退出了董事會,但繼續(xù)擔(dān)任了OpenAI 公司的顧問。

二是馬斯克挖走了當(dāng)時剛從斯坦福大學(xué)博士畢業(yè)后加入OpenAI的天才少年安德烈,安德烈的研究方向為計算機(jī)視覺,主攻圖像識別和理解,當(dāng)時馬斯克的特斯拉也需要這樣的人才。于是馬斯克請這位安德烈去解決特斯拉的問題,為此OpenAI 公司一氣之下把馬斯克“踢”出董事會。

其二關(guān)于安德烈。出生于捷克斯洛伐克的安德烈全名安德烈·卡帕斯(Andrej Karpathy),作為ChatGPT發(fā)展中的重要人物,是位“85后”。29歲時在斯坦福大學(xué)拿到博士學(xué)位。讀博期間,他兩次到谷歌公司做畢業(yè)實習(xí)。

博士畢業(yè)后,安德烈2016年加入了當(dāng)時剛成立一年的OpenAI,是OpenAI創(chuàng)始團(tuán)隊的成員之一,只不過工作一年多后,就被馬斯克挖到特斯拉去了。

他被馬斯克迅速提升,接管了整個人工智能開發(fā)團(tuán)隊的軟件部分,并和負(fù)責(zé)硬件的Pete Bannon攜手主導(dǎo)了特斯拉車控智能軟件開發(fā)。在此之后,他還接管了擎天柱人形機(jī)器人、特斯拉超算系統(tǒng)Dojo的開發(fā),可以說是馬斯克手下最為重要的人工智能領(lǐng)軍人物。

特斯拉人形機(jī)器人 圖源:Tesla官網(wǎng)

2022年7月安德烈突然離開特斯拉,回歸OpenAI。

安德烈在自己的推特賬號上輕描淡寫說道:“我和許多其他人一樣,不管是處于AI圈的還是非AI圈,都被OpenAI的成果鼓舞感動了。我相信這家公司未來的潛力非常大,因此很高興重新投入到其中來?!?/p>

OpenAI很多人對安德烈7年后重新回到公司充滿了期待,給予他“讓CharGPT再次偉大(Make ChatGPT Great Again)”的厚望。

無論何時,在AI人工智能領(lǐng)域的人才爭奪都是如此激烈。

1.2.ChatGPT主要功能

OpenAI官網(wǎng)上說:我們已經(jīng)訓(xùn)練了一個名為ChatGPT的優(yōu)化對話的語言模型,它以對話方式進(jìn)行交互。

對話形式使 ChatGPT 能夠回答后續(xù)問題、承認(rèn)錯誤、挑戰(zhàn)不正確的前提并拒絕不適當(dāng)?shù)恼埱蟆hatGPT 經(jīng)過訓(xùn)練以遵循提示中的指令并提供詳細(xì)響應(yīng)。

和曾經(jīng)的人工智能是“讓計算機(jī)在固定場景下干固定的事”這個范疇不同,ChatGPT面對的是一個“open world”。全球目前上億用戶向它提問的問題是不可預(yù)知的。這恰恰是AI開發(fā)的難點。

ChatGPT目前系統(tǒng)功能主要是文本生成、聊天機(jī)器人、語言問答、語言翻譯、自動文摘、繪畫功能、編程功能、視頻生成等八大功能模塊所組成。如下圖所示 :

星船知造為您逐一稍作展開——

1.2.1文本生成

ChatGPT的文本生成功能可根據(jù)人們的提問,生成可讀的各種文本。文本生成功能通常用于生成新聞、博客、報告等內(nèi)容。也可用于生成代碼、詩歌、小說等各種不同類型文本。

下圖為星船知造編輯部讓ChatGPT寫一篇“關(guān)于中國充電樁各主要生產(chǎn)廠商前景”的報道,然后,它寫到一半卡住了

1.2.2 聊天機(jī)器人

ChatGPT大型語言模型可以實時回答人們提出的各種問題,ChatGPT可以記住你之前跟它說話的過程與內(nèi)容。

ChatGPT聊天機(jī)器人具有一定的記憶和思維判斷功能,能根據(jù)對話內(nèi)容,前后呼應(yīng)且有一定的語言邏輯推演能力,這也是ChatGPT聊天機(jī)器人區(qū)別于之前一些人工語言處理系統(tǒng)完全不一樣的地方。

1.2.3 語言問答

ChatGPT的語言問答系統(tǒng)是應(yīng)用人類語言處理技術(shù),通過識別用戶問題并匹配相應(yīng)答案來回答問題。它通過對大量數(shù)據(jù)學(xué)習(xí)和深度分析,以及對語言和語法的深入了解,幫助用戶快速找到所需的信息。

ChatGPT問答系統(tǒng)適用于售后服務(wù)與話務(wù)員應(yīng)答、醫(yī)療咨詢和教育等場景???4小時連續(xù)不斷地提供服務(wù)。

1.2.4語言翻譯

ChatGPT的語音翻譯是利用人工智能技術(shù),將各國不同的文字和語言進(jìn)行相互轉(zhuǎn)換,可直接把文字轉(zhuǎn)換成不同的語言。它通過使用計算機(jī)算法和語音數(shù)據(jù)庫來生成語音合成,可用于語音導(dǎo)航、機(jī)器人語音交互、同聲翻譯、語音自動識別等應(yīng)用。

1.2.5自動文摘

ChatGPT的自動文摘是一種利用人工智能技術(shù),針對大量文本和視頻內(nèi)容進(jìn)行簡化、概括的技術(shù)。它通常采用機(jī)器學(xué)習(xí)和自然語言處理方法,識別文本中的關(guān)鍵信息,生成簡明、準(zhǔn)確的摘要。

可在一次會議后馬上整理出會議紀(jì)要,或?qū)﹂L達(dá)2個小時的電話視頻做出一份10分鐘的會議摘要。自動文摘可以縮短文本閱讀時間和視頻閱讀時間,提高編寫會議的效率,幫助用戶快速了解文本內(nèi)容。它在新聞、科技、商業(yè)等領(lǐng)域都有應(yīng)用。

1.2.6繪畫功能

用戶可以在ChatGPT中寫一段有關(guān)畫作的文字描述,描述你想要畫出的圖片或影像要求。也可以借助ChatGPT的提示,使系統(tǒng)更詳細(xì)地了解你所要描繪的作品。對于產(chǎn)品廣告設(shè)計和期刊書籍的插畫是方便的工具。使用者不需要專業(yè)繪畫技術(shù)的積累。

1.2.7編程功能

大多數(shù)開發(fā)場景中,特別是用戶需求相對固定的場合,ChatGPT 可以用來編寫代碼,檢查代碼語義的準(zhǔn)確性,改進(jìn)和簡化人們的編程工作。

ChatGPT 還可以幫助我們提高自己編程代碼的質(zhì)量和可讀性,通過你提出的要求,它會逐行添加注釋,可以確保代碼在發(fā)布前得到正確記錄,并使其他人更容易理解和使用代碼??商岣叽a可讀性、可維護(hù)性和與他人協(xié)作的能力。

ChatGPT其實還有很多功能正在被開發(fā)與完善之中,有人把目前ChatGPT-3提供的功能細(xì)分為8大類60項功能,在此我們就不一一贅述了。

1.2.8視頻生成

向ChatGPT提問對某一個產(chǎn)品或一個事件的描述,ChatGPT會送出一份文檔,你可以對文檔稍作修改,要求ChatGPT直接將文檔轉(zhuǎn)換成視頻。

除此之外,ChatGPT可以被用于智能助手,智能客服等領(lǐng)域。

總之,ChatGPT的出現(xiàn),為人工智能技術(shù)的發(fā)展帶來了新的思路和技術(shù)支持,在數(shù)據(jù)處理、自然語言處理以及其他領(lǐng)域的應(yīng)用前景廣闊。

ChatGPT的內(nèi)涵與底層技術(shù)架構(gòu)

有人把ChatGPT理解為一個簡單的搜索引擎功能,認(rèn)為其工作原理就是把2022年以前網(wǎng)絡(luò)中已有的數(shù)據(jù),加工整理后推送給客戶。人們認(rèn)為ChatGPT只要建立一個足夠大的數(shù)據(jù)存儲空間,把所有的信息存放在里面,然后進(jìn)行檢索,就可以實現(xiàn)文本問答和聊天機(jī)器人功能了。

其實ChatGPT的工作原理并不是那么簡單,比一般人理解的程度要復(fù)雜很多,這里面涉及生成性預(yù)訓(xùn)練變換模型和很多關(guān)鍵核心技術(shù)和底層邏輯。

2.1 ChatGPT生成性預(yù)訓(xùn)練變換模型

前文我們在介紹ChatGPT的含義時已經(jīng)介紹過,ChatGPT的全稱為“Chat Generative Pre-trained Transformer”,翻譯成中文就是生成型預(yù)訓(xùn)練變換模型。在此之前,一般所謂的人工智能、機(jī)器學(xué)習(xí)、聊天對話軟件在很大程度上都是局限于觀察、分析和內(nèi)容分類以及圖像識別。

而以ChatGPT為代表的生成性人工智能AI是一項技術(shù)上的突破,它可以生成新內(nèi)容,而不僅限于分析現(xiàn)有的數(shù)據(jù)。它的技術(shù)核心是生成性的人工智能。

從ChatGPT字面上來看,Chat是聊天的意思,但GPT才是關(guān)鍵。

第一個字母G是Generative,屬于生成性的人工智能,在這以前的人工智能都局限在觀察分析現(xiàn)有內(nèi)容,但這次ChatGPT是個突破,它可以根據(jù)我們的需要,創(chuàng)造生成全新的內(nèi)容。

第二個字母P是Pre-trained的縮寫,預(yù)訓(xùn)練的意思。表示這個模型已經(jīng)在某些有限的數(shù)據(jù)集上進(jìn)行了預(yù)訓(xùn)練,ChatGPT在與人的對話中幾乎接近正常人的交流,就是因為它已經(jīng)接受過海量數(shù)據(jù)的訓(xùn)練,而這些數(shù)據(jù)就是我們?nèi)祟?022年以前發(fā)布在互聯(lián)網(wǎng)上的內(nèi)容(目前版本的ChatGPT還不具備網(wǎng)絡(luò)數(shù)據(jù)實時更新功能)。

由于ChatGPT目前還沒有實現(xiàn)網(wǎng)絡(luò)的實時連接,因此回答問題的時效性受到一定的限制。

ChatGPT在正式發(fā)布前,已經(jīng)進(jìn)行了大量的監(jiān)督學(xué)習(xí)和通過人類反饋強(qiáng)化學(xué)習(xí),所以我們在使用它的時候,這個模型能準(zhǔn)確快速地生成對話內(nèi)容。

第三個字母是Transformer,翻譯過來就是轉(zhuǎn)換器,這是ChatGPT底層人工智能學(xué)習(xí)的一個算法架構(gòu)。

ChatGPT嚴(yán)格意義上來說就是一種基于Transformer的自然語言處理模型。采用了預(yù)訓(xùn)練加微調(diào)的方法,通過對大規(guī)模語料庫進(jìn)行預(yù)訓(xùn)練,對標(biāo)注數(shù)據(jù)進(jìn)行微調(diào),從而使模型能夠適應(yīng)特定的自然語言處理任務(wù),擁有語言理解和文本生成能力。

2.1.1 ChatGPT的演進(jìn)過程

第一階段:GPT-1發(fā)布

2018年6月,OpenAl 第一篇論文《Improving Language Understanding by Generative Pre-Training》通過生成式預(yù)訓(xùn)練來提高語言理解能力的論文中提出了第一個模型GPT-1。從這篇論文中得出的關(guān)鍵結(jié)論是,Transformer 架構(gòu)與無監(jiān)督預(yù)訓(xùn)練的結(jié)合產(chǎn)生了GPT-1, 加上有監(jiān)督微調(diào)方式,針對特定任務(wù)進(jìn)行預(yù)訓(xùn)練,實現(xiàn)了強(qiáng)大自然語言理解能力。

第二階段:GPT-2發(fā)布

2019年2月,OpenAI發(fā)表了第二篇論文《Language Models are Unsupervised Multitask Learners》,推出了GPT-2 。GPT-2是一種自然語言生成模型,其設(shè)計目標(biāo)是生成與人類語言相似的文本,可以完成多任務(wù)處理。

第三階段:GPT-3發(fā)布

2020年5月,OpenAI發(fā)表第三篇論文《Language Models are Few-Shot Learners》,推出了GPT-3。GPT-2和GPT-3是兩個不同的模型,它們的主要區(qū)別在于應(yīng)用場景、模型規(guī)模和性能表現(xiàn)。GPT-3是一種自然語言生成模型,它是目前規(guī)模最大的預(yù)訓(xùn)練模型,可以生成高質(zhì)量的自然語言文本,包括文章、詩歌、對話等。GPT-3還支持一些其他的自然語言任務(wù),例如翻譯、問答、語義搜索等。

第四階段:GPT-3.5 發(fā)布

2022年11月29日,OpenAI發(fā)布了一個命名為“text-davinci-003”(文本-達(dá)芬奇-003常稱為GPT3.5)的新模型。它以對話方式進(jìn)行交互,既能夠做到回答問題,也能承認(rèn)錯誤、質(zhì)疑不正確的前提以及拒絕不恰當(dāng)?shù)恼埱蟆?/p>

2.1.2 ChatGPT的預(yù)訓(xùn)練加微調(diào)

所謂的ChatGPT預(yù)訓(xùn)練,是一個基于transform模型的預(yù)訓(xùn)練語言模型,它的訓(xùn)練邏輯如下:

第一是語料準(zhǔn)備,從互聯(lián)網(wǎng)上收集大量文本語料。如新聞、書籍、論壇,其中維基百科是它的一個重要數(shù)據(jù)來源。維基百科是用多種語言編寫而成的網(wǎng)絡(luò)百科全書。

然后是對數(shù)據(jù)預(yù)處理,對語料進(jìn)行處理,把它們分割成許多獨立的句子或段落,對每個句子進(jìn)行分詞。分詞后把每個單詞轉(zhuǎn)換成數(shù)字,生成一個數(shù)字序列,然后構(gòu)建成數(shù)字詞典。

訓(xùn)練就是使用這些數(shù)字序列用transformer模型進(jìn)行模擬場景試驗,需要投入大量的人工干預(yù),并使用監(jiān)督學(xué)習(xí)的方式對預(yù)訓(xùn)練模型進(jìn)行微調(diào)。根據(jù)獎勵模型優(yōu)化策略,然后生成輸出,ChatGPT的預(yù)訓(xùn)練繞不開正向傳遞,反向更新,梯度收斂,預(yù)訓(xùn)練模型降低了獲取更高水平人工智能的成本。

由于至今OpenAI沒有公開ChatGPT相關(guān)預(yù)訓(xùn)練數(shù)據(jù)集來源和具體細(xì)節(jié),一定程度上阻礙了追趕者的步伐。

2.1.3 ChatGPT的Transformer轉(zhuǎn)換器

ChatGPT的核心技術(shù)之一是Transformer轉(zhuǎn)換器,Transformer技術(shù)是近幾年人工智能技術(shù)最大的亮點之一,由谷歌的人工智能的團(tuán)隊“谷歌大腦”首先發(fā)布。

這種模型是使用一種叫自注意力的機(jī)制(self attention mechanism),它允許模型在進(jìn)行預(yù)測的時候,可根據(jù)語言序列的任何位置,為輸入數(shù)據(jù)的不同部分賦予不同的權(quán)重,并支持處理更大的數(shù)據(jù)集。

Transformer的精度和性能上都比之前流行的CNN(卷積神經(jīng)網(wǎng)絡(luò))、RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))等模型,大幅提升了模型訓(xùn)練的效果,讓人工智能在更大模型、更多數(shù)據(jù)、更強(qiáng)算力的基礎(chǔ)上進(jìn)一步增強(qiáng)運算能力。此外,還具有很強(qiáng)的跨模態(tài)處理能力,不僅在NLP(自然語言理解)領(lǐng)域表現(xiàn)優(yōu)異,在語音、圖像方面也顯示出了優(yōu)異的性能。

Transformer是ChatGPT語言模型的核心技術(shù),是一種用于序列到序列(Sequence-to-Sequence)任務(wù)的神經(jīng)網(wǎng)絡(luò)模型,例如機(jī)器翻譯,語音識別和生成對話等,它使用了注意力機(jī)制來計算輸入序列和輸出序列之間的關(guān)系。如下圖所示

制圖:星船知造

Transformer的主要優(yōu)點是它可以并行地處理輸入序列中的所有信息,因此在訓(xùn)練和推理時都有很高效率。

此外,Transformer沒有使用循環(huán)結(jié)構(gòu),因此它不受長序列的影響,并且在處理長序列時不會出現(xiàn)梯度消失或爆炸的問題。

2.2 ChatGPT人類反饋優(yōu)化語言模型(RLHF)

ChatGPT 面對多樣化的問題對答如流,已經(jīng)打破了機(jī)器和人類溝通的邊界,這一工作的背后是大型語言模型 (Large Language Model,LLM) 生成領(lǐng)域的新訓(xùn)練范式RLHF (Reinforcement Learning from Human Feedback) ,即依據(jù)人類反饋的強(qiáng)化學(xué)習(xí)方法模型。

OpenAI官網(wǎng)上如是說:我們使用依據(jù)人類反饋的強(qiáng)化學(xué)習(xí)方法模型(RLHF)來實施訓(xùn)練,使用監(jiān)督微調(diào)訓(xùn)練一個初始模型與人類人工智能訓(xùn)練師提供對話,他們在其中扮演用戶和人工智能助手。我們讓培訓(xùn)師可以訪問模型編寫的建議,以幫助他們撰寫答案。

為了創(chuàng)建強(qiáng)化學(xué)習(xí)的獎勵模型,我們需要收集比較數(shù)據(jù),其中包括兩個或多個按質(zhì)量排名的模型響應(yīng)。為了收集這些數(shù)據(jù),我們進(jìn)行了人工智能培訓(xùn)師與聊天機(jī)器人的對話。我們隨機(jī)選擇了一個模型編寫的消息,抽樣了幾個替代完成,并讓AI培訓(xùn)師對它們進(jìn)行排名。使用這些獎勵模型,我們可以使用近端策略優(yōu)化來微調(diào)模型,我們執(zhí)行了此過程的多次迭代。

ChatGPT強(qiáng)化學(xué)習(xí)算法訓(xùn)練獎勵模型簡單來說就是分為三個階段:

第一階段是收集示范數(shù)據(jù),人工智能培訓(xùn)師與聊天機(jī)器人對話,并接受監(jiān)督。

第二階段是收集比較數(shù)據(jù),訓(xùn)練一個獎勵模型。

第三階段是利用PPO強(qiáng)化學(xué)習(xí)算法,優(yōu)化一個針對獎勵模型的策略。

2.5 ChatGPT的DALL.E 2自然語言轉(zhuǎn)換成像技術(shù)

根據(jù)OpenAI官網(wǎng)上的介紹,ChatGPT中的DALL.E 2自然語言轉(zhuǎn)換成像技術(shù),最初只是一個研究項目,目標(biāo)是制定并繼續(xù)改進(jìn)安全緩解的措施,其中包括:

第一、限制DALL·E 2 自然語言轉(zhuǎn)換成影像時生成暴力、仇恨或成人圖像。通過從訓(xùn)練數(shù)據(jù)中刪除有害的視頻內(nèi)容、使用先進(jìn)的技術(shù)來防止真實人物的面部,包括公眾知名人物的面部在視頻中出現(xiàn)。

第二、遏制用戶濫用政策。不允許文本要求生成暴力、成人或政治內(nèi)容等視頻。如果我們的過濾器發(fā)現(xiàn)可能違反我們政策的文本提示和圖片上傳,ChatGPT就會采用自動化和人工監(jiān)控系統(tǒng)予以拒絕。

OpenAI認(rèn)為:負(fù)責(zé)任的開發(fā)和安全監(jiān)管是人工智能的重要組成部分,讓用戶對ChatGPT安全系統(tǒng)有信心。

OpenAI希望DALL.E 2自然語言轉(zhuǎn)換成像技術(shù)能降低圖像生成模型相關(guān)的風(fēng)險。為此,DALL.E 2在互聯(lián)網(wǎng)上數(shù)億張帶標(biāo)題的圖像上進(jìn)行訓(xùn)練,刪除并重新加權(quán)其中一些圖像,更改模型學(xué)習(xí)的內(nèi)容。

同時,采用在DALL.E 2中設(shè)置各種防護(hù)欄訓(xùn)練數(shù)據(jù)集,過濾訓(xùn)練數(shù)據(jù),放大偏差、重復(fù)數(shù)據(jù)刪除等多種技術(shù)手段,以防止生成的圖像違反內(nèi)容管制政策。使人們能夠創(chuàng)造性地表達(dá)自己,幫助人們了解ChatGPT人工智能系統(tǒng)如何看待和理解我們的世界,對于創(chuàng)造人類的人工智能使命至關(guān)重要。

2.6 ChatGPT軟件是否能開源?

OpenAI 不開放,是人工智能業(yè)界很多人詬病的話題。軟件開源是多年來互聯(lián)網(wǎng)產(chǎn)業(yè)之所以能蓬勃發(fā)展的驅(qū)動力之一。

軟件開源方式可以調(diào)動全世界軟件開發(fā)者的積極性,每個人都可以下載源代碼,并可進(jìn)行優(yōu)化和社區(qū)分享,也可以及時發(fā)現(xiàn)軟件系統(tǒng)中的缺陷,提醒廠商予以改進(jìn)完善。

這種用全社會的力量來創(chuàng)新的機(jī)制,大幅加速了新技術(shù)的發(fā)展和產(chǎn)業(yè)應(yīng)用的進(jìn)程。

據(jù)OpenAI 公司證實,目前ChatGPT尚未開源,目前是作為API(應(yīng)用程序編程接口)調(diào)用的方式提供聯(lián)網(wǎng)服務(wù),暫時沒有開源的計劃時間表,甚至不排除未來很長一段時間內(nèi)不會考慮軟件開源的問題。

關(guān)于ChatGPT為何不開源,業(yè)內(nèi)也有一些專家表示理解,因為人工智能技術(shù)至今為止沒有一家廠商的軟件是開源的,基本上都是一個“黑盒子”,關(guān)于其內(nèi)部的運行機(jī)制外界很難了解。

如果軟件代碼開源,很難避免有人會利用人工智能創(chuàng)造出一些不利于社會和人類的內(nèi)容,因此人工智能軟件代碼不開源,可能也是出于系統(tǒng)安全性方面的考慮。

此外,自從Open AI 公司放棄了非營利組織的定位,接受微軟等企業(yè)投資后,從商業(yè)化的角度考慮,也會采取軟件和模型代碼不開源的措施,保護(hù)商業(yè)利益和投資。

而采用開放應(yīng)用接口的方式來加以推廣,日后不排除對應(yīng)用接口部分開源少部分模型,豐富開發(fā)者的生態(tài)環(huán)境,有利于與ChatGPT與其他系統(tǒng)或終端的互聯(lián)互通,加快人工智能產(chǎn)業(yè)的應(yīng)用進(jìn)程。

ChatGPT人工智能研究中心及其首席執(zhí)行官薩姆·奧爾特曼在接受美國《福布斯》雙周刊記者采訪時,在記者問及關(guān)于軟件開源問題的追問時說道:

“我認(rèn)為實現(xiàn)這一目標(biāo)的最重要方式是推出像ChatGPT這樣的AI平臺,除此之外,我們希望提供日益強(qiáng)大的應(yīng)用軟件接口(API),同時能夠讓它們更加安全。我們將繼續(xù)開源,就像我們開源了CLIP(2021年發(fā)布的視覺神經(jīng)網(wǎng)絡(luò)),引發(fā)圖像生成領(lǐng)域?qū)崿F(xiàn)軟件開源。

我們開源了Whisper和Triton(自動語音識別系統(tǒng)和編程語言)。所以我相信這是一個多管齊下的策略,一方面要拿出好的東西,另一方面要平衡每樣特定東西帶來的風(fēng)險和收益。”

上述或可佐證Open AI 可能在應(yīng)用接口部分開源少部分模型,豐富開發(fā)者生態(tài)環(huán)境的意圖。

2.7 人工智能AI芯片的重要意義

在人工智能領(lǐng)域,包括人們?nèi)粘I钪惺褂玫闹悄苁謾C(jī),智能駕駛汽車等領(lǐng)域要完成運算都是與圖像識別、語音識別、自然語言處理有關(guān)。

底層最常用的就是卷積神經(jīng)網(wǎng)絡(luò),也就是數(shù)學(xué)中的矩陣運算和優(yōu)化處理,一般來說CPU主要適合常用的數(shù)學(xué)計算。對于矩陣運算,專用的AI 人工智能芯片就比較合適了。所以在這特定的情況下,AI芯片應(yīng)運而生了。

不同廠商對AI芯片有不同的稱呼,有的稱為NPU神經(jīng)網(wǎng)絡(luò)處理器。谷歌叫TPU張量(矩陣)處理器,美國超威半導(dǎo)體公司(AMD)叫APU加速處理器。蘋果叫仿生芯片,市場營銷的意味更多一些,而一般都統(tǒng)稱為AI芯片或叫人工智能芯片。

人工智能芯片可視為CPU的一部分,作為單獨的加速芯片,它其實是從顯示芯片GPU發(fā)展而來的。

早期的GPU多用于2D和3D圖形處理和計算,市場上則主要針對游戲領(lǐng)域。

當(dāng)下是算力時代,人工智能、深度神經(jīng)網(wǎng)絡(luò)、數(shù)據(jù)分析、可視化、互聯(lián)網(wǎng)算法、生成性與訓(xùn)練、運算服務(wù)器、智能汽車、移動設(shè)備等,都離不開算力支撐。

從全球整體市場情況來看,目前全球GPU市場形成多寡頭競爭格局,其中包括英特爾、英偉達(dá)和AMD、蘋果、谷歌、華為、阿里巴巴、騰訊、寒武紀(jì)也相繼開發(fā)出了人工智能芯片。

英偉達(dá)和AMD的芯片都是由臺積電代工的,臺積電在芯片包括AI芯片加工市場占據(jù)重要的地位。

2.8 人工智能中的算力單位pfs-day(petaflop/s-day)

隨著人工智能尤其是強(qiáng)化學(xué)習(xí)算法和預(yù)訓(xùn)練技術(shù)的飛速發(fā)展,人工智能AI模型的算力正在以超高的速度發(fā)展。特別在自然語言處理領(lǐng)域的增長十分迅速。

OpenAI的GPT-3大型神經(jīng)網(wǎng)絡(luò)有1750億個參數(shù),而且模型越做越大,短期看來是一個技術(shù)趨勢。

這樣大的模型對于訓(xùn)練算力的消耗是驚人的,人們用一個新的單位來衡量算力,即petaflops/s-day,或者縮寫成pfs-day。

OpenAI定義神經(jīng)網(wǎng)絡(luò)中的每一次乘法或一次加法為一個操作,如果每秒鐘可以進(jìn)行1015方運算,也就是1 peta flops,那么一天就可以進(jìn)行約1020的運算,這個算力消耗被稱為1個petaflop/s-day。

OpenAI透露:曾訓(xùn)練過一個強(qiáng)化學(xué)習(xí)模型OpenAI Five,使用該系統(tǒng)在2019年戰(zhàn)勝了DOTA游戲職業(yè)游戲戰(zhàn)隊,該模型訓(xùn)練量達(dá)到800 pfs-day。

OpenAI用了256個英偉達(dá)的GPU和12.8萬個CPU核心芯片,預(yù)訓(xùn)練整整持續(xù)了10個月時間。OpenAI Five的總預(yù)訓(xùn)練量相當(dāng)于打了45000年Dota游戲,每天的訓(xùn)練量大概相當(dāng)于人類打180年游戲。

根據(jù)OpenAI的最新研究,從2012年以來,最大的AI訓(xùn)練對于算力的消耗已經(jīng)增長了30萬倍,平均每100天就翻倍,算力是人工智能發(fā)展的技術(shù)保障,是人工智能發(fā)展的動力和引擎。這個速度已經(jīng)大大超越了兩年翻倍的摩爾定律。

2020年5月,OpenAI發(fā)表了一篇由多位作者撰寫的論文:Language Models are Few-Shot Learners (語言模型是小樣本學(xué)習(xí)者)。其中提到ChatGPT-3中有多達(dá)1750億個參數(shù)、數(shù)據(jù)集45TB,訓(xùn)練花了3640pfs-day,語言模型訓(xùn)練一次的費用保守估計是460萬美元,模塊總訓(xùn)練成本估計達(dá)到了1200 萬美元。

由此可見在人工智能領(lǐng)域的資金投入以及對計算機(jī)的算力要求是如此之高,遠(yuǎn)超人們的想象力。

ChatGPT潛在商業(yè)價值與市場動態(tài)

ChatGPT在系統(tǒng)可靠性、準(zhǔn)確性方面還有待改進(jìn)的空間。人工智能項目當(dāng)前大多數(shù)仍然處于研發(fā)和巨大投入階段,勢必還要花費大量的金錢以及資源來實現(xiàn)。

人工智能項目想要持續(xù)發(fā)展,需要找到適合其自身發(fā)展的商業(yè)模式。同時由于ChatGPT的突然出現(xiàn),對于全球的人工智能發(fā)展應(yīng)該說起到了一定的推進(jìn)作用,新技術(shù)的橫空出世,當(dāng)然會促進(jìn)社會的變革以及帶來社會生產(chǎn)力的發(fā)展新機(jī)遇,同時也一定會伴隨著產(chǎn)業(yè)的動蕩、重組和融合,以此來重新調(diào)整社會生產(chǎn)關(guān)系,滿足先進(jìn)生產(chǎn)力發(fā)展的需要。

3.1 全球市場對ChatGPT 的客觀評價(節(jié)選)

3.1.2 國外學(xué)者大咖對ChatGPT 的客觀評價

1. 世界首富比爾·蓋茨在接受專訪時表示;“ChatGPT以及AI領(lǐng)域的進(jìn)展令人激動,AI將是2023年最熱門的話題。ChatGPT與互聯(lián)網(wǎng)的發(fā)明一樣重要,堪稱劃時代應(yīng)用”。

2. 馬斯克也是OpenAI的聯(lián)合創(chuàng)始人之一,曾在推特上表示:“ChatGPT好得嚇人,我們離強(qiáng)大到危險的人工智能不遠(yuǎn)了”。話語中既有贊許,又對人工智能發(fā)展沒有建立可靠的安全監(jiān)管機(jī)制,存有危機(jī)感。

3. 微軟CEO薩提亞·納德拉(Satya Nadella)表示:“AI將從根本上改變所有軟件,并從搜索這個最大的類別開始。這是搜索的新一天,比賽從今天開始”。

4. OpenAI首席執(zhí)行官薩姆·奧爾特曼薩姆·奧爾特表示:“這絕對是一個激動人心的時刻,但我希望這只是剛剛開始。事實上,這將是一條技術(shù)發(fā)展及其對社會產(chǎn)生的積極影響,不斷呈幾何級數(shù)增長的道路”。

5. OpenAI首席技術(shù)官米拉·穆拉蒂(Mira Murati)在接受《時代周刊》采訪時表示:“ChatGPT有可能真正徹底改變?nèi)祟惖膶W(xué)習(xí)方式,具有進(jìn)行個性化教育的巨大潛力”。

6. 歐盟委員會分管市場(工業(yè))委員蒂埃里·布雷頓(Thierry Breton)日前表示:“歐盟委員會正在起草一項新的人工智能法規(guī),新擬議的人工智能法規(guī)將圍繞ChatGPT聊天機(jī)器人和人工智能技術(shù)風(fēng)險,討論解決方案”。

3.1.3 國內(nèi)學(xué)者對ChatGPT 的客觀評價

1. 傳播內(nèi)容認(rèn)知全國重點實驗室首席科學(xué)家張勇東表示:“ChatGPT的出現(xiàn),是人工智能技術(shù)發(fā)展的一次飛躍。其在交互和創(chuàng)作方面展現(xiàn)的出色能力,標(biāo)志人工智能由決策式向生成式轉(zhuǎn)變”。

2. 中國信通院云計算與大數(shù)據(jù)研究所科技部副主任石霖認(rèn)為:“ChatGPT的技術(shù)基于OpenAI開發(fā)的GPT3.5系列模型,該模型參數(shù)規(guī)模據(jù)推測達(dá)十億級別,加之在訓(xùn)練過程中引入人類反饋機(jī)制技術(shù),使得ChatGPT在回答準(zhǔn)確率、道德表現(xiàn)上進(jìn)一步得到提升”。

3. 中國工程院院士鄔賀銓認(rèn)為:“現(xiàn)在完全沒有必要為ChatGPT的出現(xiàn)而擔(dān)憂,它的出現(xiàn)是一種技術(shù)進(jìn)步,ChatGPT可以幫助人類做一些資料整理等基礎(chǔ)工作,但是它不可能代替人類思考”。

4. 華東師大傳播學(xué)院院長王峰認(rèn)為:“ChatGPT帶來巨大機(jī)遇與挑戰(zhàn),它可以和元宇宙建設(shè)結(jié)合起來,一旦ChatGPT這樣的人工智能應(yīng)用成熟,這標(biāo)志著在人類語言反應(yīng)中,人工智能開始占據(jù)優(yōu)勢,會對人類生活造成更深刻的影響”。

3.1.4 國外投資者和廠商對ChatGPT 的反應(yīng)

路透社報道稱:“谷歌母公司宣布將推出名為‘Bard’的AI人工智能聊天機(jī)器人服務(wù)以及更多的人工智能項目,以應(yīng)對競爭對手微軟所引領(lǐng)的新計算浪潮”。

早在2019年,微軟就向ChatGPT的所有者OpenAI公司多次注資,此番ChatGPT-3.5的成功發(fā)布,也讓業(yè)界聯(lián)想不斷,接下來微軟可能會砸下更多籌碼,甚至將OpenAI和ChatGPT一起收購。

沒讓人們等待太久,微軟就給出了答案:再次向OpenAI投資100億美元。據(jù)消息人士說,早在去年10月微軟就開始了就追加投資一事與OpenAI談判。

現(xiàn)在這筆資金最終敲定,包括新的投資在內(nèi),微軟將獲得OpenAI 的49%股權(quán),OpenAI的估值將達(dá)到290億美元,微軟將每年獲得OpenAI的75%利潤,直到收回投資為止。

因此,這次ChatGPT的成功,最大的贏家無疑就是微軟。

3.1.4 國內(nèi)部分投資者和廠商對ChatGPT 的反應(yīng)

1. 百度公司正在進(jìn)行類似ChatGPT產(chǎn)品的上線沖刺,該項目名字確定為“文心一言”英文名“ERNIE Bot”。百度“文心一言”是百度基于“文心大模型”技術(shù)推出的生成式對話產(chǎn)品。

百度在人工智能四層架構(gòu)中,有全棧布局。其中包括底層的AI芯片、深度學(xué)習(xí)框架、大模型以及最上層的搜索等應(yīng)用。項目將于2023年3月份完成內(nèi)測,并面向公眾開放。

2. 騰訊申請“人機(jī)對話方法、裝置、設(shè)備及計算機(jī)可讀存儲介質(zhì)”專利,該專利產(chǎn)品可實現(xiàn)人機(jī)順暢溝通。

3. 阿里巴巴達(dá)摩院(杭州)科技有限公司申請了“人機(jī)對話及預(yù)訓(xùn)練語言模型訓(xùn)練方法、系統(tǒng)及電子設(shè)備”專利,可提升問答交互的準(zhǔn)確性。

3.2 ChatGPT可能影響的行業(yè)初探

人們普遍認(rèn)為,采用AI技術(shù)的ChatGPT發(fā)展和應(yīng)用可能會影響許多職業(yè),特別是一些重復(fù)性較高的工作。例如,一些簡單的辦公室文秘工作、數(shù)據(jù)處理,以及人工客服可能會被自動化和人工智能代替。

需要高度創(chuàng)造力和人類技能的職業(yè),如醫(yī)生、律師、藝術(shù)家、軟件架構(gòu)師等,則不太可能受其影響。

ChatGPT可以為人們提供有價值的信息和幫助,因此也可能為相關(guān)職業(yè)帶來新的機(jī)會。

ChatGPT作為一種領(lǐng)先的聊天機(jī)器人技術(shù),已經(jīng)被廣泛應(yīng)用于多個領(lǐng)域,下面就淺析基于人工智能的ChatGPT可能會對我國哪些行業(yè)帶來變革和影響。

3.2.1客服行業(yè)

人工智能技術(shù)可以提供智能客服服務(wù),通過自然語言處理和機(jī)器學(xué)習(xí)技術(shù),為用戶提供快速、準(zhǔn)確的答案和解決方案,從而減輕人力成本壓力。它可以提供比人工客服更全面,更快更準(zhǔn)確的客服服務(wù),從而提高客戶滿意度。主要體現(xiàn)在以下幾個方面:

1.提高服務(wù)質(zhì)量

ChatGPT是一種機(jī)器人作為客服服務(wù)系統(tǒng),它能夠?qū)崟r對接客戶的需求,并根據(jù)客戶的問題準(zhǔn)確回答,出錯率較低,解決方案更全面,可以更快準(zhǔn)確滿足客戶的需求,從而提高客服服務(wù)的質(zhì)量。

2.提高客服效率

ChatGPT可減少人工客服的工作量,AI系統(tǒng)能夠快速地找到解決方案,不用客服人員花時間查找。人工客服可將更多的時間集中在更復(fù)雜問題的處理上,把更多的精力放在為弱勢群體或無法準(zhǔn)確使用AI系統(tǒng)的人提供人工應(yīng)答服務(wù)。

3.提高客服滿意度

ChatGPT可以讓客戶獲得更好的服務(wù)體驗。它可以更快地提供準(zhǔn)確的答案,AI系統(tǒng)可以讓客戶感受到比人工服務(wù)更好地?zé)o縫交流,讓用戶獲得更加滿意的結(jié)果。

4.降低客服成本

ChatGPT可以幫助客服節(jié)省時間,減少客服人員,降低人工成本。

5.提升客服系統(tǒng)的管理水平

ChatGPT可以提高客服平臺的管理水平,可以根據(jù)用戶的使用反饋,自動按需生成各類管理報表,為后臺管理人員提升服務(wù)質(zhì)量提供數(shù)據(jù)支撐。

3.2.2教育行業(yè)

人工智能技術(shù)可以用于教學(xué)輔助、在線教育、個性化教育和學(xué)生評估等方面,可以提高教育效果和教育公平,為學(xué)生提供個性化的教育服務(wù)和智能化的學(xué)習(xí)體驗。讓ChatGPT作為一種教學(xué)輔助工具,成為教師的朋友或幫手。

ChatGPT作為一種教育輔助工具,主要應(yīng)用體現(xiàn)在以下幾個方面:

1.設(shè)計課程

ChatGPT可以為教師的課程設(shè)計提供創(chuàng)意思路,協(xié)助檢索和整理教學(xué)文獻(xiàn)資料,生成完整的課程材料,如教學(xué)大綱、課程計劃和閱讀材料,并可生成文本或PPT圖片。

2.協(xié)助備課

ChatGPT能夠參與到教研備課中,幫助教師節(jié)省大量查詢資料的時間,提高備課效率。

3.知識搜索

可以與學(xué)生一起通過對系統(tǒng)的提問方式,快速搜索到相關(guān)的知識點。擴(kuò)展學(xué)生的知識面和對事物的理解深度。增加課堂趣味性和豐富性,幫助學(xué)生理解復(fù)雜的內(nèi)容和概念,成為教師的人工智能助教。

4.作業(yè)測評

ChatGPT還可以參與到學(xué)生成績的評估,生成作業(yè)測驗和考卷,幫助教師評估學(xué)生的學(xué)習(xí)質(zhì)量,觀察學(xué)生的學(xué)習(xí)進(jìn)度。同時也可以對老師的授課質(zhì)量進(jìn)行測評,評價教師與學(xué)生之間的活動環(huán)節(jié),提高教學(xué)質(zhì)量。

3.2.3語言文字翻譯行業(yè)

人工智能AI技術(shù)在語言文字翻譯領(lǐng)域已經(jīng)實現(xiàn)了突破性發(fā)展,ChatGPT實現(xiàn)多語言支持,可以識別多種語言,其中包括:

1. 快速翻譯:ChatGPT可以讓翻譯工作更加快捷便利,從而讓更多的文本可以在短時間內(nèi)完成翻譯。

2. 準(zhǔn)確翻譯:ChatGPT能夠準(zhǔn)確識別出語言或文本的內(nèi)容,從而提高翻譯準(zhǔn)確性。

3. 語法檢查:ChatGPT可以檢查、校對語言或文本的語句,語法等的翻譯錯誤,從而提高翻譯人員在翻譯過程中的質(zhì)量和水平。

4. 文本改進(jìn):ChatGPT可提出改進(jìn)文本的建議,從而讓文本更加便于理解和完美。

5. 詞匯補充:ChatGPT可為翻譯人員提供更多參考詞匯,同樣一個意思,根據(jù)不同的場合,用恰當(dāng)?shù)恼Z言來表達(dá),增強(qiáng)翻譯親和力。

6.語言轉(zhuǎn)換:ChatGPT可幫助翻譯人員實現(xiàn)幾乎世界上所有語種不同語言之間的轉(zhuǎn)換,從而更好滿足翻譯需求。

7. 文本格式:ChatGPT可幫助翻譯人員更好地理解不同文本格式,直接采用文本、表格、圖片或會議紀(jì)要形式直接生成,從而更有效地完成翻譯工作。

3.2.3金融行業(yè)

對金融行業(yè)而言,ChatGPT可以提供多種智能化的服務(wù)和解決方案,幫助金融機(jī)構(gòu)提高運營效率、降低成本、豐富客戶體驗、管理金融風(fēng)險、進(jìn)行投資決策等。

1,美國SouthState Bank相關(guān)負(fù)責(zé)人表示:該行已確定了15個ChatGPT應(yīng)用場景,如:在內(nèi)控與合規(guī)管理方面,該行將通過使用ChatGPT幫助銀行監(jiān)測和評估相關(guān)風(fēng)險,例如通過分析公司的合規(guī)政策、員工的行為等,提出相應(yīng)的風(fēng)控措施。

2,在法律事務(wù)處理方面,該行將通過使用ChatGPT自動檢測和識別合同風(fēng)險,在合同草案中插入關(guān)鍵要素和監(jiān)管要求的法律條款,進(jìn)行智能審查、智能書寫,從而為本行的法律團(tuán)隊節(jié)省時間。

3,國內(nèi)金融機(jī)構(gòu)郵儲銀行近期表示:將優(yōu)先使用百度開發(fā)的“文心一言”,在金融業(yè)開展類似ChatGPT人工智能的應(yīng)用試點,結(jié)合行業(yè)知識進(jìn)行微調(diào)和交互式訓(xùn)練。在智能客服、數(shù)字員工、虛擬營業(yè)廳等場景進(jìn)行應(yīng)用,進(jìn)一步提升客戶體驗。探索新型的信息統(tǒng)計、信息獲取方式,向客戶提供更及時、更準(zhǔn)確、更個性化的金融咨詢服務(wù)。

4,今年 2月20日,廣發(fā)證券宣布將通過百度智能云全面體驗并接入百度“文心一言”,通過探索大語言模型融入金融應(yīng)用場景,嘗試打造更為豐富、個性化的金融服務(wù),為客戶提供更智能、更有溫度的財富管理服務(wù)體系。

與此同時,我們也應(yīng)該認(rèn)識到無論國內(nèi)外,金融業(yè)都是接受嚴(yán)格監(jiān)管的行業(yè),ChatGPT需要龐大的數(shù)據(jù)庫支撐,要針對行業(yè)做大量的數(shù)據(jù)訓(xùn)練和優(yōu)化。而金融數(shù)據(jù)的獲取卻非常嚴(yán)格,解決信息的準(zhǔn)確性、安全性和用戶隱私等問題,都是金融業(yè)優(yōu)先考慮的問題。

國內(nèi)學(xué)者認(rèn)為,金融服務(wù)不但要考慮到人機(jī)交互的便捷性,更重要的是避免損失,因此AI和金融的結(jié)合一定要經(jīng)過大量的訓(xùn)練,并且實時更新數(shù)據(jù),同時與嚴(yán)格的安全監(jiān)管機(jī)制相匹配。

3.2.4制造業(yè)

每一次工業(yè)革命都離不開生產(chǎn)力的提升,先進(jìn)的技術(shù)可以幫助人類從傳統(tǒng)手工社會轉(zhuǎn)向工業(yè)社會和信息化社會助力,帶來生產(chǎn)關(guān)系的巨大變革。

這次ChatGPT的應(yīng)用還遠(yuǎn)遠(yuǎn)算不上一次工業(yè)革命,但可被視下一場變革來臨的信號。

人工智能技術(shù)可以用于生產(chǎn)流程優(yōu)化、智能制造和質(zhì)量控制等方面,可以提高制造業(yè)的效率和產(chǎn)品質(zhì)量。

現(xiàn)在世界各國出生率下降,社會老齡化日益加重,ChatGPT的出現(xiàn)不僅會給生產(chǎn)力帶來變化,而且會給生產(chǎn)方式帶來一定變化,這種變化在宏觀背景下的影響可能會超過所有人的想象。

從目前ChatGPT的功能來看,還不能完全代替人類,但是可以釋放出更多生產(chǎn)力,迫使人類去關(guān)注那些更具有創(chuàng)意、創(chuàng)造、思想、情感的工作。

ChatGPT直接進(jìn)入制造業(yè)和實體經(jīng)濟(jì)還路途遙遠(yuǎn),但是專家認(rèn)為AI所起到的作用,應(yīng)該主要體現(xiàn)在降本增效上。

在可以預(yù)見的將來,大多數(shù)產(chǎn)業(yè)的發(fā)展都將融入人工智能技術(shù)。以硬件設(shè)備為主體的產(chǎn)業(yè),例如制造業(yè)、采掘業(yè)、基礎(chǔ)設(shè)施等,將更多加入人工智能軟件的支撐,各類服務(wù)業(yè)將有更多的簡單重復(fù)的工作被人工智能設(shè)備所替代人工,隨著人工智能產(chǎn)業(yè)新形態(tài)的出現(xiàn),人們的工作生活環(huán)境將因之而變。

3.2.5物流交通運輸行業(yè)

人工智能技術(shù)可以用于物流交通運輸行業(yè)的智能化的路線規(guī)劃、運輸管理和物流優(yōu)化等方面,可以提高交通運輸?shù)陌踩院托省?/p>

ChatGPT為代表的人工智能系統(tǒng),能科學(xué)規(guī)劃物流和交通規(guī)劃,可以給物流交通運輸行業(yè)從訂艙到跟蹤貨物、管理庫存到更新車隊信息提供全方位的服務(wù),將物流和供應(yīng)鏈行業(yè)的管理提升到一個新的水平。

3.2.6文秘行業(yè)

傳統(tǒng)意義上的文秘工作,主要負(fù)責(zé)處理公司或政府的日常事務(wù),比如接打電話、文件郵寄、辦文辦會、檔案管理、編寫會議紀(jì)要、協(xié)調(diào)工作等。

ChatGPT能完成大部分文秘的事務(wù)性、程序化的工作,應(yīng)用人工智能技術(shù),文秘工作的重心需要關(guān)注的是如何應(yīng)用人工智能技術(shù)為領(lǐng)導(dǎo)的決策做好輔助性工作。協(xié)助領(lǐng)導(dǎo)提高決策的科學(xué)性、準(zhǔn)確性。文秘可以通過使用人工智能產(chǎn)品,提升信息資源的準(zhǔn)確性和效率。

文秘工作者要適應(yīng)時代的快速發(fā)展,接納新事物、新技術(shù),善于觀察、獨立思考,提高創(chuàng)新能力和解決問題的能力。

盡管ChatGPT功能強(qiáng)大,但是完全取代文秘工作還為時過早,大量文秘的工作還是需要有人員來處理,ChatGPT無法完全替代。ChatGPT完全可以作為文秘工作的一個好助手,提升文秘工作的質(zhì)量和水平。

有人這樣說:未來不會被人工智能替代的有三種人:

有適應(yīng)能力的人、有創(chuàng)造力的人、有解決問題能力的人。因此,人們在人工智能時代應(yīng)該提高適應(yīng)能力、創(chuàng)新能力就顯得尤為重要。

3.2.7法律行業(yè)

人工智能技術(shù)可以用于法律咨詢、文書起草和司法判決等方面,可以提高法律效率和準(zhǔn)確性,降低成本和錯誤率。

利用人工智能可以直接了解用戶需求,更好理解用戶的提問內(nèi)容,進(jìn)行高質(zhì)量的法律條款的關(guān)聯(lián);比如檢索資料、整理答案、改寫文字以及翻譯等,ChatGPT在法律領(lǐng)域可能應(yīng)用的場景如下:

1.查找法律條款

ChatGPT可以通過提問方式直接查找相關(guān)的法律條款,能夠有效節(jié)約大量法律條款記憶和檢索的時間,提高法律工作的效率,加快結(jié)案的時間。

2.結(jié)合案例梳理適用法律要件

在一個法律案例中可能會涉及不同的法律體系,如果不是專門從事這一方向的職業(yè)律師或者法官,可能無法進(jìn)行較為完整準(zhǔn)確的分析,未接受過專門法學(xué)訓(xùn)練的普通民眾更難以遍歷相關(guān)法律條款,ChatGPT會基于既有的法律資料進(jìn)行梳理,并給出較為完整的參考。

3.撰寫法律文書

ChatGPT具有較強(qiáng)的文書整理能力,可根據(jù)雙方法庭陳述和辯論,撰寫法庭紀(jì)要、審判紀(jì)要、起訴意見書等法律文書。也可以通過文本輸入,請ChatGPT對法律文書進(jìn)行法律條款使用準(zhǔn)確性的檢查。

4.輔助司法裁判

2023年哥倫比亞法院在裁判中使用了ChatGPT中的文本生成功能來增加說理依據(jù),在裁判文書中,ChatGPT給出了具體的法律條款、適用情形、立法目的以及法院以往判例對比等內(nèi)容,能夠有效提升訴訟案件處理的準(zhǔn)確性。

對于統(tǒng)一裁判尺度具有重要價值,甚至隨著技術(shù)發(fā)展,可以實現(xiàn)裁判文書的輔助生成、案件信息的自動回填等功能,有效輔助司法裁判。

ChatGPT在法律領(lǐng)域的應(yīng)用制約:

最高人民法院在2022年12月發(fā)布《關(guān)于規(guī)范和加強(qiáng)人工智能司法應(yīng)用的意見》,提出到2030年,建成具有規(guī)則引領(lǐng)和應(yīng)用示范效應(yīng)的司法人工智能技術(shù)應(yīng)用和理論體系,為司法為民、公正司法提供全流程高水平智提供輔助支持。

3.2.8社交媒體行業(yè)

人工智能技術(shù)可以用于社交媒體內(nèi)容生成、圖片畫像和產(chǎn)品廣告推薦等方面,可提高社交媒體的用戶體驗和收益,為廣告主和內(nèi)容創(chuàng)作者提供更好的服務(wù)。

3.2.9軟件開發(fā)行業(yè)

隨著人工智能ChatGPT的發(fā)展,越來越多人關(guān)心ChatGPT是否會對軟件行業(yè)就業(yè)產(chǎn)生重大影響,ChatGPT會不會讓底層程序員失業(yè)?

其實目前的ChatGPT還是一個測試的版本,軟件代碼生成只是其中一個功能,還有很多需要不斷改進(jìn)完善的地方,要完全取代人工編程還要需要很長一段時間。

一般認(rèn)為程序員就只會寫代碼,其實程序員寫代碼的時間最多占其工作量的四分之一都不到,程序員需要用大量的時間了解系統(tǒng)架構(gòu)、功能開發(fā)的用戶需求與其他團(tuán)隊的合作、調(diào)試和修改驗證代碼等等。

況且目前的ChatGPT智能寫一些簡單應(yīng)用小程序和對話框的界面編程,據(jù)稱ChatGPT通過了谷歌編碼3級工程師的測試,并收到年薪高達(dá)18.3萬美元的出價,但是對于一些自動化控制程度復(fù)雜的大型軟件,用ChatGPT開發(fā)幾乎是不可能的。

在開發(fā)場景固定,用戶需求固定、控制比較簡單、系統(tǒng)安全保密性不高的軟件開發(fā)場合,ChatGPT可以成為輔助工具,用于代碼生成和軟件代碼調(diào)試的輔助工具。

反而,由于ChatGPT的出現(xiàn),會帶動軟件開發(fā)人員就業(yè)崗位增加的機(jī)會,比如ChatGPT帶動的全球人工智能加速發(fā)展,人工智能行業(yè)將繼續(xù)投入大量的軟件開發(fā)人員,參與人工智能軟件開發(fā)、生成性預(yù)訓(xùn)練模型測試、云計算、云數(shù)據(jù)庫等人工智能關(guān)聯(lián)行業(yè),有大量對有經(jīng)驗軟件開發(fā)人員的需求,從而帶動整個社會從學(xué)校的專業(yè)課程設(shè)置到AI專門程序員的培養(yǎng)。會給軟件開發(fā)人員帶來很多新的工作機(jī)會。

軟件開發(fā)人員的薪資也會水漲船高,有利于整個行業(yè)發(fā)展,促進(jìn)社會的進(jìn)步和人工智能技術(shù)的發(fā)展。

但是有一點是肯定的,盡管有類似于ChatGPT等人工智能系統(tǒng)的協(xié)助軟件編程,項目管理者會從系統(tǒng)安全的角度考慮,避免將一些涉及先進(jìn)模型算法、系統(tǒng)安全、大型網(wǎng)絡(luò)管理軟件、大型數(shù)據(jù)庫和云儲存軟件,以及計算等控制化程度較高的軟件,或者任何等帶有企業(yè)機(jī)密和行業(yè)安全軟件,不會交給ChatGPT去完成。

ChatGPT是一個開放性的系統(tǒng),它可能會把你的代碼在其他用戶的調(diào)用中重復(fù)出現(xiàn),那對企業(yè)來說是極大的安全隱患,必須設(shè)置安全圍欄,防止軟件編碼被泄露的事件發(fā)生。

3.3 ChatGPT發(fā)布后國外主要企業(yè)的動向

3.3.1微軟向OpenAI增資100億美元

早在2019年,微軟就向OpenAI投下10億美金研發(fā)資金,ChatGPT此番成功發(fā)布,微軟準(zhǔn)備再次增資100億美元,甚至不排除將OpenAI和ChatGPT一起收購。

有消息稱,微軟再次增資100億美元到位后,OpenAI 公司的估值約為 290 億美元。微軟將獲得 OpenAI 公司的49% 股份,75%的利潤,直到其收回全部投資,OpenAI的非營利性母公司僅獲得2%的股份。

微軟公司近期宣布將ChatGPT整合入微軟的搜索引擎Bing,沒過幾天,又宣布會將ChatGPT整合進(jìn)Office辦公套件中的(Word、Excel、PPT)。用戶在使用Office時就能體驗ChatGPT的對話功能,這將極大豐富微軟公司產(chǎn)品的內(nèi)涵,微軟的股價迅速上漲就是資本市場已察覺到了AI對社會進(jìn)步可能產(chǎn)生的重大推動作用。

3.3.2谷歌的人工智能系統(tǒng)LaMDA

ChatGPT吸引了全世界的目光,谷歌曾經(jīng)也有在AI聊天機(jī)器人方面領(lǐng)先發(fā)展的機(jī)會,早在2021年5月谷歌的人工智能系統(tǒng)LaMDA亮相就驚艷了眾人,但是谷歌出于某種原因,并沒有打算把AI聊天機(jī)器人推向市場化,錯失了一次極好的AI發(fā)展機(jī)遇。

長期以來,谷歌秉持的宗旨是使用機(jī)器學(xué)習(xí)來改進(jìn)搜索引擎和其他面向消費者的產(chǎn)品,并為谷歌云技術(shù)提供服務(wù)。

ChatGPT問世后,谷歌急于趕超在AI領(lǐng)域與微軟的差距,于2023年2月6日透露計劃推出一款A(yù)I聊天機(jī)器人Bard,與OpenAI頗受歡迎的ChatGPT競爭。

谷歌所研發(fā)的對話應(yīng)用語言模型LaMDA(LanguageModel for Dialogue Applications),全稱是對話應(yīng)用程序的語言模型,它是一種能力很強(qiáng)的語言模型,適用于對話應(yīng)用程序,是一種基于網(wǎng)絡(luò)上數(shù)十億詞匯進(jìn)行訓(xùn)練的大型語言模型,它受益于谷歌強(qiáng)大的計算能力和研發(fā)團(tuán)隊。

谷歌認(rèn)為LaMDA聊天機(jī)器人,性能遠(yuǎn)超現(xiàn)有的ChatGPT;另外,谷歌擁有圖像生成能力更強(qiáng)的Imagen模型,性能要優(yōu)于ChatGPT的DALL.E 2自然語言轉(zhuǎn)換成像技術(shù)。

谷歌在2023年2月8日巴黎召開的發(fā)布會上,當(dāng)場展示了Bard聊天機(jī)器人的功能。讓人沒想到的是Bard剛一亮相,就出錯了。

在谷歌短短幾分鐘的展示中,有人向Bard提問;“我可以告訴我 9 歲的孩子關(guān)于詹姆斯·韋伯太空望遠(yuǎn)鏡有哪些最新發(fā)現(xiàn)嗎?”

Bard的回答很出乎人們的意料,它指出詹姆斯·韋伯太空望遠(yuǎn)鏡拍攝到了我們太陽系之外行星的第一張照片。

天體物理學(xué)家Grant Tremblay在推特上指出:美國宇航局公布的太陽系外行星的第一張照片,并非詹姆斯·韋伯太空望遠(yuǎn)鏡拍攝,而是由歐洲南方天文臺的甚大望遠(yuǎn)鏡(VLT)于2004年拍攝的。

這個錯誤被出現(xiàn)后,導(dǎo)致外界質(zhì)疑谷歌在AI聊天機(jī)器人和人工智能方面的開發(fā)能力,導(dǎo)致其母公司Alphabet當(dāng)日的股價暴跌7.68%,市值蒸發(fā)近1056億美元(約合人民幣7172.78億元)。

這個錯誤體現(xiàn)了當(dāng)前人工智能系統(tǒng)的一個常見缺陷,即暫時還不具備實際的“理解能力”,僅能根據(jù)概率進(jìn)行猜測,并不能甄別虛假信息。

對此,微軟也承認(rèn)了ChatGPT聊天機(jī)器人同樣面臨類似挑戰(zhàn)——也會表達(dá)虛假信息。

3.3.3 Meta公司加入AI爭奪戰(zhàn)

繼微軟、谷歌在人工智能發(fā)布產(chǎn)品后,臉書(Facebook)母公司Meta也加入了人工智能AI市場爭奪戰(zhàn)。

2023年2月24日,Meta官網(wǎng)公布了一款新的人工智能大型語言模型LLaMA,從參數(shù)上來看,Meta提供有70億、130億、330億和650億四種參數(shù)規(guī)模的LLaMA模型,并用20種語言進(jìn)行預(yù)訓(xùn)練。而Open AI 推出的GPT-3通過指令微調(diào)后得到的數(shù)量達(dá)1750億個。

Meta首席AI科學(xué)家楊立昆(Yann LeCun)這樣說:在一些基準(zhǔn)測試中,LLaMA 130億參數(shù)規(guī)模的模型性能優(yōu)于OpenAI推出的GPT-3性能。像LLaMA這樣小型模型所需的計算能力和資源要少得多,且能在單個GPU上運行,具有獨特的競爭優(yōu)勢。

Meta首席執(zhí)行官馬克·扎克伯格表示:LLaMA模型旨在幫助研究人員推進(jìn)工作,在生成文本、對話、總結(jié)書面材料、證明數(shù)學(xué)定理或預(yù)測復(fù)雜任務(wù)方面有很好的前景。

最重要的是Meta稱將致力于人工智能開源模型的研究,新模型會開源授權(quán)給整個人工智能AI研究社區(qū),并授予大學(xué)、非政府組織和行業(yè)軟件訪問權(quán)限。

Meta表示還有更多研究需要做,以解決大型語言模型中的偏見、有害評論等風(fēng)險,并計劃開發(fā)屬于自己的AI芯片。

3.3.4 蘋果公司在人工智能領(lǐng)域厲兵秣馬

作為美國高科技公司巨頭的蘋果公司CEO蒂姆·庫克(TimCook)2月3日說:AI 是蘋果布局的重點,這是令人難以置信的技術(shù),它可以豐富客戶的生活,能夠為蘋果在發(fā)布的碰撞檢測、跌倒檢測和心電圖功能的產(chǎn)品中賦能。蘋果公司在這個領(lǐng)域存在巨大的潛力,幾乎可以影響一切。

他再次強(qiáng)調(diào),AI 是一項橫向技術(shù),而不是縱向技術(shù),因此它將影響我們所有的產(chǎn)品和服務(wù)。

在OpenAI 推出ChatGPT火爆全網(wǎng)后,蘋果的壓力顯而易見,有分析認(rèn)為,蘋果公司原本的語音智能服務(wù)Siri被邊緣化了,蘋果迫切需要有與ChatGPT相競爭的新一代人工智能產(chǎn)品。

外界曾猜測蘋果公司將在2023年2月的一次年度人工智能峰會上展示一款類似于ChatGPT的產(chǎn)品。結(jié)果什么都沒有發(fā)生。

蘋果公司早在2022年12 月 2日就宣布將大力推出Stable Diffusion模型。Stable Diffusion之所以引人注目,不僅因為它是開源的,還因為它的模型規(guī)模非常小,可以在一些消費類計算機(jī)上和iPhone產(chǎn)品上運行。

與此同時,Stable Diffusion本身可以內(nèi)置到蘋果的操作系統(tǒng)中,并為任何開發(fā)人員提供易于訪問的API。

3.3.5 亞馬遜公司在人工智能領(lǐng)域橫空出世

亞馬遜云科技(Amazon Web Services)是全球云計算的開創(chuàng)者和引領(lǐng)者品牌,其提供超過200項全功能的服務(wù),涵蓋計算、存儲、數(shù)據(jù)庫、網(wǎng)絡(luò)、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)與人工智能、物聯(lián)網(wǎng)以及應(yīng)用開發(fā)。

2023年2月23日消息,亞馬遜決定將與人工智能初創(chuàng)企業(yè)合作,加入聊天機(jī)器人之戰(zhàn),這是大型科技公司在生成式人工智能系統(tǒng)市場上強(qiáng)強(qiáng)聯(lián)手的最新舉措。

亞馬遜云計算服務(wù)(AWS)聯(lián)合開發(fā)一種語言生成工具,能與OpenAI的聊天機(jī)器人ChatGPT相媲美,可在自己的云客戶中使用。

亞馬遜云部門業(yè)務(wù)副總裁斯瓦米·西瓦蘇布拉馬尼安說:亞馬遜公司將打造人工智能語言模型BLOOM。已經(jīng)有超過10萬用戶在亞馬遜公司的云端運行人工智能應(yīng)用程序。

由于生成式人工智能程序要對大量現(xiàn)有內(nèi)容進(jìn)行整理才能生成可閱讀的新內(nèi)容,因此需要通過云端傳輸,這意味著,亞馬遜將通過云端傳輸獲得豐厚的利潤。

對亞馬遜來說,更主要的業(yè)務(wù)收入是出售對云端GPU的訪問權(quán),很明顯應(yīng)用模型生成圖像或文本,都會在云端的GPU上運行。

與此同時,亞馬遜本身就是一家芯片制造商,迄今為止它的大部分精力都集中在Graviton CPU上,但它可以為Stable Diffusion等模型構(gòu)建自己的專用硬件,并在價格上展開競爭。

3.3.6 英偉達(dá)在人工智能中“悶聲發(fā)財”

就在ChatGPT得到市場熱捧的時候,一個廠商正在背后悶聲發(fā)大財,那就是英偉達(dá)公司。

英偉達(dá)(NVIDIA)是一家總部位于美國的人工智能計算公司。1999年英偉達(dá)定義了GPU(圖形處理器單元),其浮點運算和并行運算速度比CPU強(qiáng)百倍之多。

GPU的成功極大地推動了PC游戲市場的發(fā)展,重新定義了現(xiàn)代計算機(jī)圖形技術(shù),并徹底改變了矩形計算的規(guī)則,大大提高了計算機(jī)的處理能力。

2022 年3月推出的NVIDIA Hopper這一款新架構(gòu),以美國計算機(jī)領(lǐng)域的先驅(qū)科學(xué)家 Grace Hopper 的名字命名,將取代兩年前推出的 NVIDIA Ampere 架構(gòu)。基于 Hopper 架構(gòu)的 GPU — NVIDIA H100,該款 GPU 集成了 800 億個晶體管,擁有 Transformer 引擎和高度可擴(kuò)展的 NVIDIA NVLink 互聯(lián)技術(shù)等突破性功能,可推動AI 語言模型、深度推薦系統(tǒng)、基因組學(xué)和復(fù)雜數(shù)字孿生的發(fā)展,被廣泛應(yīng)用于數(shù)據(jù)分析、科學(xué)計算和云圖形。

事實上,無論是OpenAI的ChatGPT、還是微軟的搜索引擎Bing、谷歌的人工智能系統(tǒng)LaMDA,都離不開英偉達(dá)提供的底層芯片算力支持。

作為一家市值5000億美元的科技巨頭,以Hopper加速卡為代表數(shù)據(jù)中心業(yè)務(wù)堪稱是英偉達(dá)的“印鈔機(jī)”。

據(jù)瑞銀分析師蒂莫西·阿庫里估計,OpenAI的ChatGPT中至少購入了1萬顆英偉達(dá)高端GPU來做預(yù)訓(xùn)練模型。

自2023年以來,英偉達(dá)的股價在一個月內(nèi)就大漲40%,盡管英偉達(dá)官方對ChatGPT沒有任何表態(tài),但花旗分析師表示,ChatGPT的持續(xù)快速增長,可能會進(jìn)一步導(dǎo)致整個2023財年中,英偉達(dá)GPU(圖形處理器)芯片的銷售額將劇增,估計至少增加110億美元。

美國銀行和富國銀行的其他分析師也認(rèn)為,英偉達(dá)將從人工智能業(yè)務(wù)中獲取巨額利潤。

參考資料:

[1] ChatGPT翻開了硬幣的哪一面?北京郵電大學(xué)人工智能學(xué)院教授鄧偉洪、中國信通院云大所有內(nèi)容科技部副主任石霖

[2] 采訪報道ChatGPT“火出圈”我們該“急眼”嗎?中國經(jīng)濟(jì)網(wǎng)2023年2月20日

[3] OpenAI官網(wǎng)(ChatGPT:優(yōu)化對話的語言模型 (OpenAI.com))

[4] Interactive Learning from Policy-Dependent Human Feedback (MacGlashan et al. 2017)

[5] Deep Reinforcement Learning from Human Preferences (Christiano et al. 2017)

[6] ChatGPT: Optimizing Language Models for Dialogue (OpenAI 2022)

[7]Scaling Laws for Reward Model Overoptimization (Gao et al. 2022)

[8] Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback (Anthropic, 2022)

[9] Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned (Ganguli et al. 2022)

[10] Dynamic Planning in Open-Ended Dialogue using Reinforcement Learning (Cohen at al. 2022)

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。

評論

暫無評論哦,快來評價一下吧!

下載界面新聞

微信公眾號

微博

4萬字告訴你ChatGPT到底是什么?(上)

ChatGPT全稱為“Chat Generative Pre-trained Transformer”,Chat是聊天,GPT是“生成型預(yù)訓(xùn)練變換模型”,可以翻譯為“聊天生成預(yù)訓(xùn)練轉(zhuǎn)換器”或簡稱“優(yōu)化對話的語言模型”。

文 | 星船知造 錢鴻生

編輯 | 唐曉園

序言及摘要:

作為星船知造“現(xiàn)代通信與智能網(wǎng)技術(shù)展望”系列欄目的第一輯,我們邀請星船知造的資深讀者、通信行業(yè)教授級高級工程師錢鴻生博士為我們撰寫了《ChatGPT技術(shù)架構(gòu)及中國人工智能未來發(fā)展趨勢報告》。

報告正文共3.8萬字,在介紹了ChatGPT的進(jìn)化歷程、主要內(nèi)涵、底層技術(shù)架構(gòu)與邏輯后,提出ChatGPT潛在的商業(yè)價值和對資本市場影響的風(fēng)險管控警示。

并分析了算法和算力以及芯片技術(shù),對我國人工智能AI發(fā)展的制約與影響,最后切入我國AI產(chǎn)業(yè)結(jié)構(gòu)調(diào)整、建立AI法律保護(hù)與系統(tǒng)安全的視角,對發(fā)展我國人工智能產(chǎn)業(yè)提出一些前瞻性的趨勢分析和研判。我們將節(jié)選出報告中部分內(nèi)容,在星船知造公眾號分上、下兩篇發(fā)布。

今天的上篇主要聚焦第一章《ChatGPT的含義與OpenAI公司概況》中的“ChatGPT的基本功能模塊”;

第二章《ChatGPT的內(nèi)涵與底層技術(shù)架構(gòu)》中的“ChatGPT的DALLE2自然語言轉(zhuǎn)換成像技術(shù)”、“人工智能AI芯片的重要意義”、“人工智能中的算力單位pfs-day”等章節(jié)中的部分內(nèi)容。

同時節(jié)選第三章《ChatGPT的潛在商業(yè)價值與市場動態(tài)》中的“國內(nèi)投資者和廠商對ChatGPT的反應(yīng)”、“ChatGPT可能影響的行業(yè)初探”等章節(jié)中部分內(nèi)容。

ChatGPT含義與OpenAI公司概況

ChatGPT全稱為“Chat Generative Pre-trained Transformer”,Chat是聊天,GPT是“生成型預(yù)訓(xùn)練變換模型”,可以翻譯為“聊天生成預(yù)訓(xùn)練轉(zhuǎn)換器”或簡稱“優(yōu)化對話的語言模型”。

由美國人工智能公司OpenAI 開發(fā)的ChatGPT兩個月時間內(nèi)用戶已超1個億。

作為一款建立在云計算、海量數(shù)據(jù)庫、人工智能算法架構(gòu)和深度神經(jīng)網(wǎng)絡(luò)基礎(chǔ)之上開發(fā)的聊天機(jī)器人程序,ChatGPT不像傳統(tǒng)的搜索引擎一樣復(fù)制、粘貼、拼湊網(wǎng)上已有的信息給你。它的回答是有邏輯的、生動的,有上下文關(guān)聯(lián)的。

ChatGPT聊天機(jī)器人目前支持幾乎世界上所有的語言輸入。有人說未來它會像《流浪地球》系列電影中的智能量子計算機(jī)MOSS,不僅擁有超強(qiáng)算力,還有自我意識、自我迭代、自我更新的特點,最終演化出有思維的人工智能。

或許MOSS已經(jīng)離我們不遠(yuǎn)了。

OpenAI官網(wǎng)發(fā)布的ChatGPT系統(tǒng)界面

OpenAI初期是從事人工智能研究的非營利化組織,公司初期宗旨和使命是確保通用人工智能 (Artificial General Intelligence,AGI)在大多數(shù)具有經(jīng)濟(jì)價值的工作上超越人類。建造出安全的、符合共同利益的通用人工智能,也希望能預(yù)防人工智能的災(zāi)難性影響,推動人工智能技術(shù)發(fā)揮積極作用。

同時也針對谷歌在搜索引擎業(yè)務(wù)領(lǐng)域形成的壟斷優(yōu)勢,利用人工智能技術(shù)展開全面對抗。

OpenAI發(fā)展里程碑

2019年3月:OpenAl向資本市場開放,引入戰(zhàn)略投資者微軟公司,隨后宣布從非營利性質(zhì)過度到封頂營利性質(zhì),利潤上限為任何投資的100倍。創(chuàng)立了OpenAlLP公司。

2019年7月:微軟向OpenAI注資10億美金,并得到了OpenAl技術(shù)的商業(yè)化授權(quán),將OpenAl公司開發(fā)產(chǎn)品與微軟產(chǎn)品深度融合。

2020年6月:OpenAI宣布了GPT-3語言模型,發(fā)布了第一個產(chǎn)品OpenAl-API,從此OpenAl公司開始了正式商業(yè)運作。

2020年9月:OpenAl公司授權(quán)微軟公司使用其GPT-3模型,微軟成為世界首個享用OpenAl公司人工智能產(chǎn)品GPT-3的公司。

2021年:微軟再次對OpenAI投資,雙方合作關(guān)系正式進(jìn)入第二階段,微軟擁有OpenAI新技術(shù)商業(yè)化授權(quán),同時將OpenAI工具與自有產(chǎn)品再次進(jìn)行深度集成,并推出相應(yīng)產(chǎn)品。

2022年12月:OpenAI在微軟資助下,發(fā)布了人工智能模型,開發(fā)出了最新款人工智能產(chǎn)品,取名為ChatGPT。2個月后,ChatGPT的全球活躍用戶突破了1億。

2023年2月2日:OpenAI宣布推出ChatGPT Plus訂閱服務(wù),可以讓用戶在高峰期優(yōu)先使用人工智能聊天機(jī)器人 ChatGPT。

OpenAl還有兩個不為人知的小故事。其一關(guān)于馬斯克與OpenAI的歷史淵源。

馬斯克實際上是OpenAI創(chuàng)始人之一。2015年馬斯克聯(lián)合LinkedIn 創(chuàng)始人、Y Combinator總裁及 PayPal創(chuàng)始人等共同宣布創(chuàng)立OpenAI 公司,目標(biāo)說是打造屬于全人類的、開放的AI組織,其定位是非營利性的,不過在2018年馬斯克突然離開OpenAI。

外界傳聞有兩個版本:

一是特斯拉公司也在研究AI,與OpenAI 在研發(fā)方向上有沖突,馬斯克因此退出了董事會,但繼續(xù)擔(dān)任了OpenAI 公司的顧問。

二是馬斯克挖走了當(dāng)時剛從斯坦福大學(xué)博士畢業(yè)后加入OpenAI的天才少年安德烈,安德烈的研究方向為計算機(jī)視覺,主攻圖像識別和理解,當(dāng)時馬斯克的特斯拉也需要這樣的人才。于是馬斯克請這位安德烈去解決特斯拉的問題,為此OpenAI 公司一氣之下把馬斯克“踢”出董事會。

其二關(guān)于安德烈。出生于捷克斯洛伐克的安德烈全名安德烈·卡帕斯(Andrej Karpathy),作為ChatGPT發(fā)展中的重要人物,是位“85后”。29歲時在斯坦福大學(xué)拿到博士學(xué)位。讀博期間,他兩次到谷歌公司做畢業(yè)實習(xí)。

博士畢業(yè)后,安德烈2016年加入了當(dāng)時剛成立一年的OpenAI,是OpenAI創(chuàng)始團(tuán)隊的成員之一,只不過工作一年多后,就被馬斯克挖到特斯拉去了。

他被馬斯克迅速提升,接管了整個人工智能開發(fā)團(tuán)隊的軟件部分,并和負(fù)責(zé)硬件的Pete Bannon攜手主導(dǎo)了特斯拉車控智能軟件開發(fā)。在此之后,他還接管了擎天柱人形機(jī)器人、特斯拉超算系統(tǒng)Dojo的開發(fā),可以說是馬斯克手下最為重要的人工智能領(lǐng)軍人物。

特斯拉人形機(jī)器人 圖源:Tesla官網(wǎng)

2022年7月安德烈突然離開特斯拉,回歸OpenAI。

安德烈在自己的推特賬號上輕描淡寫說道:“我和許多其他人一樣,不管是處于AI圈的還是非AI圈,都被OpenAI的成果鼓舞感動了。我相信這家公司未來的潛力非常大,因此很高興重新投入到其中來。”

OpenAI很多人對安德烈7年后重新回到公司充滿了期待,給予他“讓CharGPT再次偉大(Make ChatGPT Great Again)”的厚望。

無論何時,在AI人工智能領(lǐng)域的人才爭奪都是如此激烈。

1.2.ChatGPT主要功能

OpenAI官網(wǎng)上說:我們已經(jīng)訓(xùn)練了一個名為ChatGPT的優(yōu)化對話的語言模型,它以對話方式進(jìn)行交互。

對話形式使 ChatGPT 能夠回答后續(xù)問題、承認(rèn)錯誤、挑戰(zhàn)不正確的前提并拒絕不適當(dāng)?shù)恼埱?。ChatGPT 經(jīng)過訓(xùn)練以遵循提示中的指令并提供詳細(xì)響應(yīng)。

和曾經(jīng)的人工智能是“讓計算機(jī)在固定場景下干固定的事”這個范疇不同,ChatGPT面對的是一個“open world”。全球目前上億用戶向它提問的問題是不可預(yù)知的。這恰恰是AI開發(fā)的難點。

ChatGPT目前系統(tǒng)功能主要是文本生成、聊天機(jī)器人、語言問答、語言翻譯、自動文摘、繪畫功能、編程功能、視頻生成等八大功能模塊所組成。如下圖所示 :

星船知造為您逐一稍作展開——

1.2.1文本生成

ChatGPT的文本生成功能可根據(jù)人們的提問,生成可讀的各種文本。文本生成功能通常用于生成新聞、博客、報告等內(nèi)容。也可用于生成代碼、詩歌、小說等各種不同類型文本。

下圖為星船知造編輯部讓ChatGPT寫一篇“關(guān)于中國充電樁各主要生產(chǎn)廠商前景”的報道,然后,它寫到一半卡住了

1.2.2 聊天機(jī)器人

ChatGPT大型語言模型可以實時回答人們提出的各種問題,ChatGPT可以記住你之前跟它說話的過程與內(nèi)容。

ChatGPT聊天機(jī)器人具有一定的記憶和思維判斷功能,能根據(jù)對話內(nèi)容,前后呼應(yīng)且有一定的語言邏輯推演能力,這也是ChatGPT聊天機(jī)器人區(qū)別于之前一些人工語言處理系統(tǒng)完全不一樣的地方。

1.2.3 語言問答

ChatGPT的語言問答系統(tǒng)是應(yīng)用人類語言處理技術(shù),通過識別用戶問題并匹配相應(yīng)答案來回答問題。它通過對大量數(shù)據(jù)學(xué)習(xí)和深度分析,以及對語言和語法的深入了解,幫助用戶快速找到所需的信息。

ChatGPT問答系統(tǒng)適用于售后服務(wù)與話務(wù)員應(yīng)答、醫(yī)療咨詢和教育等場景???4小時連續(xù)不斷地提供服務(wù)。

1.2.4語言翻譯

ChatGPT的語音翻譯是利用人工智能技術(shù),將各國不同的文字和語言進(jìn)行相互轉(zhuǎn)換,可直接把文字轉(zhuǎn)換成不同的語言。它通過使用計算機(jī)算法和語音數(shù)據(jù)庫來生成語音合成,可用于語音導(dǎo)航、機(jī)器人語音交互、同聲翻譯、語音自動識別等應(yīng)用。

1.2.5自動文摘

ChatGPT的自動文摘是一種利用人工智能技術(shù),針對大量文本和視頻內(nèi)容進(jìn)行簡化、概括的技術(shù)。它通常采用機(jī)器學(xué)習(xí)和自然語言處理方法,識別文本中的關(guān)鍵信息,生成簡明、準(zhǔn)確的摘要。

可在一次會議后馬上整理出會議紀(jì)要,或?qū)﹂L達(dá)2個小時的電話視頻做出一份10分鐘的會議摘要。自動文摘可以縮短文本閱讀時間和視頻閱讀時間,提高編寫會議的效率,幫助用戶快速了解文本內(nèi)容。它在新聞、科技、商業(yè)等領(lǐng)域都有應(yīng)用。

1.2.6繪畫功能

用戶可以在ChatGPT中寫一段有關(guān)畫作的文字描述,描述你想要畫出的圖片或影像要求。也可以借助ChatGPT的提示,使系統(tǒng)更詳細(xì)地了解你所要描繪的作品。對于產(chǎn)品廣告設(shè)計和期刊書籍的插畫是方便的工具。使用者不需要專業(yè)繪畫技術(shù)的積累。

1.2.7編程功能

大多數(shù)開發(fā)場景中,特別是用戶需求相對固定的場合,ChatGPT 可以用來編寫代碼,檢查代碼語義的準(zhǔn)確性,改進(jìn)和簡化人們的編程工作。

ChatGPT 還可以幫助我們提高自己編程代碼的質(zhì)量和可讀性,通過你提出的要求,它會逐行添加注釋,可以確保代碼在發(fā)布前得到正確記錄,并使其他人更容易理解和使用代碼??商岣叽a可讀性、可維護(hù)性和與他人協(xié)作的能力。

ChatGPT其實還有很多功能正在被開發(fā)與完善之中,有人把目前ChatGPT-3提供的功能細(xì)分為8大類60項功能,在此我們就不一一贅述了。

1.2.8視頻生成

向ChatGPT提問對某一個產(chǎn)品或一個事件的描述,ChatGPT會送出一份文檔,你可以對文檔稍作修改,要求ChatGPT直接將文檔轉(zhuǎn)換成視頻。

除此之外,ChatGPT可以被用于智能助手,智能客服等領(lǐng)域。

總之,ChatGPT的出現(xiàn),為人工智能技術(shù)的發(fā)展帶來了新的思路和技術(shù)支持,在數(shù)據(jù)處理、自然語言處理以及其他領(lǐng)域的應(yīng)用前景廣闊。

ChatGPT的內(nèi)涵與底層技術(shù)架構(gòu)

有人把ChatGPT理解為一個簡單的搜索引擎功能,認(rèn)為其工作原理就是把2022年以前網(wǎng)絡(luò)中已有的數(shù)據(jù),加工整理后推送給客戶。人們認(rèn)為ChatGPT只要建立一個足夠大的數(shù)據(jù)存儲空間,把所有的信息存放在里面,然后進(jìn)行檢索,就可以實現(xiàn)文本問答和聊天機(jī)器人功能了。

其實ChatGPT的工作原理并不是那么簡單,比一般人理解的程度要復(fù)雜很多,這里面涉及生成性預(yù)訓(xùn)練變換模型和很多關(guān)鍵核心技術(shù)和底層邏輯。

2.1 ChatGPT生成性預(yù)訓(xùn)練變換模型

前文我們在介紹ChatGPT的含義時已經(jīng)介紹過,ChatGPT的全稱為“Chat Generative Pre-trained Transformer”,翻譯成中文就是生成型預(yù)訓(xùn)練變換模型。在此之前,一般所謂的人工智能、機(jī)器學(xué)習(xí)、聊天對話軟件在很大程度上都是局限于觀察、分析和內(nèi)容分類以及圖像識別。

而以ChatGPT為代表的生成性人工智能AI是一項技術(shù)上的突破,它可以生成新內(nèi)容,而不僅限于分析現(xiàn)有的數(shù)據(jù)。它的技術(shù)核心是生成性的人工智能。

從ChatGPT字面上來看,Chat是聊天的意思,但GPT才是關(guān)鍵。

第一個字母G是Generative,屬于生成性的人工智能,在這以前的人工智能都局限在觀察分析現(xiàn)有內(nèi)容,但這次ChatGPT是個突破,它可以根據(jù)我們的需要,創(chuàng)造生成全新的內(nèi)容。

第二個字母P是Pre-trained的縮寫,預(yù)訓(xùn)練的意思。表示這個模型已經(jīng)在某些有限的數(shù)據(jù)集上進(jìn)行了預(yù)訓(xùn)練,ChatGPT在與人的對話中幾乎接近正常人的交流,就是因為它已經(jīng)接受過海量數(shù)據(jù)的訓(xùn)練,而這些數(shù)據(jù)就是我們?nèi)祟?022年以前發(fā)布在互聯(lián)網(wǎng)上的內(nèi)容(目前版本的ChatGPT還不具備網(wǎng)絡(luò)數(shù)據(jù)實時更新功能)。

由于ChatGPT目前還沒有實現(xiàn)網(wǎng)絡(luò)的實時連接,因此回答問題的時效性受到一定的限制。

ChatGPT在正式發(fā)布前,已經(jīng)進(jìn)行了大量的監(jiān)督學(xué)習(xí)和通過人類反饋強(qiáng)化學(xué)習(xí),所以我們在使用它的時候,這個模型能準(zhǔn)確快速地生成對話內(nèi)容。

第三個字母是Transformer,翻譯過來就是轉(zhuǎn)換器,這是ChatGPT底層人工智能學(xué)習(xí)的一個算法架構(gòu)。

ChatGPT嚴(yán)格意義上來說就是一種基于Transformer的自然語言處理模型。采用了預(yù)訓(xùn)練加微調(diào)的方法,通過對大規(guī)模語料庫進(jìn)行預(yù)訓(xùn)練,對標(biāo)注數(shù)據(jù)進(jìn)行微調(diào),從而使模型能夠適應(yīng)特定的自然語言處理任務(wù),擁有語言理解和文本生成能力。

2.1.1 ChatGPT的演進(jìn)過程

第一階段:GPT-1發(fā)布

2018年6月,OpenAl 第一篇論文《Improving Language Understanding by Generative Pre-Training》通過生成式預(yù)訓(xùn)練來提高語言理解能力的論文中提出了第一個模型GPT-1。從這篇論文中得出的關(guān)鍵結(jié)論是,Transformer 架構(gòu)與無監(jiān)督預(yù)訓(xùn)練的結(jié)合產(chǎn)生了GPT-1, 加上有監(jiān)督微調(diào)方式,針對特定任務(wù)進(jìn)行預(yù)訓(xùn)練,實現(xiàn)了強(qiáng)大自然語言理解能力。

第二階段:GPT-2發(fā)布

2019年2月,OpenAI發(fā)表了第二篇論文《Language Models are Unsupervised Multitask Learners》,推出了GPT-2 。GPT-2是一種自然語言生成模型,其設(shè)計目標(biāo)是生成與人類語言相似的文本,可以完成多任務(wù)處理。

第三階段:GPT-3發(fā)布

2020年5月,OpenAI發(fā)表第三篇論文《Language Models are Few-Shot Learners》,推出了GPT-3。GPT-2和GPT-3是兩個不同的模型,它們的主要區(qū)別在于應(yīng)用場景、模型規(guī)模和性能表現(xiàn)。GPT-3是一種自然語言生成模型,它是目前規(guī)模最大的預(yù)訓(xùn)練模型,可以生成高質(zhì)量的自然語言文本,包括文章、詩歌、對話等。GPT-3還支持一些其他的自然語言任務(wù),例如翻譯、問答、語義搜索等。

第四階段:GPT-3.5 發(fā)布

2022年11月29日,OpenAI發(fā)布了一個命名為“text-davinci-003”(文本-達(dá)芬奇-003常稱為GPT3.5)的新模型。它以對話方式進(jìn)行交互,既能夠做到回答問題,也能承認(rèn)錯誤、質(zhì)疑不正確的前提以及拒絕不恰當(dāng)?shù)恼埱蟆?/p>

2.1.2 ChatGPT的預(yù)訓(xùn)練加微調(diào)

所謂的ChatGPT預(yù)訓(xùn)練,是一個基于transform模型的預(yù)訓(xùn)練語言模型,它的訓(xùn)練邏輯如下:

第一是語料準(zhǔn)備,從互聯(lián)網(wǎng)上收集大量文本語料。如新聞、書籍、論壇,其中維基百科是它的一個重要數(shù)據(jù)來源。維基百科是用多種語言編寫而成的網(wǎng)絡(luò)百科全書。

然后是對數(shù)據(jù)預(yù)處理,對語料進(jìn)行處理,把它們分割成許多獨立的句子或段落,對每個句子進(jìn)行分詞。分詞后把每個單詞轉(zhuǎn)換成數(shù)字,生成一個數(shù)字序列,然后構(gòu)建成數(shù)字詞典。

訓(xùn)練就是使用這些數(shù)字序列用transformer模型進(jìn)行模擬場景試驗,需要投入大量的人工干預(yù),并使用監(jiān)督學(xué)習(xí)的方式對預(yù)訓(xùn)練模型進(jìn)行微調(diào)。根據(jù)獎勵模型優(yōu)化策略,然后生成輸出,ChatGPT的預(yù)訓(xùn)練繞不開正向傳遞,反向更新,梯度收斂,預(yù)訓(xùn)練模型降低了獲取更高水平人工智能的成本。

由于至今OpenAI沒有公開ChatGPT相關(guān)預(yù)訓(xùn)練數(shù)據(jù)集來源和具體細(xì)節(jié),一定程度上阻礙了追趕者的步伐。

2.1.3 ChatGPT的Transformer轉(zhuǎn)換器

ChatGPT的核心技術(shù)之一是Transformer轉(zhuǎn)換器,Transformer技術(shù)是近幾年人工智能技術(shù)最大的亮點之一,由谷歌的人工智能的團(tuán)隊“谷歌大腦”首先發(fā)布。

這種模型是使用一種叫自注意力的機(jī)制(self attention mechanism),它允許模型在進(jìn)行預(yù)測的時候,可根據(jù)語言序列的任何位置,為輸入數(shù)據(jù)的不同部分賦予不同的權(quán)重,并支持處理更大的數(shù)據(jù)集。

Transformer的精度和性能上都比之前流行的CNN(卷積神經(jīng)網(wǎng)絡(luò))、RNN(循環(huán)神經(jīng)網(wǎng)絡(luò))等模型,大幅提升了模型訓(xùn)練的效果,讓人工智能在更大模型、更多數(shù)據(jù)、更強(qiáng)算力的基礎(chǔ)上進(jìn)一步增強(qiáng)運算能力。此外,還具有很強(qiáng)的跨模態(tài)處理能力,不僅在NLP(自然語言理解)領(lǐng)域表現(xiàn)優(yōu)異,在語音、圖像方面也顯示出了優(yōu)異的性能。

Transformer是ChatGPT語言模型的核心技術(shù),是一種用于序列到序列(Sequence-to-Sequence)任務(wù)的神經(jīng)網(wǎng)絡(luò)模型,例如機(jī)器翻譯,語音識別和生成對話等,它使用了注意力機(jī)制來計算輸入序列和輸出序列之間的關(guān)系。如下圖所示

制圖:星船知造

Transformer的主要優(yōu)點是它可以并行地處理輸入序列中的所有信息,因此在訓(xùn)練和推理時都有很高效率。

此外,Transformer沒有使用循環(huán)結(jié)構(gòu),因此它不受長序列的影響,并且在處理長序列時不會出現(xiàn)梯度消失或爆炸的問題。

2.2 ChatGPT人類反饋優(yōu)化語言模型(RLHF)

ChatGPT 面對多樣化的問題對答如流,已經(jīng)打破了機(jī)器和人類溝通的邊界,這一工作的背后是大型語言模型 (Large Language Model,LLM) 生成領(lǐng)域的新訓(xùn)練范式RLHF (Reinforcement Learning from Human Feedback) ,即依據(jù)人類反饋的強(qiáng)化學(xué)習(xí)方法模型。

OpenAI官網(wǎng)上如是說:我們使用依據(jù)人類反饋的強(qiáng)化學(xué)習(xí)方法模型(RLHF)來實施訓(xùn)練,使用監(jiān)督微調(diào)訓(xùn)練一個初始模型與人類人工智能訓(xùn)練師提供對話,他們在其中扮演用戶和人工智能助手。我們讓培訓(xùn)師可以訪問模型編寫的建議,以幫助他們撰寫答案。

為了創(chuàng)建強(qiáng)化學(xué)習(xí)的獎勵模型,我們需要收集比較數(shù)據(jù),其中包括兩個或多個按質(zhì)量排名的模型響應(yīng)。為了收集這些數(shù)據(jù),我們進(jìn)行了人工智能培訓(xùn)師與聊天機(jī)器人的對話。我們隨機(jī)選擇了一個模型編寫的消息,抽樣了幾個替代完成,并讓AI培訓(xùn)師對它們進(jìn)行排名。使用這些獎勵模型,我們可以使用近端策略優(yōu)化來微調(diào)模型,我們執(zhí)行了此過程的多次迭代。

ChatGPT強(qiáng)化學(xué)習(xí)算法訓(xùn)練獎勵模型簡單來說就是分為三個階段:

第一階段是收集示范數(shù)據(jù),人工智能培訓(xùn)師與聊天機(jī)器人對話,并接受監(jiān)督。

第二階段是收集比較數(shù)據(jù),訓(xùn)練一個獎勵模型。

第三階段是利用PPO強(qiáng)化學(xué)習(xí)算法,優(yōu)化一個針對獎勵模型的策略。

2.5 ChatGPT的DALL.E 2自然語言轉(zhuǎn)換成像技術(shù)

根據(jù)OpenAI官網(wǎng)上的介紹,ChatGPT中的DALL.E 2自然語言轉(zhuǎn)換成像技術(shù),最初只是一個研究項目,目標(biāo)是制定并繼續(xù)改進(jìn)安全緩解的措施,其中包括:

第一、限制DALL·E 2 自然語言轉(zhuǎn)換成影像時生成暴力、仇恨或成人圖像。通過從訓(xùn)練數(shù)據(jù)中刪除有害的視頻內(nèi)容、使用先進(jìn)的技術(shù)來防止真實人物的面部,包括公眾知名人物的面部在視頻中出現(xiàn)。

第二、遏制用戶濫用政策。不允許文本要求生成暴力、成人或政治內(nèi)容等視頻。如果我們的過濾器發(fā)現(xiàn)可能違反我們政策的文本提示和圖片上傳,ChatGPT就會采用自動化和人工監(jiān)控系統(tǒng)予以拒絕。

OpenAI認(rèn)為:負(fù)責(zé)任的開發(fā)和安全監(jiān)管是人工智能的重要組成部分,讓用戶對ChatGPT安全系統(tǒng)有信心。

OpenAI希望DALL.E 2自然語言轉(zhuǎn)換成像技術(shù)能降低圖像生成模型相關(guān)的風(fēng)險。為此,DALL.E 2在互聯(lián)網(wǎng)上數(shù)億張帶標(biāo)題的圖像上進(jìn)行訓(xùn)練,刪除并重新加權(quán)其中一些圖像,更改模型學(xué)習(xí)的內(nèi)容。

同時,采用在DALL.E 2中設(shè)置各種防護(hù)欄訓(xùn)練數(shù)據(jù)集,過濾訓(xùn)練數(shù)據(jù),放大偏差、重復(fù)數(shù)據(jù)刪除等多種技術(shù)手段,以防止生成的圖像違反內(nèi)容管制政策。使人們能夠創(chuàng)造性地表達(dá)自己,幫助人們了解ChatGPT人工智能系統(tǒng)如何看待和理解我們的世界,對于創(chuàng)造人類的人工智能使命至關(guān)重要。

2.6 ChatGPT軟件是否能開源?

OpenAI 不開放,是人工智能業(yè)界很多人詬病的話題。軟件開源是多年來互聯(lián)網(wǎng)產(chǎn)業(yè)之所以能蓬勃發(fā)展的驅(qū)動力之一。

軟件開源方式可以調(diào)動全世界軟件開發(fā)者的積極性,每個人都可以下載源代碼,并可進(jìn)行優(yōu)化和社區(qū)分享,也可以及時發(fā)現(xiàn)軟件系統(tǒng)中的缺陷,提醒廠商予以改進(jìn)完善。

這種用全社會的力量來創(chuàng)新的機(jī)制,大幅加速了新技術(shù)的發(fā)展和產(chǎn)業(yè)應(yīng)用的進(jìn)程。

據(jù)OpenAI 公司證實,目前ChatGPT尚未開源,目前是作為API(應(yīng)用程序編程接口)調(diào)用的方式提供聯(lián)網(wǎng)服務(wù),暫時沒有開源的計劃時間表,甚至不排除未來很長一段時間內(nèi)不會考慮軟件開源的問題。

關(guān)于ChatGPT為何不開源,業(yè)內(nèi)也有一些專家表示理解,因為人工智能技術(shù)至今為止沒有一家廠商的軟件是開源的,基本上都是一個“黑盒子”,關(guān)于其內(nèi)部的運行機(jī)制外界很難了解。

如果軟件代碼開源,很難避免有人會利用人工智能創(chuàng)造出一些不利于社會和人類的內(nèi)容,因此人工智能軟件代碼不開源,可能也是出于系統(tǒng)安全性方面的考慮。

此外,自從Open AI 公司放棄了非營利組織的定位,接受微軟等企業(yè)投資后,從商業(yè)化的角度考慮,也會采取軟件和模型代碼不開源的措施,保護(hù)商業(yè)利益和投資。

而采用開放應(yīng)用接口的方式來加以推廣,日后不排除對應(yīng)用接口部分開源少部分模型,豐富開發(fā)者的生態(tài)環(huán)境,有利于與ChatGPT與其他系統(tǒng)或終端的互聯(lián)互通,加快人工智能產(chǎn)業(yè)的應(yīng)用進(jìn)程。

ChatGPT人工智能研究中心及其首席執(zhí)行官薩姆·奧爾特曼在接受美國《福布斯》雙周刊記者采訪時,在記者問及關(guān)于軟件開源問題的追問時說道:

“我認(rèn)為實現(xiàn)這一目標(biāo)的最重要方式是推出像ChatGPT這樣的AI平臺,除此之外,我們希望提供日益強(qiáng)大的應(yīng)用軟件接口(API),同時能夠讓它們更加安全。我們將繼續(xù)開源,就像我們開源了CLIP(2021年發(fā)布的視覺神經(jīng)網(wǎng)絡(luò)),引發(fā)圖像生成領(lǐng)域?qū)崿F(xiàn)軟件開源。

我們開源了Whisper和Triton(自動語音識別系統(tǒng)和編程語言)。所以我相信這是一個多管齊下的策略,一方面要拿出好的東西,另一方面要平衡每樣特定東西帶來的風(fēng)險和收益?!?/p>

上述或可佐證Open AI 可能在應(yīng)用接口部分開源少部分模型,豐富開發(fā)者生態(tài)環(huán)境的意圖。

2.7 人工智能AI芯片的重要意義

在人工智能領(lǐng)域,包括人們?nèi)粘I钪惺褂玫闹悄苁謾C(jī),智能駕駛汽車等領(lǐng)域要完成運算都是與圖像識別、語音識別、自然語言處理有關(guān)。

底層最常用的就是卷積神經(jīng)網(wǎng)絡(luò),也就是數(shù)學(xué)中的矩陣運算和優(yōu)化處理,一般來說CPU主要適合常用的數(shù)學(xué)計算。對于矩陣運算,專用的AI 人工智能芯片就比較合適了。所以在這特定的情況下,AI芯片應(yīng)運而生了。

不同廠商對AI芯片有不同的稱呼,有的稱為NPU神經(jīng)網(wǎng)絡(luò)處理器。谷歌叫TPU張量(矩陣)處理器,美國超威半導(dǎo)體公司(AMD)叫APU加速處理器。蘋果叫仿生芯片,市場營銷的意味更多一些,而一般都統(tǒng)稱為AI芯片或叫人工智能芯片。

人工智能芯片可視為CPU的一部分,作為單獨的加速芯片,它其實是從顯示芯片GPU發(fā)展而來的。

早期的GPU多用于2D和3D圖形處理和計算,市場上則主要針對游戲領(lǐng)域。

當(dāng)下是算力時代,人工智能、深度神經(jīng)網(wǎng)絡(luò)、數(shù)據(jù)分析、可視化、互聯(lián)網(wǎng)算法、生成性與訓(xùn)練、運算服務(wù)器、智能汽車、移動設(shè)備等,都離不開算力支撐。

從全球整體市場情況來看,目前全球GPU市場形成多寡頭競爭格局,其中包括英特爾、英偉達(dá)和AMD、蘋果、谷歌、華為、阿里巴巴、騰訊、寒武紀(jì)也相繼開發(fā)出了人工智能芯片。

英偉達(dá)和AMD的芯片都是由臺積電代工的,臺積電在芯片包括AI芯片加工市場占據(jù)重要的地位。

2.8 人工智能中的算力單位pfs-day(petaflop/s-day)

隨著人工智能尤其是強(qiáng)化學(xué)習(xí)算法和預(yù)訓(xùn)練技術(shù)的飛速發(fā)展,人工智能AI模型的算力正在以超高的速度發(fā)展。特別在自然語言處理領(lǐng)域的增長十分迅速。

OpenAI的GPT-3大型神經(jīng)網(wǎng)絡(luò)有1750億個參數(shù),而且模型越做越大,短期看來是一個技術(shù)趨勢。

這樣大的模型對于訓(xùn)練算力的消耗是驚人的,人們用一個新的單位來衡量算力,即petaflops/s-day,或者縮寫成pfs-day。

OpenAI定義神經(jīng)網(wǎng)絡(luò)中的每一次乘法或一次加法為一個操作,如果每秒鐘可以進(jìn)行1015方運算,也就是1 peta flops,那么一天就可以進(jìn)行約1020的運算,這個算力消耗被稱為1個petaflop/s-day。

OpenAI透露:曾訓(xùn)練過一個強(qiáng)化學(xué)習(xí)模型OpenAI Five,使用該系統(tǒng)在2019年戰(zhàn)勝了DOTA游戲職業(yè)游戲戰(zhàn)隊,該模型訓(xùn)練量達(dá)到800 pfs-day。

OpenAI用了256個英偉達(dá)的GPU和12.8萬個CPU核心芯片,預(yù)訓(xùn)練整整持續(xù)了10個月時間。OpenAI Five的總預(yù)訓(xùn)練量相當(dāng)于打了45000年Dota游戲,每天的訓(xùn)練量大概相當(dāng)于人類打180年游戲。

根據(jù)OpenAI的最新研究,從2012年以來,最大的AI訓(xùn)練對于算力的消耗已經(jīng)增長了30萬倍,平均每100天就翻倍,算力是人工智能發(fā)展的技術(shù)保障,是人工智能發(fā)展的動力和引擎。這個速度已經(jīng)大大超越了兩年翻倍的摩爾定律。

2020年5月,OpenAI發(fā)表了一篇由多位作者撰寫的論文:Language Models are Few-Shot Learners (語言模型是小樣本學(xué)習(xí)者)。其中提到ChatGPT-3中有多達(dá)1750億個參數(shù)、數(shù)據(jù)集45TB,訓(xùn)練花了3640pfs-day,語言模型訓(xùn)練一次的費用保守估計是460萬美元,模塊總訓(xùn)練成本估計達(dá)到了1200 萬美元。

由此可見在人工智能領(lǐng)域的資金投入以及對計算機(jī)的算力要求是如此之高,遠(yuǎn)超人們的想象力。

ChatGPT潛在商業(yè)價值與市場動態(tài)

ChatGPT在系統(tǒng)可靠性、準(zhǔn)確性方面還有待改進(jìn)的空間。人工智能項目當(dāng)前大多數(shù)仍然處于研發(fā)和巨大投入階段,勢必還要花費大量的金錢以及資源來實現(xiàn)。

人工智能項目想要持續(xù)發(fā)展,需要找到適合其自身發(fā)展的商業(yè)模式。同時由于ChatGPT的突然出現(xiàn),對于全球的人工智能發(fā)展應(yīng)該說起到了一定的推進(jìn)作用,新技術(shù)的橫空出世,當(dāng)然會促進(jìn)社會的變革以及帶來社會生產(chǎn)力的發(fā)展新機(jī)遇,同時也一定會伴隨著產(chǎn)業(yè)的動蕩、重組和融合,以此來重新調(diào)整社會生產(chǎn)關(guān)系,滿足先進(jìn)生產(chǎn)力發(fā)展的需要。

3.1 全球市場對ChatGPT 的客觀評價(節(jié)選)

3.1.2 國外學(xué)者大咖對ChatGPT 的客觀評價

1. 世界首富比爾·蓋茨在接受專訪時表示;“ChatGPT以及AI領(lǐng)域的進(jìn)展令人激動,AI將是2023年最熱門的話題。ChatGPT與互聯(lián)網(wǎng)的發(fā)明一樣重要,堪稱劃時代應(yīng)用”。

2. 馬斯克也是OpenAI的聯(lián)合創(chuàng)始人之一,曾在推特上表示:“ChatGPT好得嚇人,我們離強(qiáng)大到危險的人工智能不遠(yuǎn)了”。話語中既有贊許,又對人工智能發(fā)展沒有建立可靠的安全監(jiān)管機(jī)制,存有危機(jī)感。

3. 微軟CEO薩提亞·納德拉(Satya Nadella)表示:“AI將從根本上改變所有軟件,并從搜索這個最大的類別開始。這是搜索的新一天,比賽從今天開始”。

4. OpenAI首席執(zhí)行官薩姆·奧爾特曼薩姆·奧爾特表示:“這絕對是一個激動人心的時刻,但我希望這只是剛剛開始。事實上,這將是一條技術(shù)發(fā)展及其對社會產(chǎn)生的積極影響,不斷呈幾何級數(shù)增長的道路”。

5. OpenAI首席技術(shù)官米拉·穆拉蒂(Mira Murati)在接受《時代周刊》采訪時表示:“ChatGPT有可能真正徹底改變?nèi)祟惖膶W(xué)習(xí)方式,具有進(jìn)行個性化教育的巨大潛力”。

6. 歐盟委員會分管市場(工業(yè))委員蒂埃里·布雷頓(Thierry Breton)日前表示:“歐盟委員會正在起草一項新的人工智能法規(guī),新擬議的人工智能法規(guī)將圍繞ChatGPT聊天機(jī)器人和人工智能技術(shù)風(fēng)險,討論解決方案”。

3.1.3 國內(nèi)學(xué)者對ChatGPT 的客觀評價

1. 傳播內(nèi)容認(rèn)知全國重點實驗室首席科學(xué)家張勇東表示:“ChatGPT的出現(xiàn),是人工智能技術(shù)發(fā)展的一次飛躍。其在交互和創(chuàng)作方面展現(xiàn)的出色能力,標(biāo)志人工智能由決策式向生成式轉(zhuǎn)變”。

2. 中國信通院云計算與大數(shù)據(jù)研究所科技部副主任石霖認(rèn)為:“ChatGPT的技術(shù)基于OpenAI開發(fā)的GPT3.5系列模型,該模型參數(shù)規(guī)模據(jù)推測達(dá)十億級別,加之在訓(xùn)練過程中引入人類反饋機(jī)制技術(shù),使得ChatGPT在回答準(zhǔn)確率、道德表現(xiàn)上進(jìn)一步得到提升”。

3. 中國工程院院士鄔賀銓認(rèn)為:“現(xiàn)在完全沒有必要為ChatGPT的出現(xiàn)而擔(dān)憂,它的出現(xiàn)是一種技術(shù)進(jìn)步,ChatGPT可以幫助人類做一些資料整理等基礎(chǔ)工作,但是它不可能代替人類思考”。

4. 華東師大傳播學(xué)院院長王峰認(rèn)為:“ChatGPT帶來巨大機(jī)遇與挑戰(zhàn),它可以和元宇宙建設(shè)結(jié)合起來,一旦ChatGPT這樣的人工智能應(yīng)用成熟,這標(biāo)志著在人類語言反應(yīng)中,人工智能開始占據(jù)優(yōu)勢,會對人類生活造成更深刻的影響”。

3.1.4 國外投資者和廠商對ChatGPT 的反應(yīng)

路透社報道稱:“谷歌母公司宣布將推出名為‘Bard’的AI人工智能聊天機(jī)器人服務(wù)以及更多的人工智能項目,以應(yīng)對競爭對手微軟所引領(lǐng)的新計算浪潮”。

早在2019年,微軟就向ChatGPT的所有者OpenAI公司多次注資,此番ChatGPT-3.5的成功發(fā)布,也讓業(yè)界聯(lián)想不斷,接下來微軟可能會砸下更多籌碼,甚至將OpenAI和ChatGPT一起收購。

沒讓人們等待太久,微軟就給出了答案:再次向OpenAI投資100億美元。據(jù)消息人士說,早在去年10月微軟就開始了就追加投資一事與OpenAI談判。

現(xiàn)在這筆資金最終敲定,包括新的投資在內(nèi),微軟將獲得OpenAI 的49%股權(quán),OpenAI的估值將達(dá)到290億美元,微軟將每年獲得OpenAI的75%利潤,直到收回投資為止。

因此,這次ChatGPT的成功,最大的贏家無疑就是微軟。

3.1.4 國內(nèi)部分投資者和廠商對ChatGPT 的反應(yīng)

1. 百度公司正在進(jìn)行類似ChatGPT產(chǎn)品的上線沖刺,該項目名字確定為“文心一言”英文名“ERNIE Bot”。百度“文心一言”是百度基于“文心大模型”技術(shù)推出的生成式對話產(chǎn)品。

百度在人工智能四層架構(gòu)中,有全棧布局。其中包括底層的AI芯片、深度學(xué)習(xí)框架、大模型以及最上層的搜索等應(yīng)用。項目將于2023年3月份完成內(nèi)測,并面向公眾開放。

2. 騰訊申請“人機(jī)對話方法、裝置、設(shè)備及計算機(jī)可讀存儲介質(zhì)”專利,該專利產(chǎn)品可實現(xiàn)人機(jī)順暢溝通。

3. 阿里巴巴達(dá)摩院(杭州)科技有限公司申請了“人機(jī)對話及預(yù)訓(xùn)練語言模型訓(xùn)練方法、系統(tǒng)及電子設(shè)備”專利,可提升問答交互的準(zhǔn)確性。

3.2 ChatGPT可能影響的行業(yè)初探

人們普遍認(rèn)為,采用AI技術(shù)的ChatGPT發(fā)展和應(yīng)用可能會影響許多職業(yè),特別是一些重復(fù)性較高的工作。例如,一些簡單的辦公室文秘工作、數(shù)據(jù)處理,以及人工客服可能會被自動化和人工智能代替。

需要高度創(chuàng)造力和人類技能的職業(yè),如醫(yī)生、律師、藝術(shù)家、軟件架構(gòu)師等,則不太可能受其影響。

ChatGPT可以為人們提供有價值的信息和幫助,因此也可能為相關(guān)職業(yè)帶來新的機(jī)會。

ChatGPT作為一種領(lǐng)先的聊天機(jī)器人技術(shù),已經(jīng)被廣泛應(yīng)用于多個領(lǐng)域,下面就淺析基于人工智能的ChatGPT可能會對我國哪些行業(yè)帶來變革和影響。

3.2.1客服行業(yè)

人工智能技術(shù)可以提供智能客服服務(wù),通過自然語言處理和機(jī)器學(xué)習(xí)技術(shù),為用戶提供快速、準(zhǔn)確的答案和解決方案,從而減輕人力成本壓力。它可以提供比人工客服更全面,更快更準(zhǔn)確的客服服務(wù),從而提高客戶滿意度。主要體現(xiàn)在以下幾個方面:

1.提高服務(wù)質(zhì)量

ChatGPT是一種機(jī)器人作為客服服務(wù)系統(tǒng),它能夠?qū)崟r對接客戶的需求,并根據(jù)客戶的問題準(zhǔn)確回答,出錯率較低,解決方案更全面,可以更快準(zhǔn)確滿足客戶的需求,從而提高客服服務(wù)的質(zhì)量。

2.提高客服效率

ChatGPT可減少人工客服的工作量,AI系統(tǒng)能夠快速地找到解決方案,不用客服人員花時間查找。人工客服可將更多的時間集中在更復(fù)雜問題的處理上,把更多的精力放在為弱勢群體或無法準(zhǔn)確使用AI系統(tǒng)的人提供人工應(yīng)答服務(wù)。

3.提高客服滿意度

ChatGPT可以讓客戶獲得更好的服務(wù)體驗。它可以更快地提供準(zhǔn)確的答案,AI系統(tǒng)可以讓客戶感受到比人工服務(wù)更好地?zé)o縫交流,讓用戶獲得更加滿意的結(jié)果。

4.降低客服成本

ChatGPT可以幫助客服節(jié)省時間,減少客服人員,降低人工成本。

5.提升客服系統(tǒng)的管理水平

ChatGPT可以提高客服平臺的管理水平,可以根據(jù)用戶的使用反饋,自動按需生成各類管理報表,為后臺管理人員提升服務(wù)質(zhì)量提供數(shù)據(jù)支撐。

3.2.2教育行業(yè)

人工智能技術(shù)可以用于教學(xué)輔助、在線教育、個性化教育和學(xué)生評估等方面,可以提高教育效果和教育公平,為學(xué)生提供個性化的教育服務(wù)和智能化的學(xué)習(xí)體驗。讓ChatGPT作為一種教學(xué)輔助工具,成為教師的朋友或幫手。

ChatGPT作為一種教育輔助工具,主要應(yīng)用體現(xiàn)在以下幾個方面:

1.設(shè)計課程

ChatGPT可以為教師的課程設(shè)計提供創(chuàng)意思路,協(xié)助檢索和整理教學(xué)文獻(xiàn)資料,生成完整的課程材料,如教學(xué)大綱、課程計劃和閱讀材料,并可生成文本或PPT圖片。

2.協(xié)助備課

ChatGPT能夠參與到教研備課中,幫助教師節(jié)省大量查詢資料的時間,提高備課效率。

3.知識搜索

可以與學(xué)生一起通過對系統(tǒng)的提問方式,快速搜索到相關(guān)的知識點。擴(kuò)展學(xué)生的知識面和對事物的理解深度。增加課堂趣味性和豐富性,幫助學(xué)生理解復(fù)雜的內(nèi)容和概念,成為教師的人工智能助教。

4.作業(yè)測評

ChatGPT還可以參與到學(xué)生成績的評估,生成作業(yè)測驗和考卷,幫助教師評估學(xué)生的學(xué)習(xí)質(zhì)量,觀察學(xué)生的學(xué)習(xí)進(jìn)度。同時也可以對老師的授課質(zhì)量進(jìn)行測評,評價教師與學(xué)生之間的活動環(huán)節(jié),提高教學(xué)質(zhì)量。

3.2.3語言文字翻譯行業(yè)

人工智能AI技術(shù)在語言文字翻譯領(lǐng)域已經(jīng)實現(xiàn)了突破性發(fā)展,ChatGPT實現(xiàn)多語言支持,可以識別多種語言,其中包括:

1. 快速翻譯:ChatGPT可以讓翻譯工作更加快捷便利,從而讓更多的文本可以在短時間內(nèi)完成翻譯。

2. 準(zhǔn)確翻譯:ChatGPT能夠準(zhǔn)確識別出語言或文本的內(nèi)容,從而提高翻譯準(zhǔn)確性。

3. 語法檢查:ChatGPT可以檢查、校對語言或文本的語句,語法等的翻譯錯誤,從而提高翻譯人員在翻譯過程中的質(zhì)量和水平。

4. 文本改進(jìn):ChatGPT可提出改進(jìn)文本的建議,從而讓文本更加便于理解和完美。

5. 詞匯補充:ChatGPT可為翻譯人員提供更多參考詞匯,同樣一個意思,根據(jù)不同的場合,用恰當(dāng)?shù)恼Z言來表達(dá),增強(qiáng)翻譯親和力。

6.語言轉(zhuǎn)換:ChatGPT可幫助翻譯人員實現(xiàn)幾乎世界上所有語種不同語言之間的轉(zhuǎn)換,從而更好滿足翻譯需求。

7. 文本格式:ChatGPT可幫助翻譯人員更好地理解不同文本格式,直接采用文本、表格、圖片或會議紀(jì)要形式直接生成,從而更有效地完成翻譯工作。

3.2.3金融行業(yè)

對金融行業(yè)而言,ChatGPT可以提供多種智能化的服務(wù)和解決方案,幫助金融機(jī)構(gòu)提高運營效率、降低成本、豐富客戶體驗、管理金融風(fēng)險、進(jìn)行投資決策等。

1,美國SouthState Bank相關(guān)負(fù)責(zé)人表示:該行已確定了15個ChatGPT應(yīng)用場景,如:在內(nèi)控與合規(guī)管理方面,該行將通過使用ChatGPT幫助銀行監(jiān)測和評估相關(guān)風(fēng)險,例如通過分析公司的合規(guī)政策、員工的行為等,提出相應(yīng)的風(fēng)控措施。

2,在法律事務(wù)處理方面,該行將通過使用ChatGPT自動檢測和識別合同風(fēng)險,在合同草案中插入關(guān)鍵要素和監(jiān)管要求的法律條款,進(jìn)行智能審查、智能書寫,從而為本行的法律團(tuán)隊節(jié)省時間。

3,國內(nèi)金融機(jī)構(gòu)郵儲銀行近期表示:將優(yōu)先使用百度開發(fā)的“文心一言”,在金融業(yè)開展類似ChatGPT人工智能的應(yīng)用試點,結(jié)合行業(yè)知識進(jìn)行微調(diào)和交互式訓(xùn)練。在智能客服、數(shù)字員工、虛擬營業(yè)廳等場景進(jìn)行應(yīng)用,進(jìn)一步提升客戶體驗。探索新型的信息統(tǒng)計、信息獲取方式,向客戶提供更及時、更準(zhǔn)確、更個性化的金融咨詢服務(wù)。

4,今年 2月20日,廣發(fā)證券宣布將通過百度智能云全面體驗并接入百度“文心一言”,通過探索大語言模型融入金融應(yīng)用場景,嘗試打造更為豐富、個性化的金融服務(wù),為客戶提供更智能、更有溫度的財富管理服務(wù)體系。

與此同時,我們也應(yīng)該認(rèn)識到無論國內(nèi)外,金融業(yè)都是接受嚴(yán)格監(jiān)管的行業(yè),ChatGPT需要龐大的數(shù)據(jù)庫支撐,要針對行業(yè)做大量的數(shù)據(jù)訓(xùn)練和優(yōu)化。而金融數(shù)據(jù)的獲取卻非常嚴(yán)格,解決信息的準(zhǔn)確性、安全性和用戶隱私等問題,都是金融業(yè)優(yōu)先考慮的問題。

國內(nèi)學(xué)者認(rèn)為,金融服務(wù)不但要考慮到人機(jī)交互的便捷性,更重要的是避免損失,因此AI和金融的結(jié)合一定要經(jīng)過大量的訓(xùn)練,并且實時更新數(shù)據(jù),同時與嚴(yán)格的安全監(jiān)管機(jī)制相匹配。

3.2.4制造業(yè)

每一次工業(yè)革命都離不開生產(chǎn)力的提升,先進(jìn)的技術(shù)可以幫助人類從傳統(tǒng)手工社會轉(zhuǎn)向工業(yè)社會和信息化社會助力,帶來生產(chǎn)關(guān)系的巨大變革。

這次ChatGPT的應(yīng)用還遠(yuǎn)遠(yuǎn)算不上一次工業(yè)革命,但可被視下一場變革來臨的信號。

人工智能技術(shù)可以用于生產(chǎn)流程優(yōu)化、智能制造和質(zhì)量控制等方面,可以提高制造業(yè)的效率和產(chǎn)品質(zhì)量。

現(xiàn)在世界各國出生率下降,社會老齡化日益加重,ChatGPT的出現(xiàn)不僅會給生產(chǎn)力帶來變化,而且會給生產(chǎn)方式帶來一定變化,這種變化在宏觀背景下的影響可能會超過所有人的想象。

從目前ChatGPT的功能來看,還不能完全代替人類,但是可以釋放出更多生產(chǎn)力,迫使人類去關(guān)注那些更具有創(chuàng)意、創(chuàng)造、思想、情感的工作。

ChatGPT直接進(jìn)入制造業(yè)和實體經(jīng)濟(jì)還路途遙遠(yuǎn),但是專家認(rèn)為AI所起到的作用,應(yīng)該主要體現(xiàn)在降本增效上。

在可以預(yù)見的將來,大多數(shù)產(chǎn)業(yè)的發(fā)展都將融入人工智能技術(shù)。以硬件設(shè)備為主體的產(chǎn)業(yè),例如制造業(yè)、采掘業(yè)、基礎(chǔ)設(shè)施等,將更多加入人工智能軟件的支撐,各類服務(wù)業(yè)將有更多的簡單重復(fù)的工作被人工智能設(shè)備所替代人工,隨著人工智能產(chǎn)業(yè)新形態(tài)的出現(xiàn),人們的工作生活環(huán)境將因之而變。

3.2.5物流交通運輸行業(yè)

人工智能技術(shù)可以用于物流交通運輸行業(yè)的智能化的路線規(guī)劃、運輸管理和物流優(yōu)化等方面,可以提高交通運輸?shù)陌踩院托省?/p>

ChatGPT為代表的人工智能系統(tǒng),能科學(xué)規(guī)劃物流和交通規(guī)劃,可以給物流交通運輸行業(yè)從訂艙到跟蹤貨物、管理庫存到更新車隊信息提供全方位的服務(wù),將物流和供應(yīng)鏈行業(yè)的管理提升到一個新的水平。

3.2.6文秘行業(yè)

傳統(tǒng)意義上的文秘工作,主要負(fù)責(zé)處理公司或政府的日常事務(wù),比如接打電話、文件郵寄、辦文辦會、檔案管理、編寫會議紀(jì)要、協(xié)調(diào)工作等。

ChatGPT能完成大部分文秘的事務(wù)性、程序化的工作,應(yīng)用人工智能技術(shù),文秘工作的重心需要關(guān)注的是如何應(yīng)用人工智能技術(shù)為領(lǐng)導(dǎo)的決策做好輔助性工作。協(xié)助領(lǐng)導(dǎo)提高決策的科學(xué)性、準(zhǔn)確性。文秘可以通過使用人工智能產(chǎn)品,提升信息資源的準(zhǔn)確性和效率。

文秘工作者要適應(yīng)時代的快速發(fā)展,接納新事物、新技術(shù),善于觀察、獨立思考,提高創(chuàng)新能力和解決問題的能力。

盡管ChatGPT功能強(qiáng)大,但是完全取代文秘工作還為時過早,大量文秘的工作還是需要有人員來處理,ChatGPT無法完全替代。ChatGPT完全可以作為文秘工作的一個好助手,提升文秘工作的質(zhì)量和水平。

有人這樣說:未來不會被人工智能替代的有三種人:

有適應(yīng)能力的人、有創(chuàng)造力的人、有解決問題能力的人。因此,人們在人工智能時代應(yīng)該提高適應(yīng)能力、創(chuàng)新能力就顯得尤為重要。

3.2.7法律行業(yè)

人工智能技術(shù)可以用于法律咨詢、文書起草和司法判決等方面,可以提高法律效率和準(zhǔn)確性,降低成本和錯誤率。

利用人工智能可以直接了解用戶需求,更好理解用戶的提問內(nèi)容,進(jìn)行高質(zhì)量的法律條款的關(guān)聯(lián);比如檢索資料、整理答案、改寫文字以及翻譯等,ChatGPT在法律領(lǐng)域可能應(yīng)用的場景如下:

1.查找法律條款

ChatGPT可以通過提問方式直接查找相關(guān)的法律條款,能夠有效節(jié)約大量法律條款記憶和檢索的時間,提高法律工作的效率,加快結(jié)案的時間。

2.結(jié)合案例梳理適用法律要件

在一個法律案例中可能會涉及不同的法律體系,如果不是專門從事這一方向的職業(yè)律師或者法官,可能無法進(jìn)行較為完整準(zhǔn)確的分析,未接受過專門法學(xué)訓(xùn)練的普通民眾更難以遍歷相關(guān)法律條款,ChatGPT會基于既有的法律資料進(jìn)行梳理,并給出較為完整的參考。

3.撰寫法律文書

ChatGPT具有較強(qiáng)的文書整理能力,可根據(jù)雙方法庭陳述和辯論,撰寫法庭紀(jì)要、審判紀(jì)要、起訴意見書等法律文書。也可以通過文本輸入,請ChatGPT對法律文書進(jìn)行法律條款使用準(zhǔn)確性的檢查。

4.輔助司法裁判

2023年哥倫比亞法院在裁判中使用了ChatGPT中的文本生成功能來增加說理依據(jù),在裁判文書中,ChatGPT給出了具體的法律條款、適用情形、立法目的以及法院以往判例對比等內(nèi)容,能夠有效提升訴訟案件處理的準(zhǔn)確性。

對于統(tǒng)一裁判尺度具有重要價值,甚至隨著技術(shù)發(fā)展,可以實現(xiàn)裁判文書的輔助生成、案件信息的自動回填等功能,有效輔助司法裁判。

ChatGPT在法律領(lǐng)域的應(yīng)用制約:

最高人民法院在2022年12月發(fā)布《關(guān)于規(guī)范和加強(qiáng)人工智能司法應(yīng)用的意見》,提出到2030年,建成具有規(guī)則引領(lǐng)和應(yīng)用示范效應(yīng)的司法人工智能技術(shù)應(yīng)用和理論體系,為司法為民、公正司法提供全流程高水平智提供輔助支持。

3.2.8社交媒體行業(yè)

人工智能技術(shù)可以用于社交媒體內(nèi)容生成、圖片畫像和產(chǎn)品廣告推薦等方面,可提高社交媒體的用戶體驗和收益,為廣告主和內(nèi)容創(chuàng)作者提供更好的服務(wù)。

3.2.9軟件開發(fā)行業(yè)

隨著人工智能ChatGPT的發(fā)展,越來越多人關(guān)心ChatGPT是否會對軟件行業(yè)就業(yè)產(chǎn)生重大影響,ChatGPT會不會讓底層程序員失業(yè)?

其實目前的ChatGPT還是一個測試的版本,軟件代碼生成只是其中一個功能,還有很多需要不斷改進(jìn)完善的地方,要完全取代人工編程還要需要很長一段時間。

一般認(rèn)為程序員就只會寫代碼,其實程序員寫代碼的時間最多占其工作量的四分之一都不到,程序員需要用大量的時間了解系統(tǒng)架構(gòu)、功能開發(fā)的用戶需求與其他團(tuán)隊的合作、調(diào)試和修改驗證代碼等等。

況且目前的ChatGPT智能寫一些簡單應(yīng)用小程序和對話框的界面編程,據(jù)稱ChatGPT通過了谷歌編碼3級工程師的測試,并收到年薪高達(dá)18.3萬美元的出價,但是對于一些自動化控制程度復(fù)雜的大型軟件,用ChatGPT開發(fā)幾乎是不可能的。

在開發(fā)場景固定,用戶需求固定、控制比較簡單、系統(tǒng)安全保密性不高的軟件開發(fā)場合,ChatGPT可以成為輔助工具,用于代碼生成和軟件代碼調(diào)試的輔助工具。

反而,由于ChatGPT的出現(xiàn),會帶動軟件開發(fā)人員就業(yè)崗位增加的機(jī)會,比如ChatGPT帶動的全球人工智能加速發(fā)展,人工智能行業(yè)將繼續(xù)投入大量的軟件開發(fā)人員,參與人工智能軟件開發(fā)、生成性預(yù)訓(xùn)練模型測試、云計算、云數(shù)據(jù)庫等人工智能關(guān)聯(lián)行業(yè),有大量對有經(jīng)驗軟件開發(fā)人員的需求,從而帶動整個社會從學(xué)校的專業(yè)課程設(shè)置到AI專門程序員的培養(yǎng)。會給軟件開發(fā)人員帶來很多新的工作機(jī)會。

軟件開發(fā)人員的薪資也會水漲船高,有利于整個行業(yè)發(fā)展,促進(jìn)社會的進(jìn)步和人工智能技術(shù)的發(fā)展。

但是有一點是肯定的,盡管有類似于ChatGPT等人工智能系統(tǒng)的協(xié)助軟件編程,項目管理者會從系統(tǒng)安全的角度考慮,避免將一些涉及先進(jìn)模型算法、系統(tǒng)安全、大型網(wǎng)絡(luò)管理軟件、大型數(shù)據(jù)庫和云儲存軟件,以及計算等控制化程度較高的軟件,或者任何等帶有企業(yè)機(jī)密和行業(yè)安全軟件,不會交給ChatGPT去完成。

ChatGPT是一個開放性的系統(tǒng),它可能會把你的代碼在其他用戶的調(diào)用中重復(fù)出現(xiàn),那對企業(yè)來說是極大的安全隱患,必須設(shè)置安全圍欄,防止軟件編碼被泄露的事件發(fā)生。

3.3 ChatGPT發(fā)布后國外主要企業(yè)的動向

3.3.1微軟向OpenAI增資100億美元

早在2019年,微軟就向OpenAI投下10億美金研發(fā)資金,ChatGPT此番成功發(fā)布,微軟準(zhǔn)備再次增資100億美元,甚至不排除將OpenAI和ChatGPT一起收購。

有消息稱,微軟再次增資100億美元到位后,OpenAI 公司的估值約為 290 億美元。微軟將獲得 OpenAI 公司的49% 股份,75%的利潤,直到其收回全部投資,OpenAI的非營利性母公司僅獲得2%的股份。

微軟公司近期宣布將ChatGPT整合入微軟的搜索引擎Bing,沒過幾天,又宣布會將ChatGPT整合進(jìn)Office辦公套件中的(Word、Excel、PPT)。用戶在使用Office時就能體驗ChatGPT的對話功能,這將極大豐富微軟公司產(chǎn)品的內(nèi)涵,微軟的股價迅速上漲就是資本市場已察覺到了AI對社會進(jìn)步可能產(chǎn)生的重大推動作用。

3.3.2谷歌的人工智能系統(tǒng)LaMDA

ChatGPT吸引了全世界的目光,谷歌曾經(jīng)也有在AI聊天機(jī)器人方面領(lǐng)先發(fā)展的機(jī)會,早在2021年5月谷歌的人工智能系統(tǒng)LaMDA亮相就驚艷了眾人,但是谷歌出于某種原因,并沒有打算把AI聊天機(jī)器人推向市場化,錯失了一次極好的AI發(fā)展機(jī)遇。

長期以來,谷歌秉持的宗旨是使用機(jī)器學(xué)習(xí)來改進(jìn)搜索引擎和其他面向消費者的產(chǎn)品,并為谷歌云技術(shù)提供服務(wù)。

ChatGPT問世后,谷歌急于趕超在AI領(lǐng)域與微軟的差距,于2023年2月6日透露計劃推出一款A(yù)I聊天機(jī)器人Bard,與OpenAI頗受歡迎的ChatGPT競爭。

谷歌所研發(fā)的對話應(yīng)用語言模型LaMDA(LanguageModel for Dialogue Applications),全稱是對話應(yīng)用程序的語言模型,它是一種能力很強(qiáng)的語言模型,適用于對話應(yīng)用程序,是一種基于網(wǎng)絡(luò)上數(shù)十億詞匯進(jìn)行訓(xùn)練的大型語言模型,它受益于谷歌強(qiáng)大的計算能力和研發(fā)團(tuán)隊。

谷歌認(rèn)為LaMDA聊天機(jī)器人,性能遠(yuǎn)超現(xiàn)有的ChatGPT;另外,谷歌擁有圖像生成能力更強(qiáng)的Imagen模型,性能要優(yōu)于ChatGPT的DALL.E 2自然語言轉(zhuǎn)換成像技術(shù)。

谷歌在2023年2月8日巴黎召開的發(fā)布會上,當(dāng)場展示了Bard聊天機(jī)器人的功能。讓人沒想到的是Bard剛一亮相,就出錯了。

在谷歌短短幾分鐘的展示中,有人向Bard提問;“我可以告訴我 9 歲的孩子關(guān)于詹姆斯·韋伯太空望遠(yuǎn)鏡有哪些最新發(fā)現(xiàn)嗎?”

Bard的回答很出乎人們的意料,它指出詹姆斯·韋伯太空望遠(yuǎn)鏡拍攝到了我們太陽系之外行星的第一張照片。

天體物理學(xué)家Grant Tremblay在推特上指出:美國宇航局公布的太陽系外行星的第一張照片,并非詹姆斯·韋伯太空望遠(yuǎn)鏡拍攝,而是由歐洲南方天文臺的甚大望遠(yuǎn)鏡(VLT)于2004年拍攝的。

這個錯誤被出現(xiàn)后,導(dǎo)致外界質(zhì)疑谷歌在AI聊天機(jī)器人和人工智能方面的開發(fā)能力,導(dǎo)致其母公司Alphabet當(dāng)日的股價暴跌7.68%,市值蒸發(fā)近1056億美元(約合人民幣7172.78億元)。

這個錯誤體現(xiàn)了當(dāng)前人工智能系統(tǒng)的一個常見缺陷,即暫時還不具備實際的“理解能力”,僅能根據(jù)概率進(jìn)行猜測,并不能甄別虛假信息。

對此,微軟也承認(rèn)了ChatGPT聊天機(jī)器人同樣面臨類似挑戰(zhàn)——也會表達(dá)虛假信息。

3.3.3 Meta公司加入AI爭奪戰(zhàn)

繼微軟、谷歌在人工智能發(fā)布產(chǎn)品后,臉書(Facebook)母公司Meta也加入了人工智能AI市場爭奪戰(zhàn)。

2023年2月24日,Meta官網(wǎng)公布了一款新的人工智能大型語言模型LLaMA,從參數(shù)上來看,Meta提供有70億、130億、330億和650億四種參數(shù)規(guī)模的LLaMA模型,并用20種語言進(jìn)行預(yù)訓(xùn)練。而Open AI 推出的GPT-3通過指令微調(diào)后得到的數(shù)量達(dá)1750億個。

Meta首席AI科學(xué)家楊立昆(Yann LeCun)這樣說:在一些基準(zhǔn)測試中,LLaMA 130億參數(shù)規(guī)模的模型性能優(yōu)于OpenAI推出的GPT-3性能。像LLaMA這樣小型模型所需的計算能力和資源要少得多,且能在單個GPU上運行,具有獨特的競爭優(yōu)勢。

Meta首席執(zhí)行官馬克·扎克伯格表示:LLaMA模型旨在幫助研究人員推進(jìn)工作,在生成文本、對話、總結(jié)書面材料、證明數(shù)學(xué)定理或預(yù)測復(fù)雜任務(wù)方面有很好的前景。

最重要的是Meta稱將致力于人工智能開源模型的研究,新模型會開源授權(quán)給整個人工智能AI研究社區(qū),并授予大學(xué)、非政府組織和行業(yè)軟件訪問權(quán)限。

Meta表示還有更多研究需要做,以解決大型語言模型中的偏見、有害評論等風(fēng)險,并計劃開發(fā)屬于自己的AI芯片。

3.3.4 蘋果公司在人工智能領(lǐng)域厲兵秣馬

作為美國高科技公司巨頭的蘋果公司CEO蒂姆·庫克(TimCook)2月3日說:AI 是蘋果布局的重點,這是令人難以置信的技術(shù),它可以豐富客戶的生活,能夠為蘋果在發(fā)布的碰撞檢測、跌倒檢測和心電圖功能的產(chǎn)品中賦能。蘋果公司在這個領(lǐng)域存在巨大的潛力,幾乎可以影響一切。

他再次強(qiáng)調(diào),AI 是一項橫向技術(shù),而不是縱向技術(shù),因此它將影響我們所有的產(chǎn)品和服務(wù)。

在OpenAI 推出ChatGPT火爆全網(wǎng)后,蘋果的壓力顯而易見,有分析認(rèn)為,蘋果公司原本的語音智能服務(wù)Siri被邊緣化了,蘋果迫切需要有與ChatGPT相競爭的新一代人工智能產(chǎn)品。

外界曾猜測蘋果公司將在2023年2月的一次年度人工智能峰會上展示一款類似于ChatGPT的產(chǎn)品。結(jié)果什么都沒有發(fā)生。

蘋果公司早在2022年12 月 2日就宣布將大力推出Stable Diffusion模型。Stable Diffusion之所以引人注目,不僅因為它是開源的,還因為它的模型規(guī)模非常小,可以在一些消費類計算機(jī)上和iPhone產(chǎn)品上運行。

與此同時,Stable Diffusion本身可以內(nèi)置到蘋果的操作系統(tǒng)中,并為任何開發(fā)人員提供易于訪問的API。

3.3.5 亞馬遜公司在人工智能領(lǐng)域橫空出世

亞馬遜云科技(Amazon Web Services)是全球云計算的開創(chuàng)者和引領(lǐng)者品牌,其提供超過200項全功能的服務(wù),涵蓋計算、存儲、數(shù)據(jù)庫、網(wǎng)絡(luò)、數(shù)據(jù)分析、機(jī)器學(xué)習(xí)與人工智能、物聯(lián)網(wǎng)以及應(yīng)用開發(fā)。

2023年2月23日消息,亞馬遜決定將與人工智能初創(chuàng)企業(yè)合作,加入聊天機(jī)器人之戰(zhàn),這是大型科技公司在生成式人工智能系統(tǒng)市場上強(qiáng)強(qiáng)聯(lián)手的最新舉措。

亞馬遜云計算服務(wù)(AWS)聯(lián)合開發(fā)一種語言生成工具,能與OpenAI的聊天機(jī)器人ChatGPT相媲美,可在自己的云客戶中使用。

亞馬遜云部門業(yè)務(wù)副總裁斯瓦米·西瓦蘇布拉馬尼安說:亞馬遜公司將打造人工智能語言模型BLOOM。已經(jīng)有超過10萬用戶在亞馬遜公司的云端運行人工智能應(yīng)用程序。

由于生成式人工智能程序要對大量現(xiàn)有內(nèi)容進(jìn)行整理才能生成可閱讀的新內(nèi)容,因此需要通過云端傳輸,這意味著,亞馬遜將通過云端傳輸獲得豐厚的利潤。

對亞馬遜來說,更主要的業(yè)務(wù)收入是出售對云端GPU的訪問權(quán),很明顯應(yīng)用模型生成圖像或文本,都會在云端的GPU上運行。

與此同時,亞馬遜本身就是一家芯片制造商,迄今為止它的大部分精力都集中在Graviton CPU上,但它可以為Stable Diffusion等模型構(gòu)建自己的專用硬件,并在價格上展開競爭。

3.3.6 英偉達(dá)在人工智能中“悶聲發(fā)財”

就在ChatGPT得到市場熱捧的時候,一個廠商正在背后悶聲發(fā)大財,那就是英偉達(dá)公司。

英偉達(dá)(NVIDIA)是一家總部位于美國的人工智能計算公司。1999年英偉達(dá)定義了GPU(圖形處理器單元),其浮點運算和并行運算速度比CPU強(qiáng)百倍之多。

GPU的成功極大地推動了PC游戲市場的發(fā)展,重新定義了現(xiàn)代計算機(jī)圖形技術(shù),并徹底改變了矩形計算的規(guī)則,大大提高了計算機(jī)的處理能力。

2022 年3月推出的NVIDIA Hopper這一款新架構(gòu),以美國計算機(jī)領(lǐng)域的先驅(qū)科學(xué)家 Grace Hopper 的名字命名,將取代兩年前推出的 NVIDIA Ampere 架構(gòu)?;?Hopper 架構(gòu)的 GPU — NVIDIA H100,該款 GPU 集成了 800 億個晶體管,擁有 Transformer 引擎和高度可擴(kuò)展的 NVIDIA NVLink 互聯(lián)技術(shù)等突破性功能,可推動AI 語言模型、深度推薦系統(tǒng)、基因組學(xué)和復(fù)雜數(shù)字孿生的發(fā)展,被廣泛應(yīng)用于數(shù)據(jù)分析、科學(xué)計算和云圖形。

事實上,無論是OpenAI的ChatGPT、還是微軟的搜索引擎Bing、谷歌的人工智能系統(tǒng)LaMDA,都離不開英偉達(dá)提供的底層芯片算力支持。

作為一家市值5000億美元的科技巨頭,以Hopper加速卡為代表數(shù)據(jù)中心業(yè)務(wù)堪稱是英偉達(dá)的“印鈔機(jī)”。

據(jù)瑞銀分析師蒂莫西·阿庫里估計,OpenAI的ChatGPT中至少購入了1萬顆英偉達(dá)高端GPU來做預(yù)訓(xùn)練模型。

自2023年以來,英偉達(dá)的股價在一個月內(nèi)就大漲40%,盡管英偉達(dá)官方對ChatGPT沒有任何表態(tài),但花旗分析師表示,ChatGPT的持續(xù)快速增長,可能會進(jìn)一步導(dǎo)致整個2023財年中,英偉達(dá)GPU(圖形處理器)芯片的銷售額將劇增,估計至少增加110億美元。

美國銀行和富國銀行的其他分析師也認(rèn)為,英偉達(dá)將從人工智能業(yè)務(wù)中獲取巨額利潤。

參考資料:

[1] ChatGPT翻開了硬幣的哪一面?北京郵電大學(xué)人工智能學(xué)院教授鄧偉洪、中國信通院云大所有內(nèi)容科技部副主任石霖

[2] 采訪報道ChatGPT“火出圈”我們該“急眼”嗎?中國經(jīng)濟(jì)網(wǎng)2023年2月20日

[3] OpenAI官網(wǎng)(ChatGPT:優(yōu)化對話的語言模型 (OpenAI.com))

[4] Interactive Learning from Policy-Dependent Human Feedback (MacGlashan et al. 2017)

[5] Deep Reinforcement Learning from Human Preferences (Christiano et al. 2017)

[6] ChatGPT: Optimizing Language Models for Dialogue (OpenAI 2022)

[7]Scaling Laws for Reward Model Overoptimization (Gao et al. 2022)

[8] Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback (Anthropic, 2022)

[9] Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned (Ganguli et al. 2022)

[10] Dynamic Planning in Open-Ended Dialogue using Reinforcement Learning (Cohen at al. 2022)

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請聯(lián)系原著作權(quán)人。