正在閱讀:

三大維度拆解ChatGPT,解密讓巨頭們興奮的技術(shù)真相

掃一掃下載界面新聞APP

三大維度拆解ChatGPT,解密讓巨頭們興奮的技術(shù)真相

發(fā)源于OpenAI,成名于生成式語(yǔ)言,ChatGPT火得太快了。

攝影:界面新聞 范劍磊

編輯|智東西內(nèi)參

2022年11月,OpenAI推出ChatGPT聊天機(jī)器人,以對(duì)話的形式與用戶進(jìn)行連續(xù)性的交互,上線2個(gè)月后用戶數(shù)超過(guò)1億,用戶數(shù)量增長(zhǎng)迅猛。ChatGPT 屬于 AIGC 的具體應(yīng)用,相比過(guò)去的 AI 產(chǎn)品,在模型類(lèi)型、應(yīng)用領(lǐng)域、商業(yè)化等層面也呈現(xiàn)出新的特點(diǎn)。

本期的智能內(nèi)參,我們推薦東莞證券和華泰證券的報(bào)告《大廠加大類(lèi) ChatGPT 布局力度,商業(yè)應(yīng)用有望加速落地》《ChatGPT:深度拆解》,解析最近大火的ChatGPT的技術(shù)原理和國(guó)內(nèi)商廠布局。

來(lái)源東莞證券 華泰證券

原標(biāo)題:《大廠加大類(lèi) ChatGPT 布局力度,商業(yè)應(yīng)用有望加速落地》,《ChatGPT:深度拆解》

作者:羅煒斌 謝春生等

01.發(fā)源于OpenAI,成名于生成式語(yǔ)言

OpenAI 是一家世界領(lǐng)先的非營(yíng)利性人工智能研究公司。OpenAI 于 2015 年在舊金山成立,是一家非營(yíng)利的人工智能研究公司,公司的目標(biāo)是以最有可能造福全人類(lèi)的方式推進(jìn)人工智能,而不受財(cái)務(wù)回報(bào)需求的約束。OpenAI 創(chuàng)始人背景深厚,由埃隆·馬斯克與硅谷孵化器 Y Combinator 投資人山姆·阿爾特曼等人聯(lián)合創(chuàng)立。公司研究人員經(jīng)驗(yàn)豐富,包括前Google Brain 研究科學(xué)家伊利亞·蘇茨凱弗與前 Stripe 首席技術(shù)官格雷格·布羅克曼等世界一流研究工程師與科學(xué)家。

2018 年,隨著特斯拉對(duì) AI 的應(yīng)用深入,為避免潛在利益沖突,馬斯克主動(dòng)離任董事會(huì),僅保留捐資人和顧問(wèn)的身份。由于 AI 訓(xùn)練花費(fèi)金額巨大,2019 年公司從非營(yíng)利性公司轉(zhuǎn)向部分盈利公司,成立了 OpenAI LP 利潤(rùn)上限子公司,即任何對(duì) OpenAI LP 投資的收益都將統(tǒng)一轉(zhuǎn)移至一家非盈利公司,回報(bào)達(dá)到投資的 100 倍后進(jìn)行利潤(rùn)分配。

同年,OpenAI 收到微軟注資 10 億美元,就 Azure 業(yè)務(wù)開(kāi)發(fā)人工智能技術(shù)。2020 年發(fā)布 GPT-3 語(yǔ)言模型,由微軟獲得獨(dú)家授權(quán)。2022 年發(fā)布 ChatGPT 的自然語(yǔ)言生成式模型,帶來(lái)更大潛在應(yīng)用空間。2023 年,微軟擬對(duì) OpenAI 追加數(shù)十億美元投資,利用自身算力基礎(chǔ)設(shè)施資源發(fā)揮與 OpenAI 業(yè)務(wù)協(xié)同效應(yīng),深入布局生成式 AI 技術(shù)。

2016 年,推出用于開(kāi)發(fā)和比較強(qiáng)化學(xué)習(xí)算法的工具包 OpenAI Gym,加速公開(kāi)社會(huì)中 RL 研究進(jìn)度。同時(shí)推出 Universe 軟件平臺(tái),用于測(cè)試和訓(xùn)練 AI 在全球游戲、網(wǎng)站和其他應(yīng)用程序中的智能程度。2019 年,OpenAI 推出深度神經(jīng)網(wǎng)絡(luò) MuseNet,可以使用 4 種不同的樂(lè)器生成 10分鐘的音樂(lè)作品以及最終模型版本的 GPT-2。2020 年,研發(fā)團(tuán)隊(duì)在 GPT-2 的基礎(chǔ)上拓展參數(shù),發(fā)布了 GPT-3 語(yǔ)言模型。2021 年,發(fā)布了轉(zhuǎn)換器語(yǔ)言模型 DALL·E,從文本描述生成圖像。2022 年,OpenAI 在 GPT-3.5 的基礎(chǔ)上推出了 ChatGPT,強(qiáng)化了人工智能的語(yǔ)言對(duì)話能力,引起社會(huì)廣泛關(guān)注。

▲OpenAI 產(chǎn)品

OpenAI 當(dāng)前盈利主要通過(guò)付費(fèi) API 接口,并嘗試拓展盈利模式。目前,OpenAI 提供 GPT-3、Codex 以及 DALL·E 的 API 數(shù)據(jù)接口,分別執(zhí)行用戶自然語(yǔ)言任務(wù)、自然語(yǔ)言轉(zhuǎn)換為代碼的任務(wù)以及創(chuàng)建和編輯圖像的任務(wù)。API 接口根據(jù)類(lèi)型不同以流量收費(fèi),比如圖像模型以分辨率分類(lèi)按張數(shù)收費(fèi),語(yǔ)言模型則以基于的子模型型號(hào)按字符數(shù)收費(fèi)。OpenAI API 盈利情況較好,據(jù)路透社數(shù)據(jù),OpenAI 2022 年收入數(shù)千萬(wàn)美元,公司預(yù)計(jì) 2023 與 2024 年收入分別為 2 億美元和 10 億美元。同時(shí),OpenAI 正嘗試拓展自身盈利模式,2023 年 1 月試點(diǎn)推出訂閱制 ChatGPT Plus,收取每月 20 美元的會(huì)員費(fèi)以得到各類(lèi)優(yōu)先服務(wù)。

▲OpenAI API 價(jià)格

ChatGPT 使用來(lái)自人類(lèi)反饋的強(qiáng)化學(xué)習(xí) (RLHF) 來(lái)訓(xùn)練該模型。首先使用監(jiān)督微調(diào)訓(xùn)練了一個(gè)初始模型:人類(lèi) AI 訓(xùn)練員提供對(duì)話,他們?cè)趯?duì)話中扮演雙方——用戶和 AI 助手。其次,ChatGPT 讓標(biāo)記者可以訪問(wèn)模型編寫(xiě)的建議,以幫助他們撰寫(xiě)回復(fù)。最后,ChatGPT 將這個(gè)新的對(duì)話數(shù)據(jù)集與原有數(shù)據(jù)集混合,將其轉(zhuǎn)換為對(duì)話格式。具體來(lái)看,主要包括三個(gè)步驟:

1)第一階段:訓(xùn)練監(jiān)督策略模型。在 ChatGPT 模型的訓(xùn)練過(guò)程中,需要標(biāo)記者的參與監(jiān)督過(guò)程。首先,ChatGPT 會(huì)從問(wèn)題數(shù)據(jù)集中隨機(jī)抽取若干問(wèn)題并向模型解釋強(qiáng)化學(xué)習(xí)機(jī)制,其次標(biāo)記者通過(guò)給予特定獎(jiǎng)勵(lì)或懲罰引導(dǎo) AI 行為,最后通過(guò)監(jiān)督學(xué)習(xí)將這一條數(shù)據(jù)用于微調(diào) GPT3.5 模型。

2)第二階段:訓(xùn)練獎(jiǎng)勵(lì)模型。這一階段的主要目標(biāo),在于借助標(biāo)記者的人工標(biāo)注,訓(xùn)練出合意的獎(jiǎng)勵(lì)模型,為監(jiān)督策略建立評(píng)價(jià)標(biāo)準(zhǔn)。訓(xùn)練獎(jiǎng)勵(lì)模型的過(guò)程同樣可以分為三步:1、抽樣出一個(gè)問(wèn)題及其對(duì)應(yīng)的幾個(gè)模型輸出結(jié)果;2、標(biāo)記員將這幾個(gè)結(jié)果按質(zhì)量排序;3、將排序后的這套數(shù)據(jù)結(jié)果用于訓(xùn)練獎(jiǎng)勵(lì)模型。

3)第三階段:采用近端策略?xún)?yōu)化進(jìn)行強(qiáng)化學(xué)習(xí)。近端策略?xún)?yōu)化(Proximal Policy Optimization)是一種強(qiáng)化學(xué)習(xí)算法,核心思路在于將 Policy Gradient 中 On-policy 的訓(xùn)練過(guò)程轉(zhuǎn)化為Off-policy,即將在線學(xué)習(xí)轉(zhuǎn)化為離線學(xué)習(xí)。具體來(lái)說(shuō),也就是先通過(guò)監(jiān)督學(xué)習(xí)策略生成 PPO模型,經(jīng)過(guò)獎(jiǎng)勵(lì)機(jī)制反饋?zhàn)顑?yōu)結(jié)果后,再將結(jié)果用于優(yōu)化和迭代原有的 PPO 模型參數(shù)。往復(fù)多次第二階段和第三階段,從而得到參數(shù)質(zhì)量越來(lái)越高的 ChatGPT 模型。

▲ChatGPT 模型原理

從 ChatGPT 的訓(xùn)練原理中,我們不難發(fā)現(xiàn),這一訓(xùn)練過(guò)程存在幾個(gè)特點(diǎn):

1)采用的是單一大模型。在 GPT 模型興起之前,大多數(shù) AI 模型主要是針對(duì)特定應(yīng)用場(chǎng)景需求進(jìn)行訓(xùn)練的小模型,存在通用性差、訓(xùn)練數(shù)據(jù)少、適應(yīng)范圍小的弊端。而我們看到,ChatGPT 雖然在過(guò)程中使用了獎(jiǎng)勵(lì)模型等輔助手段,但最終用于實(shí)現(xiàn)自然語(yǔ)言理解和生成式功能的主模型只有一個(gè),但卻在語(yǔ)義理解、推理、協(xié)作等方面表現(xiàn)出了更強(qiáng)能力。因此,ChatGPT 的成功,驗(yàn)證了參數(shù)增長(zhǎng)、訓(xùn)練數(shù)據(jù)量增大,對(duì) AI 模型的重要意義。

2)采用的是小樣本學(xué)習(xí)方法。在小樣本學(xué)習(xí)(Few-shot Learning)方法下,AI 預(yù)訓(xùn)練模型在不必使用大量標(biāo)記的訓(xùn)練數(shù)據(jù),就可以建立起比較通用的泛化能力。簡(jiǎn)單來(lái)說(shuō),小樣本學(xué)習(xí)即是在給定有限信息和較少訓(xùn)練數(shù)據(jù)的情況下,嘗試對(duì)總體規(guī)律進(jìn)行理解和預(yù)測(cè),這一過(guò)程類(lèi)似于“學(xué)習(xí)如何去學(xué)習(xí)”。對(duì)于小樣本學(xué)習(xí)在 ChatGPT 中的應(yīng)用,我們認(rèn)為,這一方法解決了大模型數(shù)據(jù)標(biāo)注工作量巨大的問(wèn)題,是模型得以迅速迭代的基礎(chǔ)。

3)采用人類(lèi)反饋微調(diào)監(jiān)督學(xué)習(xí)。ChatGPT 是從 GPT3.5(即 InstructGPT)改進(jìn)而來(lái)的版本,相比于前代,ChatGPT 主要變化在于采用了人類(lèi)反饋機(jī)制,對(duì)監(jiān)督學(xué)習(xí)過(guò)程進(jìn)行微調(diào)。本質(zhì)上來(lái)說(shuō),無(wú)論是大模型還是小樣本學(xué)習(xí),解決的目標(biāo)都是提升訓(xùn)練的效率,但真正令ChatGPT 實(shí)現(xiàn)結(jié)果準(zhǔn)確、合理的關(guān)鍵技術(shù),還是在于加入了人類(lèi)反饋。據(jù) Long Ouyang等人 2022 年發(fā)表的《Training language models to follow instructions with humanfeedback》,InstructGPT 僅用 13 億個(gè)參數(shù)就實(shí)現(xiàn)了比 1750 億個(gè)參數(shù)的 GPT-3 更優(yōu)的輸出解雇,顯著提升了真實(shí)性、減少了有害信息的輸出。

02.三大維度拆解GPT模型特征

拆解 GPT 模型可以幫助理解 ChatGPT 之所以強(qiáng)大的原因。從前面的討論中,我們發(fā)現(xiàn),ChatGPT 的成功離不開(kāi) AI 大模型的加持,強(qiáng)大的算法訓(xùn)練模型,使得 ChatGPT 在迭代中獲得實(shí)現(xiàn)接近自然語(yǔ)言的表達(dá)能力。而這一切的核心,都來(lái)自一個(gè)模型:GPT 模型。因此,以 GPT 模型為核心,從三個(gè)維度出發(fā)去拆解 GPT 模型,以此進(jìn)一步挖掘 ChatGPT 強(qiáng)大背后的原因。

維度一:?jiǎn)我淮竽P停篊hatGPT 使用單一大模型,積累強(qiáng)大底層通用能力。對(duì)于 ChatGPT 所用到的訓(xùn)練模型,從模型體量來(lái)看,屬于 AI 單一大模型的范疇。對(duì)比傳統(tǒng) AI 訓(xùn)練模型,單一大模型的“大”體現(xiàn)在:1)更多的模型參數(shù)量;2)更大的數(shù)據(jù)處理量;3)更大的訓(xùn)練計(jì)算量。模型體量的增大,帶來(lái)的最直接變化,在于 AI 模型通用能力的跨越式提升。傳統(tǒng)的 AI 訓(xùn)練方法,大多以單一知識(shí)領(lǐng)域的應(yīng)用為目標(biāo),主要使用特定領(lǐng)域有標(biāo)注的數(shù)據(jù)進(jìn)行模型訓(xùn)練,模型通用性差,如果更換使用場(chǎng)景,往往需要進(jìn)行重新訓(xùn)練。而大模型的訓(xùn)練,一是能使用的數(shù)據(jù)來(lái)源更加廣泛,可用數(shù)據(jù)量更大;二是對(duì)標(biāo)注要求更低,只需要對(duì)數(shù)據(jù)進(jìn)行微調(diào)甚至不調(diào)就可以用于訓(xùn)練;三是輸出的能力更加泛化通用,在語(yǔ)義理解、邏輯推理、文本表達(dá)等方面能力更出眾。

從通用到特殊,單一大模性具備豐富的垂直領(lǐng)域應(yīng)用潛力?;趯?duì)底層能力的訓(xùn)練,AI 大模型積累了對(duì)于數(shù)據(jù)背后特征和規(guī)則的理解,因此在進(jìn)行垂直領(lǐng)域的時(shí)候,可以做到“舉一反三”。這一過(guò)程,與人類(lèi)學(xué)習(xí)知識(shí)的過(guò)程類(lèi)似,都是先學(xué)習(xí)如何去學(xué)習(xí),再構(gòu)建聽(tīng)說(shuō)讀寫(xiě)能力,最后在不同學(xué)科深入探索。AI 大模型也是一樣,在完成通用能力積累之后,可以將學(xué)習(xí)能力移植到需要應(yīng)用的特定領(lǐng)域,通過(guò)投喂垂直領(lǐng)域數(shù)據(jù),可以使模型達(dá)到目標(biāo)場(chǎng)景所需的性能。

▲單一大模性具備豐富的垂直領(lǐng)域應(yīng)用潛力

從大模型自身的發(fā)展過(guò)程來(lái)看,參數(shù)量的變化是一個(gè)非常值得關(guān)注的指標(biāo)。從最早的 ResNet、Inception 等模型,到如今的 GPT,模型參數(shù)量不斷增長(zhǎng)。2018 年前后 OpenAI 先后推出 Transformer 和GPT-1 模型,參數(shù)量來(lái)到 1 億級(jí)別。隨后谷歌提出 3 億參數(shù)的 BERT 模型,參數(shù)量再次增長(zhǎng)。2019、2020 年,OpenAI 加速追趕,陸續(xù)迭代出 GPT-2、GPT-3 模型,參數(shù)量分別為15 億、1750 億,實(shí)現(xiàn)模型體量質(zhì)的飛躍。另一方面,參數(shù)運(yùn)算需要大規(guī)模并行計(jì)算的支持,核心難點(diǎn)在于內(nèi)存交換效率,取決于底層 GPU 內(nèi)存容量。以英特爾為例,從 2017 年 V100的 32GB 內(nèi)存到 2020 年 A100 的 80GB 內(nèi)存,GPU 內(nèi)存容量的提升量級(jí)與模型參數(shù)相比顯然不在同一量級(jí)。而 ChatGPT 的解決方法,則是與微軟聯(lián)手,借助 Azure 強(qiáng)大的基礎(chǔ)算力設(shè)施,為 ChatGPT 提供訓(xùn)練支持。

▲單一大模型的參數(shù)量快速增長(zhǎng)

2021 年 8 月,李飛飛等學(xué)者于 arXiv 發(fā)表《On the Opportunities and Risk of Foundation Models》,將大模型統(tǒng)一命名為 Foundation Models,即基礎(chǔ)模型或基石模型。此外,論文還提出基礎(chǔ)模型面臨的兩大問(wèn)題:1)同質(zhì)化。盡管基礎(chǔ)模型基于標(biāo)準(zhǔn)的深度學(xué)習(xí)和遷移學(xué)習(xí),但其規(guī)模導(dǎo)致了新能力的涌現(xiàn),其在眾多任務(wù)中的有效性激勵(lì)了同質(zhì)化的產(chǎn)生;2)特性涌現(xiàn)。盡管基礎(chǔ)模型即將被廣泛部署,但目前研究者對(duì)其如何工作、何時(shí)失效以及其涌現(xiàn)的特性衍生了何種能力尚缺乏清晰的理解。舉例來(lái)看,如機(jī)器學(xué)習(xí)的引入,使得算法從數(shù)據(jù)案例中學(xué)會(huì)了如何執(zhí)行(自動(dòng)推斷);深度學(xué)習(xí)的引入,涌現(xiàn)了用于預(yù)測(cè)的高級(jí)特征;基礎(chǔ)模型的引入,涌現(xiàn)了上下文學(xué)習(xí)等高級(jí)功能。但在這一過(guò)程中,機(jī)器學(xué)習(xí)使學(xué)習(xí)算法變得同質(zhì)化(例如,邏輯回歸),深度學(xué)習(xí)使模型架構(gòu)同質(zhì)化(例如,卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)),大模型使得下游模型同質(zhì)化(例如,下游模型一定會(huì)繼承上游模型缺陷)。

從本質(zhì)上來(lái)說(shuō),上下游模型同質(zhì)化的問(wèn)題無(wú)法被完全解決,OpenAI 選擇的方向是盡可能填補(bǔ)缺陷漏洞。從 GPT-3.5版本開(kāi)始,OpenAI 團(tuán)隊(duì)在模型中引入了監(jiān)督學(xué)習(xí)過(guò)程。在監(jiān)督學(xué)習(xí)模式下,人類(lèi)反饋機(jī)制開(kāi)始加入到模型訓(xùn)練過(guò)程,從而不斷糾正模型生成結(jié)果,逐步提升輸出結(jié)果的準(zhǔn)確性和真實(shí)性。隨著大模型朝著越來(lái)越符合人類(lèi)期望的方向演進(jìn),對(duì)話邏輯和表達(dá)方式逐漸逼近人類(lèi)水平,才最終達(dá)到我們今天所看到的樣子。

▲基礎(chǔ)模型帶來(lái)特性涌現(xiàn)和模型同質(zhì)化

通過(guò)拆解單一大模型的原理、特征及發(fā)展歷程,我們發(fā)現(xiàn)單一大模型的引入,是 ChatGPT 強(qiáng)大語(yǔ)言的根本來(lái)源。展望未來(lái),我們認(rèn)為ChatGPT 或?qū)⒃诖竽P图映窒录铀俚?,主要因?yàn)椋?)大模型訓(xùn)練效果取決于數(shù)據(jù)量,目前 ChatGPT 僅使用 2021 年之前的數(shù)據(jù),隨著更多數(shù)據(jù)的加入,模型底層語(yǔ)言能力有望進(jìn)一步加強(qiáng);2)大模型具備能力遷移潛力,垂直領(lǐng)域應(yīng)用或?qū)⒓铀?ChatGPT 進(jìn)化;3)OpenAI 背靠微軟,大算力資源為模型演進(jìn)提供保障;4)隨著軟件用戶規(guī)模持續(xù)擴(kuò)張,用戶自身的反饋又會(huì)帶來(lái)類(lèi)似監(jiān)督學(xué)習(xí)的效果,或?qū)?dòng) ChatGPT 加速迭代?;诖耍春?AI 大模型及 ChatGPT 未來(lái)應(yīng)用前景,商業(yè)化落地或?qū)⒓涌臁?/p>

維度二:預(yù)訓(xùn)練語(yǔ)言模型。拆解模型來(lái)看,主要關(guān)注預(yù)訓(xùn)練語(yǔ)言模型和 Transformer 特征抽取器。前面討論了ChatGPT 背后所使用的 AI 大模型及其迭代過(guò)程,但如果我們將拆解動(dòng)作繼續(xù)深入,在更細(xì)顆粒度的視角下,其實(shí)可以將訓(xùn)練模型做進(jìn)一步的拆解。實(shí)際上,GPT(General Pre-Training)即通用預(yù)訓(xùn)練語(yǔ)言模型,簡(jiǎn)單來(lái)說(shuō)就是一種利用 Transformer 作為特征抽取器,基于語(yǔ)言模型進(jìn)行預(yù)訓(xùn)練的模型。因此,接下來(lái)我們從模型的兩個(gè)關(guān)鍵特征出發(fā),分別從預(yù)訓(xùn)練語(yǔ)言模型和 Transformer 特征抽取器的角度來(lái)分析 GPT 模型的迭代過(guò)程。

預(yù)訓(xùn)練語(yǔ)言模型無(wú)需人工標(biāo)簽,為 NLP 研究帶來(lái)質(zhì)變。預(yù)訓(xùn)練屬于遷移學(xué)習(xí)的范疇,其思想是在利用標(biāo)注數(shù)據(jù)之前,先利用無(wú)標(biāo)注的數(shù)據(jù),即純文本數(shù)據(jù)訓(xùn)練模型,從而使模型能夠?qū)W到一些潛在的跟標(biāo)注無(wú)關(guān)的知識(shí),最終在具體的任務(wù)上,預(yù)訓(xùn)練模型就可以利用大量的無(wú)標(biāo)注數(shù)據(jù)知識(shí),標(biāo)志著自然語(yǔ)言處理模型進(jìn)入了大規(guī)模復(fù)制階段。從實(shí)現(xiàn)原理上來(lái)看,預(yù)訓(xùn)練語(yǔ)言模型是通過(guò)計(jì)算某個(gè)詞句 w 的出現(xiàn)概率,即 p(W),在給定詞句的情況下,可以自行計(jì)算出后一個(gè)詞或句出現(xiàn)的概率。因此,GPT 的訓(xùn)練可以在無(wú)人工標(biāo)簽的基礎(chǔ)上進(jìn)行,通過(guò)連續(xù)不斷地預(yù)測(cè)、迭代參數(shù)、再預(yù)測(cè),模型最終實(shí)現(xiàn)語(yǔ)言能力的學(xué)習(xí)。

在大多數(shù)基于統(tǒng)計(jì)方法和神經(jīng)網(wǎng)絡(luò)的自然語(yǔ)言處理模型中都需要大量已標(biāo)注的數(shù)據(jù)集來(lái)滿足模型訓(xùn)練,但并非所有的訓(xùn)練任務(wù)都能獲取足夠的標(biāo)注信息。同時(shí),隨著模型復(fù)雜度和參數(shù)數(shù)量的增加,大多數(shù)數(shù)據(jù)集的大小難以支持訓(xùn)練。而預(yù)訓(xùn)練模型能先通過(guò)利用無(wú)標(biāo)注的數(shù)據(jù)訓(xùn)練模型,解決傳統(tǒng)模型無(wú)法解決的實(shí)際問(wèn)題。而且由于預(yù)訓(xùn)練語(yǔ)言模型可以利用現(xiàn)實(shí)世界中大量的純文本數(shù)據(jù)訓(xùn)練,擴(kuò)大了其訓(xùn)練范圍和規(guī)模,擁有發(fā)掘大模型(Foundation Models)的潛力。

第一代預(yù)訓(xùn)練模型是靜態(tài)詞向量模型,經(jīng)訓(xùn)練給每一個(gè)詞賦予靜態(tài)詞向量,讓相似的詞聚集在一起,實(shí)現(xiàn)了符號(hào)空間到向量空間的映射,經(jīng)典結(jié)構(gòu)有 Continuous Bag-of-Words(CBOW)和 Skip-Gram(SG)等。而由于第一代模型的詞向量靜態(tài)性,使其不能結(jié)合上下文,進(jìn)而有無(wú)法分辯同義詞等缺陷。最新的第二代預(yù)訓(xùn)練模型,包括 BERT、GPT 等則在此基礎(chǔ)上允許靜態(tài)詞向量與上下文交互,這種動(dòng)態(tài)詞向量?jī)?yōu)化了同義詞問(wèn)題。目前,第二代預(yù)訓(xùn)練模型的標(biāo)準(zhǔn)范式是“預(yù)訓(xùn)練+微調(diào)”:首先在大量的文本上訓(xùn)練出一個(gè)預(yù)訓(xùn)練語(yǔ)言模型,再根據(jù)實(shí)際情況對(duì)得到的預(yù)訓(xùn)練語(yǔ)言模型進(jìn)行微調(diào),加強(qiáng)了模型對(duì)下游應(yīng)用場(chǎng)景的契合度。

維度三:Transformer 特征抽取器。Transformer 是大模型高效運(yùn)行的根基。前面我們從單一大模型出發(fā),對(duì)預(yù)訓(xùn)練語(yǔ)言模型進(jìn)行了 。但如果我們繼續(xù)深入,會(huì)發(fā)現(xiàn)語(yǔ)言模型仍然不是 GPT 模型的最底層,語(yǔ)言模型之下還需要有具體的調(diào)度架構(gòu)和運(yùn)算邏輯,來(lái)實(shí)現(xiàn)最終的計(jì)算。我們認(rèn)為,Transformer特征抽取器在 GPT 模型中,就承擔(dān)了這樣的一個(gè)角色,直接決定了 AI 大模型能否實(shí)現(xiàn)高效率的運(yùn)算和學(xué)習(xí)。

Transformer 模型最早由谷歌在 2017 年提出,屬于深度學(xué)習(xí)模型架構(gòu)的一種,特點(diǎn)是在學(xué)習(xí)中引入了注意力機(jī)制。對(duì)比循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)來(lái)看,Transformer 與 RNN 均對(duì)輸入數(shù)據(jù),如自然語(yǔ)言等,進(jìn)行順序處理,并主要應(yīng)用于翻譯和文本摘要等工作。但 Transformer 與 RNN 不同的是,Transformer 中的注意機(jī)制可以為輸入序列中的任何字符提供上下文,因此可以一次處理所有輸入,而不是一次只處理一個(gè)詞。因此,與 RNN 相比,Transformer 可以實(shí)現(xiàn)更大規(guī)模的并行計(jì)算,大大減少了模型訓(xùn)練時(shí)間,使得大規(guī)模 AI 模型得以被應(yīng)用。

▲Transformer 解碼模塊拆解

在 GPT 模型中,解碼模塊相當(dāng)于基本架構(gòu)單元,通過(guò)彼此堆疊的方式,拼湊成最終我們看到的 GPT 模型底層架構(gòu)。這里有兩個(gè)值得關(guān)注的要點(diǎn):1)解碼模塊的數(shù)量決定了模型的規(guī)模,GPT-1 一般有 12 個(gè)模塊,GPT-2有 48 個(gè),GPT-3 則有 96 個(gè)模塊;2)針對(duì)模塊輸出的結(jié)果還需要進(jìn)行 Finetune(對(duì)模型進(jìn)行調(diào)優(yōu))。

▲解碼模塊堆疊形成 GPT 模型完整架構(gòu)

03.生成式AI應(yīng)用于創(chuàng)造性工作

AI 可分為生成式 AI 和分析型 AI,其中分析型 AI(Analytical AI),主要在給定數(shù)據(jù)的情況下,通過(guò)分析找出規(guī)律和關(guān)系,并在此基礎(chǔ)上生成報(bào)告或給出建議。比如通過(guò)追蹤客戶行為以刻畫(huà)用戶畫(huà)像,并基于此進(jìn)行個(gè)性化推薦,實(shí)現(xiàn)精準(zhǔn)營(yíng)銷(xiāo);通過(guò)收集城市中傳感器的大量數(shù)據(jù)并分析,預(yù)測(cè)天氣及環(huán)境污染情況,從而幫助相關(guān)部門(mén)進(jìn)行政策制定。不同于分析型 AI 局限于分析已有內(nèi)容,生成式 AI(Generative AI)可以通過(guò)學(xué)習(xí)已有數(shù)據(jù)和信息生成多種形式的新的內(nèi)容,在創(chuàng)造性工作的領(lǐng)域進(jìn)行應(yīng)用,目前生成式 AI 的應(yīng)用主要包括生成文本、圖像、對(duì)話、音視頻、代碼、3D 等。

▲生成型 AI 應(yīng)用領(lǐng)域

ChatGPT 通過(guò)學(xué)習(xí)大量語(yǔ)料并通過(guò)生成模型生成文本回答,其基礎(chǔ) GPT-3 是一個(gè)大型語(yǔ)言模型。該模型通過(guò)對(duì)大量語(yǔ)料的預(yù)訓(xùn)練,學(xué)習(xí)了語(yǔ)言的語(yǔ)法、語(yǔ)義、語(yǔ)用等特征,并通過(guò)對(duì)語(yǔ)言的生成任務(wù)進(jìn)行微調(diào),以適應(yīng)各種應(yīng)用場(chǎng)景。目前,除了 ChatGPT 外,有大量 AIGC 應(yīng)用產(chǎn)品基于 GPT-3 模型。

▲基于 GPT-3 的 AI 產(chǎn)品

據(jù)各公司官網(wǎng),ChatGPT 從 0 到 100 萬(wàn)用戶數(shù)僅花費(fèi) 5 天,速度遠(yuǎn)超其他平臺(tái)。從活躍用戶角度,據(jù)Similarweb,2023 年 1 月期間,ChatGPT 平均每天約有 1300 萬(wàn)獨(dú)立訪客,超出 22 年 12月一倍。用戶數(shù)量的快速擴(kuò)大反映了 ChatGPT 具備較強(qiáng)的商業(yè)化潛力。

▲ChatGPT 從 0 到 100 萬(wàn)用戶速度遠(yuǎn)超其他平臺(tái)

AIGC(AI Generated Content)指由人工智能生成的內(nèi)容,包括文本、圖像、音頻、3D 等多種類(lèi)型,具有高效及自動(dòng)化生產(chǎn)的特點(diǎn)。近年來(lái)谷歌、亞馬遜、百度等國(guó)內(nèi)外巨頭持續(xù)布局 AIGC。2014 年,谷歌以超 5 億美元的價(jià)格收購(gòu)人工智能公司 DeepMind;2023 年 3 月,谷歌宣布向人工智能初創(chuàng)公司 Anthropic 投資約 3 億美元,建立新的合作伙伴關(guān)系;2022 年 11 月,亞馬遜宣布與 AI 制圖平臺(tái) Stability AI 合作,成為其首選云合作伙伴,同時(shí)為其提供亞馬遜 Tradium 芯片;2021 年 4 月,華為諾亞方舟實(shí)驗(yàn)室聯(lián)合多部門(mén)推出首個(gè) 2000 億參數(shù)中文預(yù)訓(xùn)練模型盤(pán)古α;2023 年 2 月,百度官宣類(lèi) ChatGPT 大模型新項(xiàng)目文心一言(英文名 ERNIE Bot)。

▲AIGC 領(lǐng)域產(chǎn)品

微軟發(fā)布基于 OpenAI 模型的全新搜索引擎 Bing 和 Edge 瀏覽器。在 FY23Q2 電話會(huì)議上,微軟表示將增加對(duì) ChatGPT 的支持,使得客戶能夠很快在自己的應(yīng)用程序上調(diào)用它。隨后,公司宣布擴(kuò)大與 OpenAI 的合作伙伴關(guān)系,將向 OpenAI 進(jìn)行一項(xiàng)為期多年、價(jià)值數(shù)十億美元的投資,以加速其在人工智能領(lǐng)域的技術(shù)突破。2 月 7 日,公司召開(kāi)發(fā)布會(huì)推出基于新的 OpenAI 模型搜索引擎 Bing 和 Edge 瀏覽器,將搜索、瀏覽器、聊天功能結(jié)合起來(lái),用戶既可以選擇傳統(tǒng)搜索結(jié)果與聊天對(duì)話框并排顯示,也可以選擇直接與聊天機(jī)器人進(jìn)行對(duì)話。在新版的 Bing 之下,用戶搜索直接給出答案,而非網(wǎng)頁(yè)鏈接,結(jié)果相關(guān)性更強(qiáng)、更加智能化。目前新版 Bing 已經(jīng)開(kāi)放有限預(yù)覽,預(yù)計(jì)在未來(lái)幾周推出移動(dòng)版本。

谷歌、百度積極跟進(jìn),商業(yè)應(yīng)用有望加速。1 月 27 日,美國(guó)數(shù)字媒體公司 BuzzFeed 率先宣布計(jì)劃使用 OpenAI 提供的技術(shù)來(lái)協(xié)助創(chuàng)作個(gè)性化內(nèi)容。谷歌方面,近期向 OpenAI競(jìng)爭(zhēng)對(duì)手之一的 Anthropic 投資約 3 億美元,獲得該公司 10%股份,Anthropic 將用投資從谷歌的云計(jì)算部門(mén)購(gòu)買(mǎi)大量計(jì)算資源;2 月 6 日,谷歌透露計(jì)劃推出一款聊天機(jī)器人 Bard 以應(yīng)對(duì) ChatGPT,該服務(wù)將開(kāi)放給受信任的測(cè)試人員,并在未來(lái)的幾周向更廣泛的公眾開(kāi)放服務(wù)。百度方面,2 月 7 日宣布將推出類(lèi) ChatGPT 項(xiàng)目文心一言(英文名為ERNIE Bot),預(yù)計(jì)將在 3 月份完成內(nèi)測(cè),面向公眾開(kāi)放。隨著微軟將 ChatGPT 整合至自身產(chǎn)品中,谷歌、百度等 AI 領(lǐng)軍企業(yè)也宣布推出聊天機(jī)器人,未來(lái)有望將聊天機(jī)器人整合至搜索引擎甚至辦公軟件等業(yè)務(wù)當(dāng)中,商業(yè)化應(yīng)用有望加速落地。

智東西認(rèn)為,ChatGPT的正式發(fā)布,標(biāo)志著人工智能再也不是“人工智障”。隨著 AI 與下游場(chǎng)景加快融合,同時(shí)疊加政策對(duì)行業(yè)支持,國(guó)內(nèi) AI 市場(chǎng)規(guī)模有望持續(xù)高增。到 2026 年,我國(guó)人工智能核心產(chǎn)業(yè)規(guī)模有望達(dá)到 6,050 億元,20-26 年復(fù)合增速為 25.01%;并由此帶動(dòng)的相關(guān)產(chǎn)業(yè)規(guī)模將超過(guò) 2 萬(wàn)億元。

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請(qǐng)聯(lián)系原著作權(quán)人。

評(píng)論

暫無(wú)評(píng)論哦,快來(lái)評(píng)價(jià)一下吧!

下載界面新聞

微信公眾號(hào)

微博

三大維度拆解ChatGPT,解密讓巨頭們興奮的技術(shù)真相

發(fā)源于OpenAI,成名于生成式語(yǔ)言,ChatGPT火得太快了。

攝影:界面新聞 范劍磊

編輯|智東西內(nèi)參

2022年11月,OpenAI推出ChatGPT聊天機(jī)器人,以對(duì)話的形式與用戶進(jìn)行連續(xù)性的交互,上線2個(gè)月后用戶數(shù)超過(guò)1億,用戶數(shù)量增長(zhǎng)迅猛。ChatGPT 屬于 AIGC 的具體應(yīng)用,相比過(guò)去的 AI 產(chǎn)品,在模型類(lèi)型、應(yīng)用領(lǐng)域、商業(yè)化等層面也呈現(xiàn)出新的特點(diǎn)。

本期的智能內(nèi)參,我們推薦東莞證券和華泰證券的報(bào)告《大廠加大類(lèi) ChatGPT 布局力度,商業(yè)應(yīng)用有望加速落地》《ChatGPT:深度拆解》,解析最近大火的ChatGPT的技術(shù)原理和國(guó)內(nèi)商廠布局。

來(lái)源東莞證券 華泰證券

原標(biāo)題:《大廠加大類(lèi) ChatGPT 布局力度,商業(yè)應(yīng)用有望加速落地》,《ChatGPT:深度拆解》

作者:羅煒斌 謝春生等

01.發(fā)源于OpenAI,成名于生成式語(yǔ)言

OpenAI 是一家世界領(lǐng)先的非營(yíng)利性人工智能研究公司。OpenAI 于 2015 年在舊金山成立,是一家非營(yíng)利的人工智能研究公司,公司的目標(biāo)是以最有可能造福全人類(lèi)的方式推進(jìn)人工智能,而不受財(cái)務(wù)回報(bào)需求的約束。OpenAI 創(chuàng)始人背景深厚,由埃隆·馬斯克與硅谷孵化器 Y Combinator 投資人山姆·阿爾特曼等人聯(lián)合創(chuàng)立。公司研究人員經(jīng)驗(yàn)豐富,包括前Google Brain 研究科學(xué)家伊利亞·蘇茨凱弗與前 Stripe 首席技術(shù)官格雷格·布羅克曼等世界一流研究工程師與科學(xué)家。

2018 年,隨著特斯拉對(duì) AI 的應(yīng)用深入,為避免潛在利益沖突,馬斯克主動(dòng)離任董事會(huì),僅保留捐資人和顧問(wèn)的身份。由于 AI 訓(xùn)練花費(fèi)金額巨大,2019 年公司從非營(yíng)利性公司轉(zhuǎn)向部分盈利公司,成立了 OpenAI LP 利潤(rùn)上限子公司,即任何對(duì) OpenAI LP 投資的收益都將統(tǒng)一轉(zhuǎn)移至一家非盈利公司,回報(bào)達(dá)到投資的 100 倍后進(jìn)行利潤(rùn)分配。

同年,OpenAI 收到微軟注資 10 億美元,就 Azure 業(yè)務(wù)開(kāi)發(fā)人工智能技術(shù)。2020 年發(fā)布 GPT-3 語(yǔ)言模型,由微軟獲得獨(dú)家授權(quán)。2022 年發(fā)布 ChatGPT 的自然語(yǔ)言生成式模型,帶來(lái)更大潛在應(yīng)用空間。2023 年,微軟擬對(duì) OpenAI 追加數(shù)十億美元投資,利用自身算力基礎(chǔ)設(shè)施資源發(fā)揮與 OpenAI 業(yè)務(wù)協(xié)同效應(yīng),深入布局生成式 AI 技術(shù)。

2016 年,推出用于開(kāi)發(fā)和比較強(qiáng)化學(xué)習(xí)算法的工具包 OpenAI Gym,加速公開(kāi)社會(huì)中 RL 研究進(jìn)度。同時(shí)推出 Universe 軟件平臺(tái),用于測(cè)試和訓(xùn)練 AI 在全球游戲、網(wǎng)站和其他應(yīng)用程序中的智能程度。2019 年,OpenAI 推出深度神經(jīng)網(wǎng)絡(luò) MuseNet,可以使用 4 種不同的樂(lè)器生成 10分鐘的音樂(lè)作品以及最終模型版本的 GPT-2。2020 年,研發(fā)團(tuán)隊(duì)在 GPT-2 的基礎(chǔ)上拓展參數(shù),發(fā)布了 GPT-3 語(yǔ)言模型。2021 年,發(fā)布了轉(zhuǎn)換器語(yǔ)言模型 DALL·E,從文本描述生成圖像。2022 年,OpenAI 在 GPT-3.5 的基礎(chǔ)上推出了 ChatGPT,強(qiáng)化了人工智能的語(yǔ)言對(duì)話能力,引起社會(huì)廣泛關(guān)注。

▲OpenAI 產(chǎn)品

OpenAI 當(dāng)前盈利主要通過(guò)付費(fèi) API 接口,并嘗試拓展盈利模式。目前,OpenAI 提供 GPT-3、Codex 以及 DALL·E 的 API 數(shù)據(jù)接口,分別執(zhí)行用戶自然語(yǔ)言任務(wù)、自然語(yǔ)言轉(zhuǎn)換為代碼的任務(wù)以及創(chuàng)建和編輯圖像的任務(wù)。API 接口根據(jù)類(lèi)型不同以流量收費(fèi),比如圖像模型以分辨率分類(lèi)按張數(shù)收費(fèi),語(yǔ)言模型則以基于的子模型型號(hào)按字符數(shù)收費(fèi)。OpenAI API 盈利情況較好,據(jù)路透社數(shù)據(jù),OpenAI 2022 年收入數(shù)千萬(wàn)美元,公司預(yù)計(jì) 2023 與 2024 年收入分別為 2 億美元和 10 億美元。同時(shí),OpenAI 正嘗試拓展自身盈利模式,2023 年 1 月試點(diǎn)推出訂閱制 ChatGPT Plus,收取每月 20 美元的會(huì)員費(fèi)以得到各類(lèi)優(yōu)先服務(wù)。

▲OpenAI API 價(jià)格

ChatGPT 使用來(lái)自人類(lèi)反饋的強(qiáng)化學(xué)習(xí) (RLHF) 來(lái)訓(xùn)練該模型。首先使用監(jiān)督微調(diào)訓(xùn)練了一個(gè)初始模型:人類(lèi) AI 訓(xùn)練員提供對(duì)話,他們?cè)趯?duì)話中扮演雙方——用戶和 AI 助手。其次,ChatGPT 讓標(biāo)記者可以訪問(wèn)模型編寫(xiě)的建議,以幫助他們撰寫(xiě)回復(fù)。最后,ChatGPT 將這個(gè)新的對(duì)話數(shù)據(jù)集與原有數(shù)據(jù)集混合,將其轉(zhuǎn)換為對(duì)話格式。具體來(lái)看,主要包括三個(gè)步驟:

1)第一階段:訓(xùn)練監(jiān)督策略模型。在 ChatGPT 模型的訓(xùn)練過(guò)程中,需要標(biāo)記者的參與監(jiān)督過(guò)程。首先,ChatGPT 會(huì)從問(wèn)題數(shù)據(jù)集中隨機(jī)抽取若干問(wèn)題并向模型解釋強(qiáng)化學(xué)習(xí)機(jī)制,其次標(biāo)記者通過(guò)給予特定獎(jiǎng)勵(lì)或懲罰引導(dǎo) AI 行為,最后通過(guò)監(jiān)督學(xué)習(xí)將這一條數(shù)據(jù)用于微調(diào) GPT3.5 模型。

2)第二階段:訓(xùn)練獎(jiǎng)勵(lì)模型。這一階段的主要目標(biāo),在于借助標(biāo)記者的人工標(biāo)注,訓(xùn)練出合意的獎(jiǎng)勵(lì)模型,為監(jiān)督策略建立評(píng)價(jià)標(biāo)準(zhǔn)。訓(xùn)練獎(jiǎng)勵(lì)模型的過(guò)程同樣可以分為三步:1、抽樣出一個(gè)問(wèn)題及其對(duì)應(yīng)的幾個(gè)模型輸出結(jié)果;2、標(biāo)記員將這幾個(gè)結(jié)果按質(zhì)量排序;3、將排序后的這套數(shù)據(jù)結(jié)果用于訓(xùn)練獎(jiǎng)勵(lì)模型。

3)第三階段:采用近端策略?xún)?yōu)化進(jìn)行強(qiáng)化學(xué)習(xí)。近端策略?xún)?yōu)化(Proximal Policy Optimization)是一種強(qiáng)化學(xué)習(xí)算法,核心思路在于將 Policy Gradient 中 On-policy 的訓(xùn)練過(guò)程轉(zhuǎn)化為Off-policy,即將在線學(xué)習(xí)轉(zhuǎn)化為離線學(xué)習(xí)。具體來(lái)說(shuō),也就是先通過(guò)監(jiān)督學(xué)習(xí)策略生成 PPO模型,經(jīng)過(guò)獎(jiǎng)勵(lì)機(jī)制反饋?zhàn)顑?yōu)結(jié)果后,再將結(jié)果用于優(yōu)化和迭代原有的 PPO 模型參數(shù)。往復(fù)多次第二階段和第三階段,從而得到參數(shù)質(zhì)量越來(lái)越高的 ChatGPT 模型。

▲ChatGPT 模型原理

從 ChatGPT 的訓(xùn)練原理中,我們不難發(fā)現(xiàn),這一訓(xùn)練過(guò)程存在幾個(gè)特點(diǎn):

1)采用的是單一大模型。在 GPT 模型興起之前,大多數(shù) AI 模型主要是針對(duì)特定應(yīng)用場(chǎng)景需求進(jìn)行訓(xùn)練的小模型,存在通用性差、訓(xùn)練數(shù)據(jù)少、適應(yīng)范圍小的弊端。而我們看到,ChatGPT 雖然在過(guò)程中使用了獎(jiǎng)勵(lì)模型等輔助手段,但最終用于實(shí)現(xiàn)自然語(yǔ)言理解和生成式功能的主模型只有一個(gè),但卻在語(yǔ)義理解、推理、協(xié)作等方面表現(xiàn)出了更強(qiáng)能力。因此,ChatGPT 的成功,驗(yàn)證了參數(shù)增長(zhǎng)、訓(xùn)練數(shù)據(jù)量增大,對(duì) AI 模型的重要意義。

2)采用的是小樣本學(xué)習(xí)方法。在小樣本學(xué)習(xí)(Few-shot Learning)方法下,AI 預(yù)訓(xùn)練模型在不必使用大量標(biāo)記的訓(xùn)練數(shù)據(jù),就可以建立起比較通用的泛化能力。簡(jiǎn)單來(lái)說(shuō),小樣本學(xué)習(xí)即是在給定有限信息和較少訓(xùn)練數(shù)據(jù)的情況下,嘗試對(duì)總體規(guī)律進(jìn)行理解和預(yù)測(cè),這一過(guò)程類(lèi)似于“學(xué)習(xí)如何去學(xué)習(xí)”。對(duì)于小樣本學(xué)習(xí)在 ChatGPT 中的應(yīng)用,我們認(rèn)為,這一方法解決了大模型數(shù)據(jù)標(biāo)注工作量巨大的問(wèn)題,是模型得以迅速迭代的基礎(chǔ)。

3)采用人類(lèi)反饋微調(diào)監(jiān)督學(xué)習(xí)。ChatGPT 是從 GPT3.5(即 InstructGPT)改進(jìn)而來(lái)的版本,相比于前代,ChatGPT 主要變化在于采用了人類(lèi)反饋機(jī)制,對(duì)監(jiān)督學(xué)習(xí)過(guò)程進(jìn)行微調(diào)。本質(zhì)上來(lái)說(shuō),無(wú)論是大模型還是小樣本學(xué)習(xí),解決的目標(biāo)都是提升訓(xùn)練的效率,但真正令ChatGPT 實(shí)現(xiàn)結(jié)果準(zhǔn)確、合理的關(guān)鍵技術(shù),還是在于加入了人類(lèi)反饋。據(jù) Long Ouyang等人 2022 年發(fā)表的《Training language models to follow instructions with humanfeedback》,InstructGPT 僅用 13 億個(gè)參數(shù)就實(shí)現(xiàn)了比 1750 億個(gè)參數(shù)的 GPT-3 更優(yōu)的輸出解雇,顯著提升了真實(shí)性、減少了有害信息的輸出。

02.三大維度拆解GPT模型特征

拆解 GPT 模型可以幫助理解 ChatGPT 之所以強(qiáng)大的原因。從前面的討論中,我們發(fā)現(xiàn),ChatGPT 的成功離不開(kāi) AI 大模型的加持,強(qiáng)大的算法訓(xùn)練模型,使得 ChatGPT 在迭代中獲得實(shí)現(xiàn)接近自然語(yǔ)言的表達(dá)能力。而這一切的核心,都來(lái)自一個(gè)模型:GPT 模型。因此,以 GPT 模型為核心,從三個(gè)維度出發(fā)去拆解 GPT 模型,以此進(jìn)一步挖掘 ChatGPT 強(qiáng)大背后的原因。

維度一:?jiǎn)我淮竽P停篊hatGPT 使用單一大模型,積累強(qiáng)大底層通用能力。對(duì)于 ChatGPT 所用到的訓(xùn)練模型,從模型體量來(lái)看,屬于 AI 單一大模型的范疇。對(duì)比傳統(tǒng) AI 訓(xùn)練模型,單一大模型的“大”體現(xiàn)在:1)更多的模型參數(shù)量;2)更大的數(shù)據(jù)處理量;3)更大的訓(xùn)練計(jì)算量。模型體量的增大,帶來(lái)的最直接變化,在于 AI 模型通用能力的跨越式提升。傳統(tǒng)的 AI 訓(xùn)練方法,大多以單一知識(shí)領(lǐng)域的應(yīng)用為目標(biāo),主要使用特定領(lǐng)域有標(biāo)注的數(shù)據(jù)進(jìn)行模型訓(xùn)練,模型通用性差,如果更換使用場(chǎng)景,往往需要進(jìn)行重新訓(xùn)練。而大模型的訓(xùn)練,一是能使用的數(shù)據(jù)來(lái)源更加廣泛,可用數(shù)據(jù)量更大;二是對(duì)標(biāo)注要求更低,只需要對(duì)數(shù)據(jù)進(jìn)行微調(diào)甚至不調(diào)就可以用于訓(xùn)練;三是輸出的能力更加泛化通用,在語(yǔ)義理解、邏輯推理、文本表達(dá)等方面能力更出眾。

從通用到特殊,單一大模性具備豐富的垂直領(lǐng)域應(yīng)用潛力?;趯?duì)底層能力的訓(xùn)練,AI 大模型積累了對(duì)于數(shù)據(jù)背后特征和規(guī)則的理解,因此在進(jìn)行垂直領(lǐng)域的時(shí)候,可以做到“舉一反三”。這一過(guò)程,與人類(lèi)學(xué)習(xí)知識(shí)的過(guò)程類(lèi)似,都是先學(xué)習(xí)如何去學(xué)習(xí),再構(gòu)建聽(tīng)說(shuō)讀寫(xiě)能力,最后在不同學(xué)科深入探索。AI 大模型也是一樣,在完成通用能力積累之后,可以將學(xué)習(xí)能力移植到需要應(yīng)用的特定領(lǐng)域,通過(guò)投喂垂直領(lǐng)域數(shù)據(jù),可以使模型達(dá)到目標(biāo)場(chǎng)景所需的性能。

▲單一大模性具備豐富的垂直領(lǐng)域應(yīng)用潛力

從大模型自身的發(fā)展過(guò)程來(lái)看,參數(shù)量的變化是一個(gè)非常值得關(guān)注的指標(biāo)。從最早的 ResNet、Inception 等模型,到如今的 GPT,模型參數(shù)量不斷增長(zhǎng)。2018 年前后 OpenAI 先后推出 Transformer 和GPT-1 模型,參數(shù)量來(lái)到 1 億級(jí)別。隨后谷歌提出 3 億參數(shù)的 BERT 模型,參數(shù)量再次增長(zhǎng)。2019、2020 年,OpenAI 加速追趕,陸續(xù)迭代出 GPT-2、GPT-3 模型,參數(shù)量分別為15 億、1750 億,實(shí)現(xiàn)模型體量質(zhì)的飛躍。另一方面,參數(shù)運(yùn)算需要大規(guī)模并行計(jì)算的支持,核心難點(diǎn)在于內(nèi)存交換效率,取決于底層 GPU 內(nèi)存容量。以英特爾為例,從 2017 年 V100的 32GB 內(nèi)存到 2020 年 A100 的 80GB 內(nèi)存,GPU 內(nèi)存容量的提升量級(jí)與模型參數(shù)相比顯然不在同一量級(jí)。而 ChatGPT 的解決方法,則是與微軟聯(lián)手,借助 Azure 強(qiáng)大的基礎(chǔ)算力設(shè)施,為 ChatGPT 提供訓(xùn)練支持。

▲單一大模型的參數(shù)量快速增長(zhǎng)

2021 年 8 月,李飛飛等學(xué)者于 arXiv 發(fā)表《On the Opportunities and Risk of Foundation Models》,將大模型統(tǒng)一命名為 Foundation Models,即基礎(chǔ)模型或基石模型。此外,論文還提出基礎(chǔ)模型面臨的兩大問(wèn)題:1)同質(zhì)化。盡管基礎(chǔ)模型基于標(biāo)準(zhǔn)的深度學(xué)習(xí)和遷移學(xué)習(xí),但其規(guī)模導(dǎo)致了新能力的涌現(xiàn),其在眾多任務(wù)中的有效性激勵(lì)了同質(zhì)化的產(chǎn)生;2)特性涌現(xiàn)。盡管基礎(chǔ)模型即將被廣泛部署,但目前研究者對(duì)其如何工作、何時(shí)失效以及其涌現(xiàn)的特性衍生了何種能力尚缺乏清晰的理解。舉例來(lái)看,如機(jī)器學(xué)習(xí)的引入,使得算法從數(shù)據(jù)案例中學(xué)會(huì)了如何執(zhí)行(自動(dòng)推斷);深度學(xué)習(xí)的引入,涌現(xiàn)了用于預(yù)測(cè)的高級(jí)特征;基礎(chǔ)模型的引入,涌現(xiàn)了上下文學(xué)習(xí)等高級(jí)功能。但在這一過(guò)程中,機(jī)器學(xué)習(xí)使學(xué)習(xí)算法變得同質(zhì)化(例如,邏輯回歸),深度學(xué)習(xí)使模型架構(gòu)同質(zhì)化(例如,卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)),大模型使得下游模型同質(zhì)化(例如,下游模型一定會(huì)繼承上游模型缺陷)。

從本質(zhì)上來(lái)說(shuō),上下游模型同質(zhì)化的問(wèn)題無(wú)法被完全解決,OpenAI 選擇的方向是盡可能填補(bǔ)缺陷漏洞。從 GPT-3.5版本開(kāi)始,OpenAI 團(tuán)隊(duì)在模型中引入了監(jiān)督學(xué)習(xí)過(guò)程。在監(jiān)督學(xué)習(xí)模式下,人類(lèi)反饋機(jī)制開(kāi)始加入到模型訓(xùn)練過(guò)程,從而不斷糾正模型生成結(jié)果,逐步提升輸出結(jié)果的準(zhǔn)確性和真實(shí)性。隨著大模型朝著越來(lái)越符合人類(lèi)期望的方向演進(jìn),對(duì)話邏輯和表達(dá)方式逐漸逼近人類(lèi)水平,才最終達(dá)到我們今天所看到的樣子。

▲基礎(chǔ)模型帶來(lái)特性涌現(xiàn)和模型同質(zhì)化

通過(guò)拆解單一大模型的原理、特征及發(fā)展歷程,我們發(fā)現(xiàn)單一大模型的引入,是 ChatGPT 強(qiáng)大語(yǔ)言的根本來(lái)源。展望未來(lái),我們認(rèn)為ChatGPT 或?qū)⒃诖竽P图映窒录铀俚饕驗(yàn)椋?)大模型訓(xùn)練效果取決于數(shù)據(jù)量,目前 ChatGPT 僅使用 2021 年之前的數(shù)據(jù),隨著更多數(shù)據(jù)的加入,模型底層語(yǔ)言能力有望進(jìn)一步加強(qiáng);2)大模型具備能力遷移潛力,垂直領(lǐng)域應(yīng)用或?qū)⒓铀?ChatGPT 進(jìn)化;3)OpenAI 背靠微軟,大算力資源為模型演進(jìn)提供保障;4)隨著軟件用戶規(guī)模持續(xù)擴(kuò)張,用戶自身的反饋又會(huì)帶來(lái)類(lèi)似監(jiān)督學(xué)習(xí)的效果,或?qū)?dòng) ChatGPT 加速迭代?;诖?,看好 AI 大模型及 ChatGPT 未來(lái)應(yīng)用前景,商業(yè)化落地或?qū)⒓涌臁?/p>

維度二:預(yù)訓(xùn)練語(yǔ)言模型。拆解模型來(lái)看,主要關(guān)注預(yù)訓(xùn)練語(yǔ)言模型和 Transformer 特征抽取器。前面討論了ChatGPT 背后所使用的 AI 大模型及其迭代過(guò)程,但如果我們將拆解動(dòng)作繼續(xù)深入,在更細(xì)顆粒度的視角下,其實(shí)可以將訓(xùn)練模型做進(jìn)一步的拆解。實(shí)際上,GPT(General Pre-Training)即通用預(yù)訓(xùn)練語(yǔ)言模型,簡(jiǎn)單來(lái)說(shuō)就是一種利用 Transformer 作為特征抽取器,基于語(yǔ)言模型進(jìn)行預(yù)訓(xùn)練的模型。因此,接下來(lái)我們從模型的兩個(gè)關(guān)鍵特征出發(fā),分別從預(yù)訓(xùn)練語(yǔ)言模型和 Transformer 特征抽取器的角度來(lái)分析 GPT 模型的迭代過(guò)程。

預(yù)訓(xùn)練語(yǔ)言模型無(wú)需人工標(biāo)簽,為 NLP 研究帶來(lái)質(zhì)變。預(yù)訓(xùn)練屬于遷移學(xué)習(xí)的范疇,其思想是在利用標(biāo)注數(shù)據(jù)之前,先利用無(wú)標(biāo)注的數(shù)據(jù),即純文本數(shù)據(jù)訓(xùn)練模型,從而使模型能夠?qū)W到一些潛在的跟標(biāo)注無(wú)關(guān)的知識(shí),最終在具體的任務(wù)上,預(yù)訓(xùn)練模型就可以利用大量的無(wú)標(biāo)注數(shù)據(jù)知識(shí),標(biāo)志著自然語(yǔ)言處理模型進(jìn)入了大規(guī)模復(fù)制階段。從實(shí)現(xiàn)原理上來(lái)看,預(yù)訓(xùn)練語(yǔ)言模型是通過(guò)計(jì)算某個(gè)詞句 w 的出現(xiàn)概率,即 p(W),在給定詞句的情況下,可以自行計(jì)算出后一個(gè)詞或句出現(xiàn)的概率。因此,GPT 的訓(xùn)練可以在無(wú)人工標(biāo)簽的基礎(chǔ)上進(jìn)行,通過(guò)連續(xù)不斷地預(yù)測(cè)、迭代參數(shù)、再預(yù)測(cè),模型最終實(shí)現(xiàn)語(yǔ)言能力的學(xué)習(xí)。

在大多數(shù)基于統(tǒng)計(jì)方法和神經(jīng)網(wǎng)絡(luò)的自然語(yǔ)言處理模型中都需要大量已標(biāo)注的數(shù)據(jù)集來(lái)滿足模型訓(xùn)練,但并非所有的訓(xùn)練任務(wù)都能獲取足夠的標(biāo)注信息。同時(shí),隨著模型復(fù)雜度和參數(shù)數(shù)量的增加,大多數(shù)數(shù)據(jù)集的大小難以支持訓(xùn)練。而預(yù)訓(xùn)練模型能先通過(guò)利用無(wú)標(biāo)注的數(shù)據(jù)訓(xùn)練模型,解決傳統(tǒng)模型無(wú)法解決的實(shí)際問(wèn)題。而且由于預(yù)訓(xùn)練語(yǔ)言模型可以利用現(xiàn)實(shí)世界中大量的純文本數(shù)據(jù)訓(xùn)練,擴(kuò)大了其訓(xùn)練范圍和規(guī)模,擁有發(fā)掘大模型(Foundation Models)的潛力。

第一代預(yù)訓(xùn)練模型是靜態(tài)詞向量模型,經(jīng)訓(xùn)練給每一個(gè)詞賦予靜態(tài)詞向量,讓相似的詞聚集在一起,實(shí)現(xiàn)了符號(hào)空間到向量空間的映射,經(jīng)典結(jié)構(gòu)有 Continuous Bag-of-Words(CBOW)和 Skip-Gram(SG)等。而由于第一代模型的詞向量靜態(tài)性,使其不能結(jié)合上下文,進(jìn)而有無(wú)法分辯同義詞等缺陷。最新的第二代預(yù)訓(xùn)練模型,包括 BERT、GPT 等則在此基礎(chǔ)上允許靜態(tài)詞向量與上下文交互,這種動(dòng)態(tài)詞向量?jī)?yōu)化了同義詞問(wèn)題。目前,第二代預(yù)訓(xùn)練模型的標(biāo)準(zhǔn)范式是“預(yù)訓(xùn)練+微調(diào)”:首先在大量的文本上訓(xùn)練出一個(gè)預(yù)訓(xùn)練語(yǔ)言模型,再根據(jù)實(shí)際情況對(duì)得到的預(yù)訓(xùn)練語(yǔ)言模型進(jìn)行微調(diào),加強(qiáng)了模型對(duì)下游應(yīng)用場(chǎng)景的契合度。

維度三:Transformer 特征抽取器。Transformer 是大模型高效運(yùn)行的根基。前面我們從單一大模型出發(fā),對(duì)預(yù)訓(xùn)練語(yǔ)言模型進(jìn)行了 。但如果我們繼續(xù)深入,會(huì)發(fā)現(xiàn)語(yǔ)言模型仍然不是 GPT 模型的最底層,語(yǔ)言模型之下還需要有具體的調(diào)度架構(gòu)和運(yùn)算邏輯,來(lái)實(shí)現(xiàn)最終的計(jì)算。我們認(rèn)為,Transformer特征抽取器在 GPT 模型中,就承擔(dān)了這樣的一個(gè)角色,直接決定了 AI 大模型能否實(shí)現(xiàn)高效率的運(yùn)算和學(xué)習(xí)。

Transformer 模型最早由谷歌在 2017 年提出,屬于深度學(xué)習(xí)模型架構(gòu)的一種,特點(diǎn)是在學(xué)習(xí)中引入了注意力機(jī)制。對(duì)比循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)來(lái)看,Transformer 與 RNN 均對(duì)輸入數(shù)據(jù),如自然語(yǔ)言等,進(jìn)行順序處理,并主要應(yīng)用于翻譯和文本摘要等工作。但 Transformer 與 RNN 不同的是,Transformer 中的注意機(jī)制可以為輸入序列中的任何字符提供上下文,因此可以一次處理所有輸入,而不是一次只處理一個(gè)詞。因此,與 RNN 相比,Transformer 可以實(shí)現(xiàn)更大規(guī)模的并行計(jì)算,大大減少了模型訓(xùn)練時(shí)間,使得大規(guī)模 AI 模型得以被應(yīng)用。

▲Transformer 解碼模塊拆解

在 GPT 模型中,解碼模塊相當(dāng)于基本架構(gòu)單元,通過(guò)彼此堆疊的方式,拼湊成最終我們看到的 GPT 模型底層架構(gòu)。這里有兩個(gè)值得關(guān)注的要點(diǎn):1)解碼模塊的數(shù)量決定了模型的規(guī)模,GPT-1 一般有 12 個(gè)模塊,GPT-2有 48 個(gè),GPT-3 則有 96 個(gè)模塊;2)針對(duì)模塊輸出的結(jié)果還需要進(jìn)行 Finetune(對(duì)模型進(jìn)行調(diào)優(yōu))。

▲解碼模塊堆疊形成 GPT 模型完整架構(gòu)

03.生成式AI應(yīng)用于創(chuàng)造性工作

AI 可分為生成式 AI 和分析型 AI,其中分析型 AI(Analytical AI),主要在給定數(shù)據(jù)的情況下,通過(guò)分析找出規(guī)律和關(guān)系,并在此基礎(chǔ)上生成報(bào)告或給出建議。比如通過(guò)追蹤客戶行為以刻畫(huà)用戶畫(huà)像,并基于此進(jìn)行個(gè)性化推薦,實(shí)現(xiàn)精準(zhǔn)營(yíng)銷(xiāo);通過(guò)收集城市中傳感器的大量數(shù)據(jù)并分析,預(yù)測(cè)天氣及環(huán)境污染情況,從而幫助相關(guān)部門(mén)進(jìn)行政策制定。不同于分析型 AI 局限于分析已有內(nèi)容,生成式 AI(Generative AI)可以通過(guò)學(xué)習(xí)已有數(shù)據(jù)和信息生成多種形式的新的內(nèi)容,在創(chuàng)造性工作的領(lǐng)域進(jìn)行應(yīng)用,目前生成式 AI 的應(yīng)用主要包括生成文本、圖像、對(duì)話、音視頻、代碼、3D 等。

▲生成型 AI 應(yīng)用領(lǐng)域

ChatGPT 通過(guò)學(xué)習(xí)大量語(yǔ)料并通過(guò)生成模型生成文本回答,其基礎(chǔ) GPT-3 是一個(gè)大型語(yǔ)言模型。該模型通過(guò)對(duì)大量語(yǔ)料的預(yù)訓(xùn)練,學(xué)習(xí)了語(yǔ)言的語(yǔ)法、語(yǔ)義、語(yǔ)用等特征,并通過(guò)對(duì)語(yǔ)言的生成任務(wù)進(jìn)行微調(diào),以適應(yīng)各種應(yīng)用場(chǎng)景。目前,除了 ChatGPT 外,有大量 AIGC 應(yīng)用產(chǎn)品基于 GPT-3 模型。

▲基于 GPT-3 的 AI 產(chǎn)品

據(jù)各公司官網(wǎng),ChatGPT 從 0 到 100 萬(wàn)用戶數(shù)僅花費(fèi) 5 天,速度遠(yuǎn)超其他平臺(tái)。從活躍用戶角度,據(jù)Similarweb,2023 年 1 月期間,ChatGPT 平均每天約有 1300 萬(wàn)獨(dú)立訪客,超出 22 年 12月一倍。用戶數(shù)量的快速擴(kuò)大反映了 ChatGPT 具備較強(qiáng)的商業(yè)化潛力。

▲ChatGPT 從 0 到 100 萬(wàn)用戶速度遠(yuǎn)超其他平臺(tái)

AIGC(AI Generated Content)指由人工智能生成的內(nèi)容,包括文本、圖像、音頻、3D 等多種類(lèi)型,具有高效及自動(dòng)化生產(chǎn)的特點(diǎn)。近年來(lái)谷歌、亞馬遜、百度等國(guó)內(nèi)外巨頭持續(xù)布局 AIGC。2014 年,谷歌以超 5 億美元的價(jià)格收購(gòu)人工智能公司 DeepMind;2023 年 3 月,谷歌宣布向人工智能初創(chuàng)公司 Anthropic 投資約 3 億美元,建立新的合作伙伴關(guān)系;2022 年 11 月,亞馬遜宣布與 AI 制圖平臺(tái) Stability AI 合作,成為其首選云合作伙伴,同時(shí)為其提供亞馬遜 Tradium 芯片;2021 年 4 月,華為諾亞方舟實(shí)驗(yàn)室聯(lián)合多部門(mén)推出首個(gè) 2000 億參數(shù)中文預(yù)訓(xùn)練模型盤(pán)古α;2023 年 2 月,百度官宣類(lèi) ChatGPT 大模型新項(xiàng)目文心一言(英文名 ERNIE Bot)。

▲AIGC 領(lǐng)域產(chǎn)品

微軟發(fā)布基于 OpenAI 模型的全新搜索引擎 Bing 和 Edge 瀏覽器。在 FY23Q2 電話會(huì)議上,微軟表示將增加對(duì) ChatGPT 的支持,使得客戶能夠很快在自己的應(yīng)用程序上調(diào)用它。隨后,公司宣布擴(kuò)大與 OpenAI 的合作伙伴關(guān)系,將向 OpenAI 進(jìn)行一項(xiàng)為期多年、價(jià)值數(shù)十億美元的投資,以加速其在人工智能領(lǐng)域的技術(shù)突破。2 月 7 日,公司召開(kāi)發(fā)布會(huì)推出基于新的 OpenAI 模型搜索引擎 Bing 和 Edge 瀏覽器,將搜索、瀏覽器、聊天功能結(jié)合起來(lái),用戶既可以選擇傳統(tǒng)搜索結(jié)果與聊天對(duì)話框并排顯示,也可以選擇直接與聊天機(jī)器人進(jìn)行對(duì)話。在新版的 Bing 之下,用戶搜索直接給出答案,而非網(wǎng)頁(yè)鏈接,結(jié)果相關(guān)性更強(qiáng)、更加智能化。目前新版 Bing 已經(jīng)開(kāi)放有限預(yù)覽,預(yù)計(jì)在未來(lái)幾周推出移動(dòng)版本。

谷歌、百度積極跟進(jìn),商業(yè)應(yīng)用有望加速。1 月 27 日,美國(guó)數(shù)字媒體公司 BuzzFeed 率先宣布計(jì)劃使用 OpenAI 提供的技術(shù)來(lái)協(xié)助創(chuàng)作個(gè)性化內(nèi)容。谷歌方面,近期向 OpenAI競(jìng)爭(zhēng)對(duì)手之一的 Anthropic 投資約 3 億美元,獲得該公司 10%股份,Anthropic 將用投資從谷歌的云計(jì)算部門(mén)購(gòu)買(mǎi)大量計(jì)算資源;2 月 6 日,谷歌透露計(jì)劃推出一款聊天機(jī)器人 Bard 以應(yīng)對(duì) ChatGPT,該服務(wù)將開(kāi)放給受信任的測(cè)試人員,并在未來(lái)的幾周向更廣泛的公眾開(kāi)放服務(wù)。百度方面,2 月 7 日宣布將推出類(lèi) ChatGPT 項(xiàng)目文心一言(英文名為ERNIE Bot),預(yù)計(jì)將在 3 月份完成內(nèi)測(cè),面向公眾開(kāi)放。隨著微軟將 ChatGPT 整合至自身產(chǎn)品中,谷歌、百度等 AI 領(lǐng)軍企業(yè)也宣布推出聊天機(jī)器人,未來(lái)有望將聊天機(jī)器人整合至搜索引擎甚至辦公軟件等業(yè)務(wù)當(dāng)中,商業(yè)化應(yīng)用有望加速落地。

智東西認(rèn)為,ChatGPT的正式發(fā)布,標(biāo)志著人工智能再也不是“人工智障”。隨著 AI 與下游場(chǎng)景加快融合,同時(shí)疊加政策對(duì)行業(yè)支持,國(guó)內(nèi) AI 市場(chǎng)規(guī)模有望持續(xù)高增。到 2026 年,我國(guó)人工智能核心產(chǎn)業(yè)規(guī)模有望達(dá)到 6,050 億元,20-26 年復(fù)合增速為 25.01%;并由此帶動(dòng)的相關(guān)產(chǎn)業(yè)規(guī)模將超過(guò) 2 萬(wàn)億元。

本文為轉(zhuǎn)載內(nèi)容,授權(quán)事宜請(qǐng)聯(lián)系原著作權(quán)人。