文｜光錐智能 周文斌

編輯｜王一粟

GPT-4驚艷亮相后，壓力來到百度這邊。

上臺后的李彥宏和百度CTO王海峰都略顯緊張，這在多年百度相關活動中還是非常少見。李彥宏坦言，“文心一言對標ChatGPT、甚至是對標GPT-4，門檻是很高的。我自己測試感覺還是有很多不完美的地方?！?/p>

文心一言是一個大語言模型、生成式AI產(chǎn)品，發(fā)布會上演示了五個使用場景中的綜合能力。其中，文學創(chuàng)作、商業(yè)文案創(chuàng)作、數(shù)理推算是大語言模型常見的能力，在此基礎上，中文理解及多模態(tài)生成能力更能體現(xiàn)技術水平。

到今日晚間，「光錐智能」拿到文心一言的內(nèi)測邀請碼，在提出多個問題測試之后我們發(fā)現(xiàn)，文心一言與New Bing雖然有差距，但整體要比預期更好。比如在為商業(yè)訪談類欄目起名、對洛希極限的解釋上都十分完整。但同時也存在一些不足，比如在計算“同時抽水和放水”的數(shù)學問題時，文心一言就出現(xiàn)了審題錯誤。

金玉在前，百度在文心一言發(fā)布會召開后，無論是產(chǎn)品口碑，還是股價表現(xiàn)，短期內(nèi)一定會有壓力。畢竟，世界上還只有一個OpenAI。

面對如此大的壓力，李彥宏回應了為什么依然要在3月16日公開發(fā)布的原因：第一是市場需求，無論是百度的產(chǎn)品，還是客戶，都有需求。第二是收集反饋，“一旦有了真實的人類反饋，文心一言的進步速度會非?？欤覀兌枷Ｍ禳c成長”。

事實上，在ChatGPT驚艷亮相之前，GPT的1～3版本，都是在長期低調(diào)開源測試后，才達到了后面的結果。

短期表現(xiàn)和長期價值還是有所不同，拋開情緒，我們更關心，文心一言和GPT-4在技術上有哪些相同和不同？模型真的是越大越好嗎？利用大模型的產(chǎn)業(yè)化之路，應該怎么走？

01 “文心一言”對線“GPT-4”

文心一言在發(fā)布會上相對出彩的展示，莫過于多模態(tài)生成。

在發(fā)布會上，李彥宏先是讓文心一言為2023智能交通大會生成了一張海報，然后又讓其撰寫了一段關于智能交通的文字，并讓其用四川話讀出來，最后還讓文心一言用這些素材生成了一段視頻。

昨天，在GPT-4的發(fā)布會上，Open AI總裁和聯(lián)合創(chuàng)始人Greg Brockman展示了GPT-4基于一張草圖生成網(wǎng)站的過程，讓許多人知道了大模型單模態(tài)與多模態(tài)的區(qū)別。

GPT-4是一個典型的多模態(tài)預訓練模型，它能夠支持圖像和文本的輸入，然后以文本的方式輸出。而文心一言展示的則是以文本的方式輸入，以文本、語音、圖像和視頻的方式輸出。

輸入和輸出其實具有本質(zhì)上的區(qū)別。

有AI開發(fā)從業(yè)者向光錐智能表示，多模態(tài)輸出其實并不難，難的是輸入。比如輸出語音，不過是先輸出文字然后再加一個TTS技術，已經(jīng)很成熟了。

而多模態(tài)輸入，則需要大模型真正“長出眼睛”讀懂圖片意思，需要在預訓練階段就將圖片和圖片標注信息放入訓練數(shù)據(jù)中。

比如這次GPT-4令人驚艷的強大，就表現(xiàn)在圖片理解上。

給到一個物理題的照片，GPT-4能夠讀懂題目然后解答。

GPT-4還能識別圖片中的幽默部分，比如給GPT-4一個長相奇怪的充電器的圖片，問為什么這很可笑？GPT-4能回答說，因為VGA線充iPhone。

但無論怎么說，從GPT-4到文心一言都在說明李彥宏的那句話，“多模態(tài)是生成式AI一個明確的發(fā)展趨勢。”

據(jù)王海峰介紹，文心一言主要脫胎于兩大模型，百度ERNIE系列知識增強千億大模型，以及百度大規(guī)模開放域對話模型PLATO。

此基礎上，主要采用了六項核心技術，包括監(jiān)督精調(diào)、人類反饋強化學習（RLHF）、提示構建、知識增強、檢索增強和對話增強技術。

其中，人類反饋強化學習是目前大模型訓練中普遍應用到的技術，ChatGPT能夠在GPT-3的基礎上產(chǎn)生質(zhì)變，成為跨時代的產(chǎn)品，很大程度上依賴于此。

這些技術中具有百度特色的主要是知識增強、檢索增強和對話增強技術。

其中，知識增強主要包含知識內(nèi)化和知識外用兩部分，知識內(nèi)化又包括語義學習和數(shù)據(jù)構造，知識外用則包含知識推理和提示構架。

這些技術又都基于百度的知識圖譜。所謂知識圖譜是一個宏大的數(shù)據(jù)模型，是指一個由世間萬物構成的“實體”以及他們之間的“關系”構建起來的龐大“知識”網(wǎng)絡。

百度CTO王海峰曾介紹，“百度構建了世界上最大規(guī)模的知識圖譜，擁有超過50億實體，5500億事實，能夠通過語言、聽覺、視覺等獲得對世界的統(tǒng)一認知，突破了實際應用中場景復雜多變、數(shù)據(jù)稀缺等難題。”

在這個知識圖譜中，除了基礎的通用圖譜之外，百度還針對不同的應用場景和知識形態(tài)，構建了事件圖譜、多媒體圖譜、行業(yè)知識圖譜等多種圖譜。

檢索增強則與百度在搜索引擎上的技術積累有關，簡單理解就是，當用戶問出一個問題后，文心一言會先通過搜索引擎將知識都檢索一遍，然后再篩選整合其中有用的信息作為輸出。

最后的對話理解，則包含百度積累的記憶機制，上下文理解，對話規(guī)劃等等。

除了基礎技術架構，百度并沒有公布模型結構和參數(shù)，而是花了大量的時間用來解釋自己在文心大模型、產(chǎn)業(yè)大模型、AI技術四層構架上的布局。

由于這都是此前積累的能力，因此這次文心一言的發(fā)布，不像是百度研發(fā)了一個新產(chǎn)品和新技術，更像是百度將之前所有的工作打包，以文心一言的方式整合輸出。所以，我們會在文心一言里看到文心一格的圖片生成，會看到已經(jīng)在百家號應用的自動圖文轉視頻的功能。

就像李彥宏提到的一樣，“從某種意義上說，我們已經(jīng)為此準備了多年，十幾年前就開始投入AI研究，2019年就推出了文心大語言模型，今天的文心一言是過去多年努力的延續(xù)。”

02 摸著OpenAI過河，讓“涌現(xiàn)現(xiàn)象”更有效率發(fā)生

雖然除了OpenAI，其他的公司目前都是others，但大家都在摸著GPT過河，在尋找更優(yōu)質(zhì)的模型方案。中國公司也一直在積極探索相應大模型的研發(fā)和應用，并總結出了許多“中國經(jīng)驗”。

什么樣的模型是一個好模型？模型真的是越大越好嗎？

要回答這個問題，得先理解，ChatGPT和GPT-4能表現(xiàn)出類人的圖片和語言理解能力，就是因為“涌現(xiàn)現(xiàn)象”，說得通俗一點，就是“開竅了”。

涌現(xiàn)現(xiàn)象，是指在當大模型的數(shù)規(guī)模達到一定程度時，其解決問題的能力就會發(fā)生突變。大模型能力的提升，很大程度上依賴于這種涌現(xiàn)能力，也就是“大力出奇跡”。所以，現(xiàn)在模型規(guī)模被越做越大，一定程度上因為大家想要通過增大參數(shù)規(guī)模來獲得更多的涌現(xiàn)能力。

目前這一能力通常在百億、千億級別的參數(shù)區(qū)間出現(xiàn)?！暗唧w多少參數(shù)能夠出現(xiàn)涌現(xiàn)現(xiàn)象，也與具體任務、具體模型有關，某些任務13B規(guī)模即可，有些任務需要540B，大部分要達到70B。”新浪新技術研發(fā)負責人張俊林提到。

但模型做大之后，卻又帶來產(chǎn)業(yè)落地方面的問題。比如更大的模型通常意味著更大的算力消耗，更高的部署成本，這讓一些垂類領域，如學校，醫(yī)院等場景很難負擔得起。

因此，在產(chǎn)生“涌現(xiàn)能力”的閾值后，如何將模型做“小”反而是產(chǎn)業(yè)落地的一個重要課題，并且也是技術發(fā)展的一個重要方向。

那么問題來了，如何既將模型做小，又能保證涌現(xiàn)能力呢？

張俊林提到幾個例子，比如DeepMind發(fā)布的Chinchilla和Meta發(fā)布的LLaMA，其中Chinchilla的模型規(guī)模只有70B，LLaMA的模型規(guī)模在7B到65B之間，都是目前規(guī)模相對較小的模型。

而從實驗結果上看，即使模型規(guī)模相對較小也同樣可以具備涌現(xiàn)能力，但前提是增加更多的訓練數(shù)據(jù)量。以Chinchilla為例，其對標的模型規(guī)模是280B是Gopher，而Chinchilla能夠以70B的參數(shù)規(guī)模做出同樣的效果，代價是將訓練數(shù)據(jù)提升了4倍。

因此，張俊林認為：“減小模型大小增加訓練數(shù)據(jù)數(shù)量，可能不影響小模型的涌現(xiàn)能力?！边@成為做小模型的一個前提。“在這樣的基礎上，我們或許可以先做小，再做大?！?/p>

在解決了涌現(xiàn)能力之外，將模型做小的另一個原因在于，現(xiàn)在大模型的許多參數(shù)其實并沒有被有效利用。

DeepMind在2022年的一個研究中提到，在給定總計算量不變的情況下，模型訓練Loss在模型參數(shù)量和訓練數(shù)據(jù)量的變化存在一個最優(yōu)的平衡點。

該研究給出了三種最優(yōu)計算方式，并且比較了GPT-3等千億模型，發(fā)現(xiàn)它們都沒有達到理論上的最優(yōu)點，這意味著GPT-3龐大的數(shù)據(jù)其實并沒有被充分利用。

達觀數(shù)據(jù)董事長CEO陳運文認為，當下的千億參數(shù)模型可能只發(fā)揮了百億模型的理論效果，一些參數(shù)可能被浪費了。換句話說，千億規(guī)模的大模型其實是可以壓縮，并做得更小的。

Meta在這方面就曾做過嘗試，2023年Meta推出百億規(guī)模的模型LLaMA，雖然參數(shù)規(guī)模只有百億，不到GPT-3的十分之一，但通過實驗顯示在下游任務中的表現(xiàn)好于GPT-3等千億規(guī)模的模型。這其中的關鍵在于，Meta使用了1.4萬億Token，是GPT-3的近4.7倍。

所以陳運文也認為，“整體來看盡管模型的參數(shù)規(guī)模越大越好，但性價比更高的參數(shù)規(guī)模方案仍然值得探索?！?/p>

除了將“大”模型做“小”更利于產(chǎn)業(yè)落地之外，通過更新指令學習方法，用更小的樣本獲得更好的學習效果也是目前國內(nèi)在探索的方向。

做這樣的探索也和目前中文產(chǎn)業(yè)面臨的客觀環(huán)境有關。一方面，中文數(shù)據(jù)在整個互聯(lián)網(wǎng)中的占比本身就比較小，僅有5%左右。另一方面，即使數(shù)量龐大的英文數(shù)據(jù)在模型爆炸的今天也面臨著即將被耗盡的問題。

有研究預計，互聯(lián)網(wǎng)上可用的數(shù)據(jù)資源很有可能會被耗盡，其中高質(zhì)量的語言數(shù)據(jù)大約在2026年耗盡，低質(zhì)量語言數(shù)據(jù)大約在2050年耗盡，視覺圖像數(shù)據(jù)也將在2060年耗盡。

因此，如何提高數(shù)據(jù)的利用效率成為一個重要的課題。

目前，AI大模型的理解能力主要來源于兩個方面，即“預訓練+參數(shù)微調(diào)”以及“預訓練+提示學習”，這兩個學習方式各有優(yōu)劣。

其中“預訓練+參數(shù)微調(diào)”會面臨資源占用過多，過擬合問題嚴重，缺乏通用能力等問題。而提示學習也有單一的外部提示信號難以最大限度地激發(fā)預訓練大模型的能力，從而高質(zhì)量地完成具體任務的問題。

在這樣的背景下，行業(yè)提出了從提示學習到指令學習的改變。

所謂指令學習，是指通過若干任務相關提示增強來監(jiān)督數(shù)據(jù)，優(yōu)化模型參數(shù)。即通過參數(shù)微調(diào)提升多任務執(zhí)行效果，利用提示語出發(fā)模型執(zhí)行特定任務。

其核心在于，它仍然像微調(diào)一樣調(diào)整其中的參數(shù)來使大模型適應不同的任務，但調(diào)整完成之后的模型是一樣的，所有的任務都可以對應一個模型。

有了這樣的調(diào)整，對大模型的訓練效率就會提升。

比如在Google的一個案例中，他們在62個數(shù)據(jù)集中的40個任務進行訓練。但模型參數(shù)達到百億規(guī)模之后，這幾十個參數(shù)的聯(lián)合指令學習卻可以解決許多之前未訓練的問題。

在這之前，大家普遍應用的是多任務學習，即學習一個任務解決一個任務，沒有學習過的任務就沒法解決。而在這之后，一些之前沒有訓練過的任務也能夠被解決，即大模型的通用能力在增強。

但要實現(xiàn)這個問題，找到合適的指令就變得非常重要，畢竟不同的任務、不同的樣本、用什么樣的提示語才能獲得更好結果是需要去嘗試的。

這也是OpenAI選擇免費開放ChatGPT的一個重要原因，因為它需要通過這種方式收集全球的問題指令，來完成大模型的進一步優(yōu)化。

李彥宏也在文心一言發(fā)布會上提到，之所以選擇在這個時候發(fā)布文心一言，除了許多業(yè)務和客戶需要這項技術外，也因為文心一言本身需要通過用戶使用來收集數(shù)據(jù)。

針對這個場景，中科院自動化所就提出，能不能通過機器自動去尋找這些提示語，讓整個模型的效果變得更好。因此他們提出了統(tǒng)一的提示語學習方法，可以同時建模任務級信息和樣本級信息。

這種學習方法的優(yōu)勢在于，它可以為每個任務學習以一個提示，為任務中的每個樣本學習一個提示，然后將兩類提示信息進行融合，獲得最佳提示。

通過統(tǒng)一提示學習方法，中科院自動化研究所的SuperGLEU標準數(shù)據(jù)集上取得少樣本學習的最佳平均性能。

其中，在單任務和句子分析上，Dyanmic-UPL獲得了83.2分，GPT-3則是70分。而在雙任務和雙句子的分析上，Dyanmic-UPL獲得70分，GPT-3是49.8分。

 

03 得到一個好答案，不如提出一個好問題

GPT-4依然在不斷突破著人們對AI認知的可能性，對意圖理解的高度提升，并且不僅停留在語言上，更升維到圖像里。另外，它還擁有幾乎全能的專業(yè)和職業(yè)技巧，人類生物腦無法比擬的數(shù)據(jù)存儲容量、進化速度。

這幾點加起來，就非?？膳?。有網(wǎng)友就貼出了一張ChatGPT回答的圖片：

興奮之后，技術進步帶來的總是焦慮。

18世紀60年代，當珍妮機大規(guī)模進入工廠拉開第一次工業(yè)革命的大幕時，就曾有大批紡織工人聚集起來，將制作好的“珍妮機”通通搗毀。兩百多年后的今天，當ChatGPT風靡全球之后，人們爭相討論的焦點仍然是“誰將會被替代”的問題。

但實際上，“GPT”們要全面替代人可能并不容易。

我們會看到，ChatGPT能夠寫作，能夠做規(guī)劃，甚至能自動編程、Stable Diffusion能夠完成AI繪畫，以及各種能自動生成周報，能寫詩的大模型和產(chǎn)品層出不窮。

但這些強大的能力背后仍然需要人去操作，這其中甚至需要人具備更多的專業(yè)知識。

比如在下面這張圖片生成中，創(chuàng)作者對AI的創(chuàng)作進行了詳細的規(guī)劃，包括風格、眼睛、衣服、甚至光線。

在這樣的限制下，AI就能發(fā)揮出比較穩(wěn)定的結果，生成出高水平的作品。而這些詞匯，在大模型的生成訓練中被稱為“提示詞”，提示詞越準確生成的結果越好。

從光錐智能獲得的一份關于AI繪畫的提示詞中可以看到，其中涉及到許多專業(yè)詞匯，比如東方山水畫、日本浮世繪、抽象風、墨水渲染、概念藝術、哥特式黑暗等等。

可以看到，對這些詞匯背后的含義，用在繪畫上的效果以及如何搭配更富有美感，非專業(yè)人士其實并不容易掌握。

再以編程為例，普通人確實可以隨機讓ChatGPT編寫一條程序，但面對復雜APP時，什么樣的提示詞能夠獲得最優(yōu)的代碼，系統(tǒng)整體代碼需要如何架構、程序如何編寫運行更有效率、AI生成的程序是否存在錯誤等等，這些也并非普通人上手就能完成的。

也就是說，雖然GPT這類的大模型降低了許多工作的門檻，但這些工作的上限并沒有改變。即普通人能夠生成一些基礎的內(nèi)容，但要持續(xù)、穩(wěn)定、高質(zhì)量的生成專業(yè)內(nèi)容，對背后操作人員的專業(yè)性仍然具有挑戰(zhàn)。

比如在NLP大模型研發(fā)領域，由于不同提示語產(chǎn)生的結果往往差異很大，如何為每個問題尋找提示語成為難題。中科院自動化所研究員張家俊提到，現(xiàn)在行業(yè)里出現(xiàn)了一個提示工程師的職業(yè)，工作就是研究如何為每一個問題尋找最佳的提示語。

也就是說，在大模型應用之后，許多人的工作不是被替代掉了，而是轉變了工作性質(zhì)和工作方式。比如畫師從具體動手畫一幅畫轉變成提出想法、豐富細節(jié)，然后讓AI去做執(zhí)行。

而這個過程本質(zhì)上是AI在作為一種工具去提高勞動者的勞動效率。但同時，也是AI在反向給人類工作者提出更高的要求，即在AI能夠將一些想法直接變成現(xiàn)實的背景下，相比于給出一個好的答案，不如提出一個好的問題。

正如李彥宏在文心一言發(fā)布會上提到的，隨著大模型的使用，腦力工作者的效率會有4倍的提升，許多人的工作性質(zhì)會發(fā)生不可逆轉的改變。

但不可否認的是，隨著大模型的普及，大多數(shù)的現(xiàn)有工作和崗位配置的價值定位都需要重新思考。同時我們對于人才培養(yǎng)的標準、篩選模式都需要重新構建。

畢竟GPT-4在考試中已經(jīng)能夠超過80%~90%的學生，如果僅僅依靠考試成績來篩選人才，那對于大多數(shù)崗位來說，不如選擇AI。

所以，在AI席卷的未來，人類工作者如何找到新的定位，不僅是某一個人的問題，也是整個社會的問題。

我們原本以為人工智能發(fā)展之后，優(yōu)先替代的會是簡單重復勞動，但技術人意外的是，它優(yōu)先替代的卻是有創(chuàng)造性卻又不那么強的崗位。

所以，至少目前而言，那些月薪幾萬的崗位可能會被替代，但你月薪3000搬磚的崗位暫時會比較牢靠。

畢竟，AI大模型也是有成本的，它可比你貴多了（Dog）。