文|盒飯財經(jīng) 趙晉杰
編輯|王靖
立志研發(fā)通用大模型底座的李開復,正在陷入一場套殼Meta開源大模型LLaMA的質疑之中。
近期,今年3月份從阿里離職投身AI大模型創(chuàng)業(yè)的賈揚清爆料稱,在幫助海外客戶適配國內(nèi)某一新模型中,被朋友告知該模型用的其實是LLaMA架構,僅在代碼中更改了幾個變量名。
盡管賈揚清并未點出開發(fā)上述新模型的具體公司名稱,但種種跡象都指向了李開復的零一萬物。11月6日,零一萬物剛剛發(fā)布了“Yi”系列開源大模型——Yi-34B和Yi-6B。
針對外界質疑,11月15日,零一萬物在回應盒飯財經(jīng)中承認,在訓練模型過程中,沿用了 GPT/LLaMA的基本架構,但“就零一萬物的觀察和分析,大模型社區(qū)在技術架構方面現(xiàn)在是一個處于接近往通用化逐步收攏的階段,基本上國際主流大模型都是基于Transformer的架構……國內(nèi)已發(fā)布的開源模型也絕大多數(shù)采用漸成行業(yè)標準的GPT/LLaMA的架構?!?/p>
如果把模型訓練過程比做一道菜,“架構只是決定了做菜的原材料和大致步驟……要訓練出好的模型,還需要更好的‘ 原材料’(數(shù)據(jù))和對每一個步驟細節(jié)的把控(訓練方法和具體參數(shù))。”零一萬物進一步解釋道。
在賈揚清站出來爆料之前,有關零一萬物模仿LLaMA架構的指控已經(jīng)開始在開源社區(qū)內(nèi)發(fā)酵。
9天前,convai高級人工智能應用專家埃里克·哈特福德在Huggingface上發(fā)帖稱,“Yi-34B 模型基本采用了LLaMA的架構,只是重命名了兩個張量?!?/p>
8天后的11月14日,Yi 團隊開源總監(jiān)Richard Lin在該帖下回復稱,哈特福德對張量名稱的看法是正確的,零一萬物將把它們從Yi重命名為Llama。
在今天盒飯財經(jīng)收到的最新回復中,零一萬物提到:“對于沿用LLaMA部分推理代碼經(jīng)實驗更名后的疏忽,原始出發(fā)點是為了充分測試模型,并非刻意隱瞞來源。零一萬物對此提出說明,并表達誠摯的歉意,我們正在各開源平臺重新提交模型及代碼并補充LLaMA協(xié)議副本的流程中,承諾盡速完成各開源社區(qū)的版本更新?!?/p>
李開復個人在今天下午也發(fā)朋友圈對此事做了回應。
素有國內(nèi)“AI教父”之稱的李開復,在大模型浪潮中收獲外界寄予的更大期望之余,也不可避免迎來外界更嚴苛的審視。
盡管零一萬物已經(jīng)公開承認其借鑒了LLaMA架構,但并不能就此直接給李開復的大模型扣上“套殼”或者“抄襲”的帽子。
同樣開發(fā)大模型的國內(nèi)創(chuàng)業(yè)者李振告訴盒飯財經(jīng),界定某一大模型是否存在套殼行為,取決于具體的實現(xiàn)細節(jié)和底層技術。“如果零一萬物大模型使用了與Meta LLaMA相同的模型架構、訓練方法和數(shù)據(jù)集,那么它可能在某種程度上是套殼的。但是,如果它使用了不同的技術或進行了額外的改進,那么就不能簡單地說是套殼?!?/p>
根據(jù)零一萬物的聲明,其投注了大部分精力調(diào)整訓練方法、數(shù)據(jù)配比、數(shù)據(jù)工程、細節(jié)參數(shù)、baby sitting(訓練過程監(jiān)測)技巧等。
即便模型架構相似,但在不同的數(shù)據(jù)來源和數(shù)據(jù)訓練方法加持下,最終訓練出來的大模型性能依然會表現(xiàn)各異?!扒按竽P蜁r代,AI的主流是以模型為中心的單任務系統(tǒng),數(shù)據(jù)基本保持不變。進入大模型時代,算法基本保持恒定,而數(shù)據(jù)在不斷增強增大。”在產(chǎn)業(yè)專家劉飛看來,相比算法和算力,數(shù)據(jù)可能是眼下阻礙國產(chǎn)大模型追趕OpenAI步伐的更大鴻溝,“魔鬼都藏在這些數(shù)據(jù)訓練的細節(jié)里?!?/p>
尤其值得一提的是,參數(shù)量的大小與最終模型呈現(xiàn)的效果之間,兩者“投入產(chǎn)出并不成正比,而是非線性的?!比斯ぶ悄軐<叶±诒硎荆皵?shù)據(jù)多只是一個定性,更重要的是考驗團隊數(shù)據(jù)清洗的能力,否則隨著數(shù)據(jù)增多,數(shù)據(jù)干擾也將隨之變大?!?/p>
這也為新晉大模型團隊以更小參數(shù)量,在性能上反超更大參數(shù)量的模型提供了某種理論可能性。
11月6日Yi-34B預訓練模型發(fā)布后,李開復將其形容為“全球最強開源模型”,以更小模型尺寸評測超越了LLaMA2-70B、Falcon-180B等大尺寸開源模型。
Yi-34B
但隨著越來越多國產(chǎn)大模型在各類測試榜單中登頂,逐一超越業(yè)內(nèi)公認最強的GPT-4,有關這些大模型是靠實力拿下的高分,還是借助了刷榜手段,再次引發(fā)外界爭議。
知名大模型測試集C-Eval就在官網(wǎng)置頂聲明,稱評估永遠不可能是全面的,任何排行榜都可能以不健康的方式被黑客入侵,并給出了幾種常見的刷榜手法,如對強大的模型(例如GPT-4)的預測結果蒸餾、找人工標注然后蒸餾、在網(wǎng)上找到原題加入訓練集中微調(diào)模型等等。
造成國產(chǎn)大模型屢登測試榜單第一的一大客觀原因,在劉飛看來,是因為到目前為止,并沒有真正公認的客觀評判標準和方法。上一代AI的“單任務模型”有公認的數(shù)據(jù)集作為黃金標準,但在新興的大模型時代,“由于大模型多任務、開放式的新特性,變得難以預先定義,數(shù)據(jù)質量的測試既繁重,也難以全面?!眲w說。
不過,哪怕不少國產(chǎn)大模型是借鑒LLaMA架構訓練而來,其對國內(nèi)公司而言仍有不可替代的價值。
李振表示,外部公司在接入一個大模型平臺時,除了考慮模型的性能和效果外,模型的開放性和可定制性也是需要考慮的重要因素,具體到某些區(qū)域,還要特別重視數(shù)據(jù)隱私和安全合規(guī)問題。
盡管目前國內(nèi)公司可以直接接入Meta LLaMA模型,但是由于Meta LLaMA是一個國際性的大模型平臺,它需要遵守更多的國際法規(guī)和限制。此外,如果涉及到敏感領域或數(shù)據(jù),還需要獲得特定的授權或許可,甚至不排除海外開源技術隨時關停、切換高額收費或限制地區(qū)訪問的風險。因此在李振看來,相比冒險接入Meta LLaMA,國內(nèi)公司直接調(diào)用國產(chǎn)大模型是更為經(jīng)濟劃算的選擇。
通過借鑒LLaMA 基本架構,李開復的零一萬物在訓練模型速度上快速起步。
今年3月,李開復正式宣布將親自帶隊,成立一家AI2.0公司,研發(fā)通用大模型。經(jīng)過三個月籌辦期,7月份,該公司正式定名“零一萬物”,并組建起數(shù)十人的大模型研發(fā)團隊。團隊成型四個月后,零一萬物便在11月份推出了“Yi”系列大模型產(chǎn)品,并借助Yi-34B霸榜多個大模型測試集。
據(jù)投資界報道,在亮相大模型產(chǎn)品之際,零一萬物已完成由阿里云領投的新一輪融資,投后估值超10億美元,躋身中國大模型創(chuàng)業(yè)公司獨角獸行列。
零一萬物快速崛起的背后,離不開李開復的個人IP加持,就連官網(wǎng)都公開感謝“李開復博士過往40年在人工智能領域的科研和產(chǎn)業(yè)經(jīng)驗”。
零一萬物官網(wǎng)
出任過谷歌全球副總裁兼大中華區(qū)總裁,并在微軟全球副總裁期間開創(chuàng)了微軟亞洲研究院的李開復,通過在2009年創(chuàng)立創(chuàng)新工場,完成了從明星職業(yè)經(jīng)理人到VC投資人的身份轉變。
過去十多年間,創(chuàng)新工場投資超過300多個項目,其中不乏曠視科技、美圖、知乎、第四范式、地平線等行業(yè)知名公司。
在2019年被晚點問及創(chuàng)新工場回報最好的基金是哪一期時,李開復回答:“投AI項目最多的回報最好……比如曠視回報400倍、VIPKID回報1200倍?!?/p>
靠著數(shù)十年如一日對AI的宣揚布道,李開復一度被稱為中國的“AI教父”。盡管其在AI方面的投資可圈可點,但李開復扮演的角色顯然不同于山姆·阿爾特曼這樣用劃時代的產(chǎn)品來引領 AI 行業(yè)的企業(yè)家。
在2018年9月推出的新書《AI·未來》中,李開復曾談及中美兩國競爭差距,大膽預言:“人工智能實干時代競爭力的天平將傾向商業(yè)化執(zhí)行、產(chǎn)品質量、創(chuàng)新速度和大數(shù)據(jù),而這些要素恰是中國優(yōu)于美國之處。”在書中,李開復甚至寫到“15年前從‘學習’起步的中國互聯(lián)網(wǎng)初創(chuàng)公司從美國商業(yè)模式中獲得靈感,激地相互競爭……當這一代中國企業(yè)家學會利用人工智能時,將徹底顛覆游戲規(guī)則?!?/p>
在ChatGPT引發(fā)的新一輪AI顛覆性變革現(xiàn)實面前,越來越多人開始重新打量中美在AI方面的差距。
具體到大模型方面,丁磊甚至認為,相比算法、算力和數(shù)據(jù),“真正有領導力的AI管理者,像山姆·阿爾特曼這樣有能力推動新技術落地應用的技術管理人才,才是國內(nèi)更缺的一塊短板?!?/p>
除了需要向外界展現(xiàn)如阿爾特曼一般的高超技術管理能力之外,李開復的大模型夢還遭遇著諸多挑戰(zhàn)。
如何盡快追趕上OpenAI的步伐,是橫亙在李開復等一眾大模型創(chuàng)業(yè)跟隨者面前的最大拷問。
在國產(chǎn)大模型突飛猛進的大半年間,OpenAI同樣進步神速,相繼推出了GPT-4、GPT-4V、GPT-4 Turbo。
阿爾特曼還在帶領OpenAI繼續(xù)狂飆。今年10月份,阿爾特曼首次對外明確,OpenAI已經(jīng)啟動GPT-5、GPT-6的訓練,并將繼續(xù)沿著多模態(tài)方向持續(xù)迭代。
在國產(chǎn)大模型還在努力追上ChatGPT步伐之時,其相比OpenAI更先進模型的差距,反而有了逐漸擴大的趨勢。
值得一提的是,2020年發(fā)布GPT-3時,OpenAI曾詳細公開了模型訓練的所有技術細節(jié)。中國人民大學高瓴人工智能學院執(zhí)行院長文繼榮表示,國內(nèi)很多大模型其實都有GPT-3的影子。
但隨著OpenAI在GPT-4上一改開源策略,逐漸走向封閉,一些國產(chǎn)大模型就此失去了可供復制的追趕路徑。
放眼國內(nèi),即便宣稱做到了一眾測試榜單第一,但留給零一萬物的挑戰(zhàn)仍難言樂觀。
在發(fā)布Yi-34B預訓練模型后,李開復宣稱內(nèi)部已經(jīng)啟動下一個千億參數(shù)模型的訓練。與之相比,國內(nèi)不少大模型公司已經(jīng)完成了千億模型的上市發(fā)布。
除了需要提速追趕先行者外,如何在商業(yè)落地上勝出,將是李開復需要解決的更大挑戰(zhàn)。
經(jīng)歷過AI 1.0 時代的李開復,在投身大模型創(chuàng)業(yè)后,便對外提到自己“做的應用一定是朝著能夠快速有收入,而且能夠產(chǎn)生非常好的利潤、收入是高質量的、可持續(xù)的,而不是一次性在某一個公司上打下一個單子?!?/p>
實現(xiàn)上述商業(yè)化的突破口被李開復放在了C端應用上,李開復同樣相信AIGC時代將誕生比移動互聯(lián)網(wǎng)大十倍的平臺機會,將出現(xiàn)把既有的軟件、使用界面和應用重寫一次,改寫用戶交互和入口的新機遇?!叭缤琖indows帶動了PC普及,Android催生了移動互聯(lián)網(wǎng)的生態(tài),AIGC也將誕生新一批AI-first的應用,并催生由AI主導的商業(yè)模式。”
想要實現(xiàn)上述宏偉愿景,除了需要將旗下通用大模型打造得足夠先進之外,還需要在一眾國產(chǎn)大模型競爭中脫穎而出。
恒業(yè)資本創(chuàng)始合伙人江一認為,這波AI大模型浪潮中,國內(nèi)最終能夠存活下來的通用大模型玩家,“可能有個3家就已經(jīng)不錯了。因為訓練大模型需要大量投入,要燒很多錢,而且還不一定能追得上GPT-4?!?/p>
無論Windows還是Android,每個時代也只拼殺出了一個,李開復該如何讓零一萬物成為AIGC時代的“唯一”呢?