文|阿爾法工場
當(dāng)下的大模型賽場,隨著最初的熱潮褪去,不少VC和投資人對(duì)大模型已經(jīng)進(jìn)入了一個(gè)冷靜期,其投資標(biāo)準(zhǔn),也變得理性、嚴(yán)謹(jǐn)了許多。
既然如此,那么這一階段能得到明星資本青睞的團(tuán)隊(duì),都具有哪些特征呢?
如前段時(shí)間,突然發(fā)布自身產(chǎn)品的神秘創(chuàng)業(yè)公司——月之暗面Moonshot AI,就給我們提供了一個(gè)參考。
在自身的大模型 Kimi Chat發(fā)布前,很少有人會(huì)想到,這個(gè)創(chuàng)始人僅31歲,且沒有任何產(chǎn)品發(fā)布的AI初創(chuàng)企業(yè),會(huì)獲得紅杉中國和真格基金等 VC 的投資,并被The Information 選為五家「中國 OpenAI」的創(chuàng)業(yè)公司之一。
那么,對(duì)國內(nèi)大模型而言,月之暗面的入局,究竟是又一場講故事的炒作,還是一匹赫然出世的黑馬?
01 VC們的考慮
現(xiàn)階段,要拿捏一個(gè)AI初創(chuàng)企業(yè)的含金量,除了企業(yè)公開展示的信息外,從VC們的角度倒推回去,分析其投資的理由,也是一種值得借鑒的思路。
以投資了月之暗面的明星資本紅杉中國為例,目前紅杉中國在AI領(lǐng)域已經(jīng)已投資了近 30 家企業(yè),但其真正的核心標(biāo)準(zhǔn)只有兩個(gè):1、有使用場景,解決實(shí)際問題;2、系統(tǒng)能夠持續(xù)不斷獲得有用的數(shù)據(jù)自我學(xué)習(xí)來提升處理能力。
在第一條標(biāo)準(zhǔn)上,紅衫中國對(duì)AI企業(yè)的篩選,有著與國內(nèi)大多數(shù)VC不同的洞見。
當(dāng)前,AI 投資大多集中在 B 端,因?yàn)橄噍^于C端,B端的行業(yè)垂直類大模型更好找到應(yīng)用場景。
然而,紅衫中國卻認(rèn)為,垂直行業(yè)背景不是必備條件,而對(duì)行業(yè)痛點(diǎn)的深刻洞察,則是更為重要的因素。
比如摩拜創(chuàng)始人不是做自行車的,但是她發(fā)現(xiàn)了實(shí)實(shí)在在的需求,并且意識(shí)到在這個(gè)過程中 AI 能夠發(fā)揮價(jià)值。
按照這樣的思路,來看月之暗面的情況,我們就會(huì)理解紅衫中國投資的理由。
在月之暗面發(fā)布的大模型Kimi Chat,是首個(gè)支持輸入 20 萬漢字的智能助手產(chǎn)品。這一上下文長度,是目前最高的 Claude 2-100k(約 8 萬字)的 2.5 倍,GPT-4-32k(約 2.5 萬字)的 8 倍。
超長的文本輸入,意味著什么?
在Kimi Chat發(fā)布前,大模型落地的一個(gè)最大阻礙或瓶頸,正是輸入長度的限制。
由于長度所限,任何需要進(jìn)行長篇分析或持續(xù)對(duì)話的場景,現(xiàn)有的大模型都難以勝任。
例如,在法律行業(yè)中,有時(shí)從業(yè)者需要處理大量的長文本,例如法律文件、合同、判決書、案例等,而在媒體行業(yè)中,編輯或撰稿人,也需要對(duì)大量的文章、新聞、報(bào)道進(jìn)行分析閱讀。
誠然,面對(duì)輸入長度的限制,人們可以用“分段發(fā)送”這種投機(jī)取巧的方式規(guī)避,然而,由于長度所限,在達(dá)到字?jǐn)?shù)限制后,大模型仍然必須對(duì)每段內(nèi)容重新開始分析。
而這種不斷“從頭開始”的情況,也使大模型難以形成一套連貫的、有深度的見解。
這樣的情況,就像是一個(gè)原始人,雖然學(xué)會(huì)了寫字,但卻因文字載體(只能刻在石頭上)所限,無法保存更多的信息,積累更多的智慧,于是文明便無法長遠(yuǎn)地發(fā)展。
而大模型要想擺脫這樣的“原始階段”,向更廣闊的場景擴(kuò)展,文本長度的限制是一定要突破的。
也正因如此,抓住了“長度限制”這一痛點(diǎn)的月之暗面,才會(huì)如此得到紅衫中國的重視。
然而,除了具體的場景、技術(shù)之外,“人”的因素,在大模型創(chuàng)業(yè)過程中同樣不可忽視。
02 技術(shù)天才的前路
當(dāng)下,幾乎每個(gè)AI初創(chuàng)企業(yè)都想成為OpenAI,但又有多少團(tuán)隊(duì)具備那樣的人才配備,以及能讓其充分發(fā)揮自身才干的土壤呢?
從表面上看,在目前的大模型創(chuàng)業(yè)熱潮中,名校畢業(yè)、大廠經(jīng)驗(yàn)、濃厚的技術(shù)基因,似乎已經(jīng)成了一種“標(biāo)配”
月之暗面的情況也是如此。
其創(chuàng)始人楊植麟,不僅出身清華,深造于卡內(nèi)基梅隆大學(xué),后來又效力于谷歌大腦研究院和Meta(Facebook)人工智能研究院,并且還曾與圖靈獎(jiǎng)得主楊力昆(Yann LeCun)合作發(fā)表論文。
同樣的,身為團(tuán)隊(duì)第二大股東的周昕宇,也是楊植麟清華大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系的同學(xué);
而第三大股東吳育昕,畢業(yè)于清華大學(xué)與卡耐基梅隆大學(xué),曾獲2018年歐洲計(jì)算機(jī)視覺會(huì)議(ECCV)最佳論文提名。同時(shí)也是Meta(Facebook)人工智能實(shí)驗(yàn)室FAIR團(tuán)隊(duì)的一員。
從人員構(gòu)成上看,這是一個(gè)技術(shù)基因頗為濃厚的團(tuán)隊(duì)。
然而,在當(dāng)下的國內(nèi)大模型賽場上,明星般的技術(shù)人才很多,可真正做出突出成就的,卻仍是鳳毛麟角。
原因何在?
從OpenAI、Midjorney等成功團(tuán)隊(duì)的案例中,我們至少可以總結(jié)出兩點(diǎn):1、團(tuán)隊(duì)對(duì)自身“獨(dú)立性”的堅(jiān)持;2、創(chuàng)始人的視野、經(jīng)驗(yàn)是否開闊;
關(guān)于第一點(diǎn),就國內(nèi)的情況而言,盡管“技術(shù)天才”創(chuàng)業(yè)的案例已不在少數(shù),但其中相當(dāng)一部分團(tuán)隊(duì),由于缺乏股權(quán)或經(jīng)濟(jì)上的獨(dú)立性,最終被收購、控股,如之前被光年之外收購的一流科技就是這樣的例子。
而相較之下,OpenAI、Midjorney在融資、股權(quán)問題上,則有著更為獨(dú)立的自主權(quán)。
身為非盈利性組織的OpenAI,不用總是將股東的意志放在第一位;而Midjorney的創(chuàng)始David Holz,更是憑借著自身的名氣與人脈,在不融資的情況下就集齊了相應(yīng)的資源、人才。
凡此種種,都使其更易于堅(jiān)持自身獨(dú)立的研究方向。
而在這方面,根據(jù)天眼查App信息顯示,月之暗面由楊植麟持股78.97%,擁有絕對(duì)控制權(quán)。
除了對(duì)“獨(dú)立性”的堅(jiān)持外,創(chuàng)始人的視野和實(shí)踐經(jīng)驗(yàn),也成了大模型團(tuán)隊(duì)成敗的另一大因素。
因?yàn)榧夹g(shù)型團(tuán)隊(duì),雖然對(duì)研究有著純粹的熱忱,但有時(shí)候,這樣的執(zhí)著卻會(huì)“劍走偏鋒”,陷入一種誤入歧途的窘境。
在當(dāng)下AI的發(fā)展方向中,存在著許多不同的路徑,有些是有前景的、靠譜的,有些則是需要排除的“錯(cuò)誤選項(xiàng)?!?/p>
而唯有與國外一流的高校、機(jī)構(gòu)和企業(yè)進(jìn)行廣泛交流,并親自參與實(shí)踐,才能從中得出正確的、具有前瞻性的判斷。
說回到月之暗面,在視野與實(shí)踐經(jīng)驗(yàn)方面,楊植麟曾效力于谷歌大腦研究院和Meta(Facebook)人工智能研究院,是Transformer-XL和XLNet的第一作者。
其中,XLNet模型曾在18項(xiàng)自然語言任務(wù)中取得了好于谷歌BERT的效果,是當(dāng)時(shí)NLP領(lǐng)域熱門的國際前沿模型之一。
這樣開闊和前沿的履歷,確保了作為創(chuàng)始人的楊植麟,在技術(shù)方向的把握上,保持了與國際一線人才相近的水準(zhǔn)。
03 “局部勝利”的含金量
在目前月之暗面公布的信息中,其最為人稱道的一點(diǎn),就是推出了首個(gè)支持輸入20萬漢字的大模型Moonshot,以及搭載該模型的智能助手產(chǎn)品Kimi Chat。其文本長度是GPT-4-32k(約 2.5 萬字)的 8 倍。
可以說,這是國內(nèi)在局部領(lǐng)域?qū)PT-4等先進(jìn)模型取得的又一場“勝利”。
為什么說“又”呢?
因?yàn)榇饲耙呀?jīng)有不只一個(gè)國產(chǎn)大模型,宣稱自己在某些方面“超越”了GPT-4。
9月,學(xué)術(shù)界當(dāng)紅開源評(píng)測榜單C-Eval最新一期排行榜中,云天勵(lì)飛的大模型“云天書”排在第一,而GPT-4僅名列第十。
之所以會(huì)出現(xiàn)這樣詭異的現(xiàn)象,是由于部分國產(chǎn)大模型,學(xué)會(huì)了一些別樣的“應(yīng)試技巧”(例如將測評(píng)的答案摳下來訓(xùn)練),才造成了如此奇觀。
其實(shí),從OpenAI的經(jīng)驗(yàn)來看,一種真正的技術(shù)上的“局部勝利”,應(yīng)該是對(duì)AI某一領(lǐng)域天花板的突破,而不是呈一時(shí)的數(shù)據(jù)英雄。
這也是為什么,當(dāng)年GPT-1被谷歌的BERT打得完敗,且測評(píng)、數(shù)據(jù)紛紛拉胯的情況下,OpenAI仍然選擇大模型,而非小模型的原因。
畢竟,小模型在專業(yè)任務(wù)上表現(xiàn)雖強(qiáng),但只要參數(shù)無法提升,更強(qiáng)的智能就無法涌現(xiàn)。
同樣地,目前月之暗面推出的Moonshot,同樣可以看作是對(duì)大模型某一“天花板”的突破。
因?yàn)樵陂L文本方面,也存在文本長短、注意力和算力類似的“不可能三角”。
這表現(xiàn)為,文本越長,越難聚集充分注意力,難以完整消化;注意力限制下,短文本無法完整解讀復(fù)雜信息;處理長文本需要大量算力,提高成本。
在這樣的不可能三角中,自注意力機(jī)制的計(jì)算量會(huì)隨著上下文長度的增加呈平方級(jí)增長,比如上下文增加32倍時(shí),計(jì)算量實(shí)際會(huì)增長1000倍。
而計(jì)算量的提升,就意味著就不得不消耗更多的算力,而這無疑意味著更高的模型部署成本。
有鑒于此,唯有以長文本技術(shù)為突破,人們才能在其通用模型基礎(chǔ)上去裂變出N個(gè)應(yīng)用。
現(xiàn)階段,長文本的“不可能三角”困境或許暫時(shí)還無解,但正因如此,攻破這樣的“天花板”才真正有其意義和價(jià)值。
而所謂中國的OpenAI,或許正是誕生于對(duì)這一個(gè)個(gè)“天花板”的攻克中。