文｜ Will Douglas Heaven

編譯｜巴比特資訊 

近日一份據(jù)稱是由谷歌高級工程師 Luke Sernau 撰寫的泄密備忘錄，大聲說出了硅谷許多人幾周來的心聲：一場開源的自由競爭正在威脅著科技巨頭對人工智能的控制。

新的開源大型語言模型 -- 谷歌的 Bard 或 OpenAI 的 ChatGPT 的替代品，允許研究人員和應(yīng)用開發(fā)人員研究、建立和修改。這些模型是大公司創(chuàng)造的同類 AI 模型的更小、更便宜的版本，性能上（幾乎）與它們相當，且是免費共享的。

像谷歌這樣的公司 -- 它在上周的年度產(chǎn)品展示會上透露，它正在將生成式人工智能應(yīng)用于它所擁有的一切，從 Gmail 到照片到地圖 -- 都忙著自己的產(chǎn)品，沒有看到真正的競爭到來，Sernau 寫道：“當我們在一直爭吵的時候，第三方一直在悄悄吃掉我們的午餐?！?/p>

在許多方面，這是件好事。更多接觸這些模型的機會有助于推動創(chuàng)新，也可以幫助抓住缺陷。如果只有幾家巨頭公司為這項技術(shù)把關(guān)或決定它的使用方式，人工智能就不會茁壯成長。

但這種開源的繁榮是不穩(wěn)定的。大多數(shù)開源版本仍然站在擁有雄厚財力的大公司所推出的巨型模型的肩膀上。如果 OpenAI 和 Meta 決定關(guān)閉商店，繁榮的小鎮(zhèn)可能會變成落后之地。

例如，這些模型中有許多是建立在 LLaMA 之上的，LLaMA 是 Meta AI 發(fā)布的一個開源大型語言模型。其他模型則使用了一個名為 Pile 的大規(guī)模公共數(shù)據(jù)集，該數(shù)據(jù)集由開源非營利組織 EleutherAI 組建。EleutherAI 之所以存在，只是因為 OpenAI 的開放性意味著一群編碼員能夠逆向設(shè)計 GPT-3 的制作方法，然后在空閑時間創(chuàng)建他們自己的。

“Meta AI 在培訓和向研究界發(fā)布模型方面做得非常好，”Stella Biderman 說，她是 EleutherAI 的執(zhí)行董事和研究主管，也在咨詢公司 Booz Allen Hamilton 工作。Sernau 在其谷歌備忘錄中強調(diào)了 Meta AI 的關(guān)鍵作用。（谷歌向《麻省理工科技評論》證實，該備忘錄是由其一名員工撰寫的，但指出它不是一份官方戰(zhàn)略文件）。

這一切都可能改變。由于擔心競爭，OpenAI 已經(jīng)在扭轉(zhuǎn)其之前的開放政策。而 Meta 可能開始想遏制后起之秀用其開源代碼做不良的事情?！罢f實話，我覺得現(xiàn)在這樣做（向外界開放代碼）是對的，”Meta AI 的總經(jīng)理 Joelle Pineau 說，“但這也是我們未來五年要采取的策略嗎？我不知道，因為人工智能的發(fā)展非常之快?！?/p>

如果關(guān)閉權(quán)限的趨勢繼續(xù)下去，那么不僅開源社區(qū)會被孤立，下一代人工智能的突破也將完全回到世界上最大、最富有的人工智能實驗室手中。

如何制造和使用人工智能的未來正處在一個十字路口。

開源模型“富礦”

開源軟件已經(jīng)存在了幾十年。它是互聯(lián)網(wǎng)運行的基礎(chǔ)。但建立強大模型的成本意味著開源人工智能直到大約一年前才開始騰飛?，F(xiàn)在的它已迅速成為一種財富。

看看過去幾周的情況就知道了。3 月 25 日，倡導免費開放人工智能的初創(chuàng)公司 Hugging Face 發(fā)布了 ChatGPT 的第一個開源替代品。

Hugging Face 的聊天機器人 HuggingChat 建立在開源的大型語言模型之上，該模型是在大約 13000 名志愿者的幫助下訓練的，并在一個月前發(fā)布。而 Open Assistant 本身是建立在 Meta 的 LLaMA 之上的。

然后是 StableLM，由 Stability AI 于 3 月 19 日發(fā)布，該公司是熱門文本到圖像模型 Stable Diffusion 的背后公司。3 月 28 日，Stability AI 發(fā)布了 StableVicuna，這是 StableLM 的一個版本，與 Open Assistant 或 HuggingChat 一樣，為對話而優(yōu)化。（可以把 StableLM 看作是 Stability 對 GPT-4 的回應(yīng)，StableVicuna 則是對 ChatGPT 的回應(yīng)）。

這些新的開源模型加入了過去幾個月發(fā)布的一系列其他模型，包括 Alpaca（來自斯坦福大學的一個團隊）、Dolly（來自軟件公司 Databricks）和 Cerebras-GPT（來自 AI 公司 Cerebras）。這些模型中的大多數(shù)都是建立在 LLaMA 或 EleutherAI 的數(shù)據(jù)集和模型上；Cerebras-GPT 遵循 DeepMind 設(shè)定的模板。而未來，相信會有更多的模型出現(xiàn)。

對于一些人來說，開源是一個原則問題。“這是一個全球社區(qū)的努力，將對話式人工智能的力量帶給每個人……讓它脫離少數(shù)大公司的掌控，”人工智能研究員和 YouTuber Yannic Kilcher 在介紹開放助理的視頻中表示。

“我們永遠不會放棄為開源人工智能而戰(zhàn)，”Hugging Face 的聯(lián)合創(chuàng)始人 Julien Chaumond 上個月在推特上如是說。

對其他人而言，這也是個利益問題。Stability AI 希望在聊天機器人方面重復它在圖像方面的方法：為使用其產(chǎn)品的開發(fā)者的創(chuàng)新爆發(fā)提供動力，然后從中獲益。該公司計劃從這些創(chuàng)新中汲取精華，并將其帶回為廣泛的客戶定制的產(chǎn)品中?！拔覀兗ぐl(fā)創(chuàng)新，然后進行挑選，”Stability AI 的首席執(zhí)行官 Emad Mostaque 說?！斑@是世界上最好的商業(yè)模式?！?/p>

不管怎樣，大量免費和開放的大型語言模型將這項技術(shù)推向了世界各地數(shù)百萬人的手中，激勵了許多人創(chuàng)造新的工具并探索它們的工作原理。Biderman 說：“使用這項技術(shù)的途徑比以往任何時候都要多?！?/p>

“坦率地說，人們使用這項技術(shù)的方式之多令人難以置信，令人興奮，”Fried Frank 律師事務(wù)所的律師 Amir Ghavi 表示。他代表了包括 Stability AI 在內(nèi)的多家生成式人工智能公司?！拔艺J為這證明了人類的創(chuàng)造力，而這正是開源的全部意義所在?！?/p>

融化 GPU

但是，從頭開始訓練大型語言模型 -- 而不是建立或修改它們 -- 是困難的。Mostaque 說：“這仍然超出了絕大多數(shù)公司的能力范圍?！薄拔覀冊跇?gòu)建 StableLM 時熔掉了一堆 GPU。”

Stability AI 的第一個版本，即文本到圖像模型 Stable Diffusion，與谷歌的 Imagen 和 OpenAI 的 DALL-E 等封閉式同類產(chǎn)品一樣好，甚至更好。它不僅可以免費使用，而且還可以在一臺好的家用電腦上運行。Stable Diffusion 比其他任何模式都更能激發(fā)去年圍繞圖像制作人工智能的開源開發(fā)的爆發(fā)。

不過，這一次，Mostaque 希望管理好預期：StableLM 與 GPT-4 相差甚遠?！斑€有很多工作要做，”他說?！八幌?Stable Diffusion 那樣，可以立即獲得超級好用的東西。語言模型更難訓練?！?/p>

另一個問題是，模型越大就越難訓練。這不僅僅是由于計算能力的成本問題。訓練過程中，更大的模型也更經(jīng)常出現(xiàn)故障，需要重新啟動，這使得這些模型的建立更加昂貴。

Biderman 說，在實踐中，大多數(shù)團體能夠負擔得起的訓練參數(shù)數(shù)量是有上限的。這是因為大型模型必須在多個不同的 GPU 上進行訓練，而將所有這些硬件連在一起是很復雜的。她說：“在這種規(guī)模下成功地訓練模型是高性能計算研究的一個非常新的領(lǐng)域?！?/p>

確切的數(shù)字隨著技術(shù)的進步而變化，但現(xiàn)在 Biderman 認為這個上限大致在 60 億到 100 億個參數(shù)之間。（相比之下，GPT-3 有 1750 億個參數(shù)；LLaMA 有 650 億個。) 這不是一個確切的關(guān)聯(lián)，但一般來說，更大的模型往往表現(xiàn)得更好。

Biderman 預計，圍繞開源大型語言模型的大量活動將繼續(xù)下去。但它將集中于擴展或調(diào)整一些現(xiàn)有的預訓練模型，而不是推動基本技術(shù)的發(fā)展。她說：“只有少數(shù)幾個組織對這些模型進行了預訓練，我預計在不久的將來會保持這種狀態(tài)。”

這就是為什么許多開源模型是建立在 LLaMA 之上的原因，LLaMA 是由 Meta AI 從頭開始訓練的，并由 EleutherAI 發(fā)布的，EleutherAI 是一個非營利組織，它對開源技術(shù)的貢獻是獨一無二的。Biderman 說，她知道只有一個類似的組織，而且是在中國。

EleutherAI 的起步得益于 OpenAI。倒退到 2020 年，這家位于舊金山的公司剛剛推出一個熱門的新模型。“對于很多人來說，GPT-3 改變了他們對大規(guī)模人工智能的看法，”Biderman 說。“就人們對這些模型的期望而言，它常常被認為是一種智力范式的轉(zhuǎn)變?！?/p>

由于對這項新技術(shù)的潛力感到興奮，Biderman 和其他一些研究人員想玩玩這個模型，以更好地了解它的工作原理。他們決定對其進行復制。

那時 OpenAI 還沒有發(fā)布 GPT-3，但它確實分享了足夠多的關(guān)于它是如何構(gòu)建的信息，讓 Biderman 和她的同事們弄清楚它是怎么構(gòu)建的。在 OpenAI 之外，從來沒有人訓練過這樣的模型，但當時正值疫情，團隊沒有什么其他事情可做。Biderman 說：“當我參與其中時，我正在做我的工作并與我的妻子玩桌游?！薄耙虼?，每周拿出 10 或 20 個小時來做這件事是比較容易的?！?/p>

該團隊的第一步是把一個巨大的新數(shù)據(jù)集放在一起，其中包含數(shù)十億的文本段落，與 OpenAI 用來訓練 GPT-3 的數(shù)據(jù)相媲美。EleutherAI 將其數(shù)據(jù)集稱為 Pile，并在 2020 年底免費發(fā)布。

然后，EleutherAI 使用這個數(shù)據(jù)集來訓練其第一個開源模型。EleutherAI 訓練的最大模型花了三個半月，由一家云計算公司贊助?！叭绻覀冏蕴脱瑢⒒ㄙM我們大約 40 萬美元，”她說?！边@對一個大學研究小組來說要求太高了。”

援助之手

由于成本高昂，在現(xiàn)有模型的基礎(chǔ)上進行構(gòu)建要容易得多。Meta AI 的 LLaMA 已經(jīng)迅速成為許多新的開源項目的首選起點。自從 Yann LeCun 在十年前成立以來，Meta AI 一直傾向于開源開發(fā)。這種心態(tài)是文化的一部分，Pineau 說：“這在很大程度上是一種自由市場，‘快速行動，建造東西’的方法?！?/p>

Pineau 清楚地知道其好處。她說：“這確實讓有能力為開發(fā)這項技術(shù)做出貢獻的人多樣化。這意味著研究人員，企業(yè)家或民間組織等也可以看到這些模型。”

像更廣泛的開源社區(qū)一樣，Pineau 和她的同事們認為，透明度應(yīng)該是一種規(guī)范。她說：“我敦促我的研究人員做的一件事是，在開始一個項目時，就考慮到你想要開源。因為當你這樣做時，它在數(shù)據(jù)使用和如何建立模型方面設(shè)定了更高的標準?！?/p>

大型語言模型會散播錯誤信息、偏見和仇恨言論。它們可以用來大規(guī)模生產(chǎn)宣傳或為惡意軟件工廠提供動力?！澳惚仨氃谕该鞫群桶踩灾g做出權(quán)衡，”Pineau 說。

對于 Meta AI 來說，這種權(quán)衡可能意味著一些模型根本不會被發(fā)布。例如，如果 Pineau 的團隊在 Facebook 用戶數(shù)據(jù)上訓練了一個模型，那么它將留在內(nèi)部，因為私人信息泄露的風險太大。或者，該團隊可能會以點擊許可的方式發(fā)布該模型，規(guī)定它只能用于研究目的。

這就是它為 LLaMA 采取的方法。但在其發(fā)布后的幾天內(nèi)，有人在互聯(lián)網(wǎng)論壇 4 chan 上發(fā)布了完整的模型和運行說明?！拔胰匀徽J為對于這個特定的模型來說，這是正確的權(quán)衡，”Pineau 說?！暗覍θ藗儠@樣做感到失望，因為這使得做這些發(fā)布更難?！?/p>

“我們一直得到來自公司領(lǐng)導層一直到馬克 [扎克伯格] 對這種做法的大力支持，但這并不容易，”她說。

Meta AI 的風險很高。她說：“當你是一個非常小的創(chuàng)業(yè)公司時，做一些瘋狂的事情的潛在責任要比你是一個非常大的公司時低得多?！薄艾F(xiàn)在我們向成千上萬的人發(fā)布這些模型，但如果它變得更有問題，或者我們覺得安全風險更大，我們將關(guān)閉這個圈子，我們將只向已知的學術(shù)伙伴發(fā)布，他們有非常強大的證書 -- 根據(jù)保密協(xié)議或 NDA，防止他們用這個模型建立任何東西，甚至為了研究目的?！?/p>

如果發(fā)生這種情況，那么開源生態(tài)系統(tǒng)的許多寵兒可能會發(fā)現(xiàn)，他們在 Meta AI 接下來推出的任何產(chǎn)品上構(gòu)建的許可都將被取消。如果沒有 LLaMA，Alpaca、Open Assistant 或 Hugging Chat 等開源模型就不會那么好。下一代的開源創(chuàng)新者也不會像現(xiàn)在的這批人那樣得到發(fā)展。

平衡

其他團隊也在權(quán)衡開源自由競爭的風險和回報。

在 Meta AI 發(fā)布 LLaMA 的同時，Hugging Face 推出了一個門禁機制，人們在下載該公司平臺上的許多模型之前，必須申請訪問并得到批準……這個想法是為了只允許那些有正當理由的人接觸這個模型——由 Hugging Face 決定。

“我不是一個開源的布道者，”Hugging Face 首席倫理科學家 Margaret Mitchell 說。“我確實明白為什么封閉很有意義。”

Mitchell 指出，未授權(quán)的色情制品是使強大的模型被廣泛使用的一個弊端例子。她說，這是圖像制作 AI 的主要用途之一。

Mitchell 曾在谷歌工作，并共同創(chuàng)建了其道德人工智能團隊，她理解其中的緊張關(guān)系。她贊成她所說的“負責任的民主化”-- 一種類似于 Meta AI 的方法，即根據(jù)模型造成傷害或被濫用的潛在風險，以有控制的方式發(fā)布。她說：“我真的很欣賞開源的理想，但我認為建立某種問責機制是有用的?！?/p>

此外，OpenAI 也在關(guān)閉水龍頭。上個月，當它宣布 GPT-4-- 該公司為 ChatGPT 提供動力的大型語言模型的新版本時，技術(shù)報告中有一個引人注目的句子：“鑒于像 GPT-4 這樣的大規(guī)模模型的競爭格局和安全影響，本報告沒有包含關(guān)于架構(gòu)（包括模型大?。?、硬件、訓練計算、數(shù)據(jù)集構(gòu)建、訓練方法或類似的進一步細節(jié)?！?/p>

這些新限制的部分原因是，OpenAI 現(xiàn)在是一家以盈利為目的的公司，與谷歌等公司競爭。但它們也反映了一種心態(tài)的變化。聯(lián)合創(chuàng)始人兼首席科學家 Ilya Sutskever 在接受 The Verge 采訪時表示，該公司過去的開放性是一個錯誤。

OpenAI 的政策研究員 Sandhini Agarwal 說：“以前，如果某樣東西是開源的，也許只有一小群程序員會關(guān)心?，F(xiàn)在，整個環(huán)境已經(jīng)改變。開源真的可以加速發(fā)展，并導致競爭。”

但它并不總是這樣。如果 OpenAI 在三年前公布 GPT-3 的細節(jié)時有這種感覺，就不會有 EleutherAI。

今天，EleutherAI 在開源生態(tài)系統(tǒng)中發(fā)揮著舉足輕重的作用。此后，它建立了幾個大型語言模型，Pile 被用來訓練許多開源項目，包括 Stability AI 的 StableLM（Mostaque 是 EleutherAI 的董事會成員）。

如果 OpenAI 分享的信息較少，這一切都不可能發(fā)生。像 Meta AI 一樣，EleutherAI 實現(xiàn)了大量的開源創(chuàng)新。

但隨著 GPT-4 甚至 5、6 的封鎖，開源社區(qū)可能會再次被留在幾家大公司的后面進行修補。他們可能會發(fā)布狂野的新版本 -- 甚至可能威脅到谷歌的一些產(chǎn)品。但是，他們將被困在上一代的模式中。真正的進步，接下來的飛躍，將在閉門造車中發(fā)生。

這重要嗎？人們?nèi)绾慰创笮涂萍脊娟P(guān)閉權(quán)限的影響，以及這將對開源產(chǎn)生的影響，在很大程度上取決于你對人工智能應(yīng)該如何制造以及應(yīng)該由誰制造的看法。

“人工智能很可能成為未來幾十年社會組織方式的驅(qū)動力，”Ghavi 說。“我認為，建立一個更廣泛的監(jiān)督和透明體系，比把權(quán)力集中在少數(shù)人手中要好?！?/p>

Biderman 對此表示贊同：“我絕對不認為每個人都做開源有某種道德上的必要性，”“但說到底，讓人們開發(fā)和研究這項技術(shù)是非常重要的，而不是為其商業(yè)成功進行經(jīng)濟投資?！?/p>

然而，她很清楚其中的利害關(guān)系。她說：“實際上，我對 OpenAI 的批評比很多人認為的要少得多，”她說。“公開發(fā)布這項技術(shù)有真正的風險，真正的潛在危險?！?/p>

OpenAI 聲稱它只是在謹慎行事。OpenAI 信任與安全團隊負責人 Dave Willner 表示：“我們并不是認為透明度不好。”“更重要的是，我們正在努力弄清楚如何協(xié)調(diào)透明度和安全性。隨著這些技術(shù)變得越來越強大，在實踐中，這些東西之間存在一定程度的緊張關(guān)系?！?/p>

“人工智能的很多規(guī)范和思維都是由學術(shù)研究團體形成的，它們重視合作和透明度，這樣人們就可以在彼此的工作基礎(chǔ)上發(fā)展，”Willner 說?！耙苍S隨著這項技術(shù)的發(fā)展，這種情況需要有所改變。”

來源：麻省理工科技評論