編譯｜巴比特資訊 Benj Edwards
在過去的幾個(gè)月里，像 ChatGPT 這樣的人工智能聊天機(jī)器人已經(jīng)吸引了全世界的注意力，因?yàn)樗鼈兡軌蛞灶愃迫祟惖姆绞骄蛶缀跞魏卧掝}進(jìn)行交談。但它們也有一個(gè)嚴(yán)重的缺點(diǎn)：它們可以輕易地提出令人信服的虛假信息，使它們成為不可靠的事實(shí)信息來源和潛在的誹謗來源。
為什么 AI 聊天機(jī)器人會胡編亂造，我們是否能夠完全信任它們的輸出？我們詢問了幾位專家，并深入研究了這些人工智能模型的工作原理，以找到答案。
“幻覺”：人工智能中的一個(gè)重要術(shù)語
人工智能聊天機(jī)器人，如 OpenAI 的 ChatGPT，依賴于一種稱為“大型語言模型”(LLM）的人工智能來生成它們的響應(yīng)。LLM 是一種計(jì)算機(jī)程序，經(jīng)過數(shù)百萬文本源的訓(xùn)練，可以閱讀并生成“自然語言”文本語言，就像人類自然地寫作或交談一樣。不幸的是，它們也會犯錯(cuò)。
在學(xué)術(shù)文獻(xiàn)中，人工智能研究人員經(jīng)常將這些錯(cuò)誤稱為“幻覺”（hallucinations）。但是，隨著這個(gè)話題成為主流，這個(gè)標(biāo)簽的爭議也越來越大，因?yàn)橛行┤苏J(rèn)為它把人工智能模型擬人化了（暗示它們有類似人類的特征），或者在不應(yīng)該暗示這一點(diǎn)的情況下賦予它們代理（暗示它們可以做出自己的選擇）。商業(yè) LLM 的創(chuàng)造者也可能利用幻覺作為借口，將錯(cuò)誤的輸出歸咎于 AI 模型，而不是為輸出本身負(fù)責(zé)。
不過，生成式 AI 太新了，我們需要從現(xiàn)有的想法中借用隱喻來向更廣泛的公眾解釋這些高度技術(shù)性的概念。在這種情況下，我們覺得術(shù)語“虛構(gòu)”（confabulation）雖然同樣不完美，但比“幻覺”更好。在人類心理學(xué)中，當(dāng)某人的記憶有一個(gè)缺口，而大腦在無意欺騙他人的情況下令人信服地填補(bǔ)其余部分時(shí)，就會出現(xiàn)“虛構(gòu)”。ChatGPT 的工作方式與人腦不同，但“虛構(gòu)”一詞可以說是一個(gè)更好的比喻，因?yàn)橛幸粋€(gè)創(chuàng)造性的填補(bǔ)空白的原則在起作用，我們將在下文進(jìn)行探討。
“虛構(gòu)”的問題
當(dāng)人工智能機(jī)器人產(chǎn)生可能誤導(dǎo)、誤傳或誹謗的虛假信息時(shí)，這是一個(gè)大問題。最近，《華盛頓郵報(bào)》報(bào)道了一位法律教授，他發(fā)現(xiàn) ChatGPT 將他列入了一份對某人進(jìn)行過性騷擾的法律學(xué)者名單。但這件事從未發(fā)生過 -- 是 ChatGPT 編造的。同一天，Ars 報(bào)道了一位澳大利亞市長，據(jù)稱他發(fā)現(xiàn) ChatGPT 聲稱他被判定犯有賄賂罪并被判處監(jiān)禁，這也完全是捏造的。
ChatGPT 推出后不久，人們就開始宣稱搜索引擎的終結(jié)。然而，與此同時(shí)，ChatGPT 的許多虛構(gòu)的例子開始在社交媒體上流傳。人工智能機(jī)器人發(fā)明了不存在的書籍和研究，教授沒有寫過的出版物，虛假的學(xué)術(shù)論文，虛假的法律引用，不存在的 Linux 系統(tǒng)功能，不真實(shí)的零售吉祥物，以及沒有意義的技術(shù)細(xì)節(jié)。
然而，盡管 ChatGPT 傾向于隨意撒些小謊，但與直覺相反的是，它對虛構(gòu)的抵抗才是我們今天談?wù)撍脑颉Ｒ恍＜抑赋?，ChatGPT 在技術(shù)上比 vanilla GPT-3（其前身模型）有所改進(jìn)，因?yàn)樗梢跃芙^回答一些問題或讓你知道它的答案可能不準(zhǔn)確。
大型語言模型專家、Scale AI 的提示工程師 Riley Goodside 說：“ChatGPT 成功的一個(gè)主要因素是，它成功地抑制了虛構(gòu)，使許多常見問題都不引人注意?！薄芭c它的前輩相比，ChatGPT 明顯不太容易編造東西?！?/p>
如果用作頭腦風(fēng)暴工具，ChatGPT 的邏輯跳躍和虛構(gòu)可能會導(dǎo)致創(chuàng)造性突破。但當(dāng)用作事實(shí)參考時(shí)，ChatGPT 可能會造成真正的傷害，OpenAI 也知道這一點(diǎn)。
在該模型推出后不久，OpenAI 首席執(zhí)行官 Sam Altman 在推特上說：“ChatGPT 有很大的局限性，但在某些方面足夠好，足以造成一種偉大的誤導(dǎo)性印象。現(xiàn)在依靠它來做任何重要的事情都是錯(cuò)誤的。這是進(jìn)步的預(yù)覽；我們在穩(wěn)健性和真實(shí)性方面還有很多工作要做?！痹诤髞淼囊粭l推文中，他寫道：“它確實(shí)知道很多東西，但危險(xiǎn)的是，它在相當(dāng)大的一部分時(shí)間里是自信而錯(cuò)誤的。”
這是怎么回事呢？
ChatGPT 如何運(yùn)作
為了理解像 ChatGPT 或 Bing Chat 這樣的 GPT 模型是如何虛構(gòu)信息的，我們必須知道 GPT 模型是如何運(yùn)作的。雖然 OpenAI 還沒有發(fā)布 ChatGPT、Bing Chat 甚至 GPT-4 的技術(shù)細(xì)節(jié)，但我們確實(shí)可以看到 2020 年介紹其前身 GPT-3 的研究論文。
研究人員通過使用一個(gè)被稱為“無監(jiān)督學(xué)習(xí)”的過程來建立（訓(xùn)練）像 GPT-3 和 GPT-4 這樣的大型語言模型，這意味著他們用來訓(xùn)練模型的數(shù)據(jù)沒有被特別注釋或標(biāo)記。在這個(gè)過程中，模型被輸入大量的文本（數(shù)以百萬計(jì)的書籍、網(wǎng)站、文章、詩歌、成績單和其他來源），并反復(fù)嘗試預(yù)測每個(gè)單詞序列中的下一個(gè)單詞。如果模型的預(yù)測接近實(shí)際的下一個(gè)詞，神經(jīng)網(wǎng)絡(luò)就會更新其參數(shù)以加強(qiáng)導(dǎo)致該預(yù)測的模式。
相反，如果預(yù)測不正確，該模型就會調(diào)整其參數(shù)以提高其性能并再次嘗試。這種試錯(cuò)的過程，通過一種叫做“反向傳播”的技術(shù)，使模型能夠從錯(cuò)誤中學(xué)習(xí)，并在訓(xùn)練過程中逐漸改善其預(yù)測結(jié)果。
因此，GPT 學(xué)會了數(shù)據(jù)集中的單詞和相關(guān)概念之間的統(tǒng)計(jì)關(guān)聯(lián)。有些人，如 OpenAI 首席科學(xué)家 Ilya Sutskever，認(rèn)為 GPT 模型甚至比這更進(jìn)一步，建立了一種內(nèi)部現(xiàn)實(shí)模型，因此可以更準(zhǔn)確地預(yù)測下一個(gè)最佳標(biāo)記，但這個(gè)想法是有爭議的。GPT 模型如何在其神經(jīng)網(wǎng)絡(luò)內(nèi)得出下一個(gè) token 的確切細(xì)節(jié)仍不確定。
在當(dāng)前的 GPT 模型浪潮中，這種核心訓(xùn)練（現(xiàn)在通常稱為“預(yù)訓(xùn)練”）只發(fā)生一次。之后，人們可以在”推理模式“中使用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)，這讓用戶可以將輸入信息輸入到訓(xùn)練好的網(wǎng)絡(luò)中并得到一個(gè)結(jié)果。在推理過程中，GPT 模型的輸入序列總是由人類提供，它被稱為“提示”（prompt）。提示決定了模型的輸出，即使稍微改變一下提示，也會極大改變模型產(chǎn)生的結(jié)果。
例如，如果您提示 GPT-3“Mary had a”，它通常會用“l(fā)ittle lamb.”來完成句子。這是因?yàn)樵?GPT-3 的訓(xùn)練數(shù)據(jù)集中可能有數(shù)以千計(jì)的“Mary had a little lamb”的例子。但是，如果你在提示中添加更多的上下文，例如“In the hospital, Mary had a,”，結(jié)果就會改變，并返回“嬰兒”或“一系列檢測”等詞。
這就是 ChatGPT 的有趣之處，因?yàn)樗辉O(shè)定為與代理對話，而不僅僅是一個(gè)直接的文本完成工作。在 ChatGPT 的情況下，輸入提示是你與 ChatGPT 的整個(gè)對話，從你的第一個(gè)問題或聲明開始，包括在模擬對話開始前提供給 ChatGPT 的任何具體指示。在這一過程中，ChatGPT 對它和你所寫的一切都保持一個(gè)運(yùn)行中的短期記憶（稱為“上下文窗口”），當(dāng)它與你“交談”時(shí)，它試圖將對話的記錄作為一個(gè)文本完成任務(wù)來完成。
此外，ChatGPT 與普通的 GPT-3 不同，因?yàn)樗€接受了人類編寫的對話記錄的訓(xùn)練。OpenAI 在其最初的 ChatGPT 發(fā)布頁面中寫道：“我們使用有監(jiān)督的微調(diào)訓(xùn)練了一個(gè)初始模型：人類 AI 訓(xùn)練員提供了他們扮演雙方角色的對話——用戶和 AI 助手?！薄拔覀冏屌嘤?xùn)師可以訪問模型編寫的建議，以幫助它們撰寫回復(fù)?！?/p>
ChatGPT 還使用一種稱為“從人類反饋中強(qiáng)化學(xué)習(xí)”或 RLHF 的技術(shù)，對 ChatGPT 進(jìn)行了比 GPT-3 更嚴(yán)格的調(diào)整，在這種技術(shù)中，人類評分者根據(jù)偏好對 ChatGPT 的回答進(jìn)行排序，然后將這些信息反饋到模型中。通過 RLHF, OpenAI 能夠在模型中灌輸避免回答許多它不能可靠回答的問題的目標(biāo)。這使得 ChatGPT 能夠以比基本模型以更少的虛構(gòu)產(chǎn)生連貫的反應(yīng)。但是不準(zhǔn)確的地方仍然存在。
為什么 ChatGPT 會進(jìn)行虛構(gòu)
本質(zhì)上，GPT 模型的原始數(shù)據(jù)集中沒有任何東西能將事實(shí)與虛構(gòu)分開。這種指導(dǎo)來自于：a）數(shù)據(jù)集中準(zhǔn)確內(nèi)容的普遍性；b）人類對結(jié)果中事實(shí)信息的識別；或者 c）來自人類的強(qiáng)化學(xué)習(xí)指導(dǎo)，強(qiáng)調(diào)某些事實(shí)的反應(yīng)。
LLMs 的行為仍然是一個(gè)活躍的研究領(lǐng)域。甚至創(chuàng)建這些 GPT 模型的研究人員仍在發(fā)現(xiàn)該技術(shù)令人驚訝的特性，這些特性在最初開發(fā)時(shí)無人預(yù)測到。GPT 能夠做許多我們現(xiàn)在看到的有趣事情，如語言翻譯、編程和下棋，一度讓研究人員感到驚訝（要了解早期的情況，請查看 2019 年的 GPT-2 研究論文并搜索“surprising”一詞）。
因此，當(dāng)我們問及 ChatGPT 為什么會進(jìn)行虛構(gòu)時(shí)，很難找出一個(gè)準(zhǔn)確的技術(shù)答案。而且，由于神經(jīng)網(wǎng)絡(luò)權(quán)重存在一個(gè)“黑匣子”的因素，所以在一個(gè)復(fù)雜的提示下，很難（如果不是不可能）預(yù)測它們的確切輸出。盡管如此，我們還是知道一些虛構(gòu)發(fā)生的基本原因。
理解 ChatGPT 的虛構(gòu)能力的關(guān)鍵是理解它作為預(yù)測機(jī)器的角色。當(dāng) ChatGPT 虛構(gòu)時(shí)，它正在尋找數(shù)據(jù)集中不存在的信息或分析，并用聽起來合理的詞來填補(bǔ)空白。ChatGPT 特別擅長編造東西，因?yàn)樗仨毺幚淼臄?shù)據(jù)量非常大，而且它收集單詞上下文的能力非常好，這有助于它將錯(cuò)誤信息無縫地放置到周圍的文本中。
“我認(rèn)為思考虛構(gòu)的最好方法是思考大型語言模型的本質(zhì)：它們唯一知道怎么做的事情是根據(jù)統(tǒng)計(jì)概率，根據(jù)訓(xùn)練集選擇下一個(gè)最好的單詞，”軟件開發(fā)人員 Simon Willison 說，他經(jīng)常就這個(gè)主題撰寫文章。
在 2021 年的一篇論文中，來自牛津大學(xué)和 OpenAI 的三位研究人員確定了像 ChatGPT 這樣的 LLM 可能產(chǎn)生的兩大類虛假信息。第一種來自于其訓(xùn)練數(shù)據(jù)集中不準(zhǔn)確的源材料，如常見的錯(cuò)誤概念（例如，“吃火雞會讓人昏昏欲睡”）。第二種情況來自于對其訓(xùn)練材料（數(shù)據(jù)集）中不存在的特定情況的推斷；這屬于前述的“幻覺”標(biāo)簽。
GPT 模型是否進(jìn)行胡亂猜測是基于人工智能研究人員稱之為“溫度”的屬性，它通常被描述為“創(chuàng)造力”設(shè)置。如果創(chuàng)造力設(shè)置得高，模型就會胡亂猜測；如果設(shè)置得低，它就會根據(jù)其數(shù)據(jù)集確定性地吐出數(shù)據(jù)。
最近，在 Bing Chat 工作的微軟員工 Mikhail Parakhin 在推特上談到了 Bing Chat 的幻覺傾向以及造成這種情況的原因。”這就是我之前試圖解釋的：幻覺 = 創(chuàng)造力，“他寫道。”它試圖利用它所掌握的所有數(shù)據(jù)產(chǎn)生字符串的最高概率的延續(xù)。很多時(shí)候它是正確的。有時(shí)人們從未產(chǎn)生過這樣的延續(xù)?！?/p>
Parakhin 說，那些瘋狂的創(chuàng)造性跳躍是使 LLM 有趣的原因?！蹦憧梢糟Q制幻覺，但這超級無聊，“他寫道。”[它] 總是回答‘我不知道’，或者只讀搜索結(jié)果中存在的內(nèi)容（有時(shí)也不正確）?，F(xiàn)在缺少的是語調(diào)：在這些情況下，它不應(yīng)該聽起來如此自信“。
當(dāng)涉及到微調(diào)像 ChatGPT 這樣的語言模型時(shí)，平衡創(chuàng)造性和準(zhǔn)確性是一個(gè)挑戰(zhàn)。一方面，提出創(chuàng)造性回應(yīng)的能力使 ChatGPT 成為產(chǎn)生新想法或解開作者瓶頸的強(qiáng)大工具。這也使模型聽起來更人性化。另一方面，當(dāng)涉及到產(chǎn)生可靠的信息和避免虛構(gòu)時(shí)，源材料的準(zhǔn)確性至關(guān)重要。在這兩者之間找到適當(dāng)?shù)钠胶馐钦Z言模型發(fā)展的一個(gè)持續(xù)的挑戰(zhàn)，但這是產(chǎn)生一個(gè)既有用又值得信賴的工具所必須的。
此外還有壓縮問題。在訓(xùn)練過程中，GPT-3 考慮了 PB 級的信息，但得到的神經(jīng)網(wǎng)絡(luò)的大小只是它的一小部分。在一篇被廣泛閱讀的《紐約客》文章中，作者 Ted Chiang 稱這是一張“模糊的網(wǎng)絡(luò) JPEG”。這意味著大部分事實(shí)訓(xùn)練數(shù)據(jù)會丟失，但 GPT-3 通過學(xué)習(xí)概念之間的關(guān)系來彌補(bǔ)這一點(diǎn)，之后它可以使用這些概念重新制定這些事實(shí)的新排列。就像一個(gè)記憶力有缺陷的人憑著對某件事情的直覺工作一樣，它有時(shí)會把事情弄錯(cuò)。當(dāng)然，如果它不知道答案，它也會給出它最好的猜測。
我們不能忘記提示在虛構(gòu)中的作用。在某些方面，ChatGPT 是一面鏡子：你給它什么，它就回給你什么。如果你給它提供虛假的信息，它就會傾向于同意你的觀點(diǎn)，并沿著這些思路”思考“。這就是為什么在改變主題或遇到不需要的反應(yīng)時(shí)，用新的提示開始是很重要的原因。ChatGPT 是概率性的，這意味著它在本質(zhì)上是部分隨機(jī)的。即使是相同的提示，它的輸出也會在不同的時(shí)段發(fā)生變化。
所有這些都導(dǎo)致了一個(gè)結(jié)論，一個(gè) OpenAI 也同意的結(jié)論：目前設(shè)計(jì)的 ChatGPT 并不是一個(gè)可靠的事實(shí)信息來源，因此不能信任它。”ChatGPT 對某些事情來說是很好的，比如疏通作家的障礙或想出創(chuàng)造性的想法，“人工智能公司 Hugging Face 的研究員和首席道德科學(xué)家 Dr. Margaret Mitchell 說?！八皇菫槭聦?shí)而建的，因此也不會是事實(shí)。就是這么簡單。”
虛構(gòu)能被解決嗎？
盲目相信 AI 聊天機(jī)器人的世代是一個(gè)錯(cuò)誤，但隨著底層技術(shù)的改進(jìn)，這種情況可能會改變。自 11 月發(fā)布以來，ChatGPT 已經(jīng)升級了幾次，一些升級包括準(zhǔn)確性的提高以及拒絕回答它不知道答案的問題的能力。
那么，OpenAI 計(jì)劃如何使 ChatGPT 更加準(zhǔn)確？在過去幾個(gè)月里，我們就這個(gè)問題多次聯(lián)系 OpenAI，但沒有得到任何回應(yīng)。但我們可以從 OpenAI 發(fā)布的文件和關(guān)于該公司試圖引導(dǎo) ChatGPT 與人類工作者接軌的新聞報(bào)道中拉出線索。
如前所述，ChatGPT 如此成功的原因之一是使用 RLHF 的廣泛培訓(xùn)。正如 OpenAI 所解釋的那樣，" 為了使我們的模型更安全、更有幫助、更一致，我們使用了一種現(xiàn)有的技術(shù)，稱為從人類反饋中強(qiáng)化學(xué)習(xí)（RLHF）。在我們的客戶向 API 提交的提示中，我們的標(biāo)簽人員提供了所需模型行為的演示，并對我們模型的幾個(gè)輸出進(jìn)行排名。然后我們使用這些數(shù)據(jù)對 GPT-3 進(jìn)行微調(diào)。“
OpenAI 的 Sutskever 認(rèn)為，通過 RLHF 進(jìn)行額外的訓(xùn)練可以解決幻覺問題。Sutskever 在本月早些時(shí)候接受《福布斯》采訪時(shí)說：“我非常希望，通過簡單地改進(jìn)人類反饋步驟中的后續(xù)強(qiáng)化學(xué)習(xí)，我們可以教會它不要產(chǎn)生幻覺?！?/p>
他繼續(xù)說道：
我們現(xiàn)在做事的方式是雇人來教我們的神經(jīng)網(wǎng)絡(luò)如何行動，教 ChatGPT 如何行動。你只要和它互動，它就會根據(jù)你的反應(yīng)，推斷出，哦，這不是你想要的。你對它的輸出不滿意。因此，輸出不是很好，下次應(yīng)該做一些不同的事情。我認(rèn)為這種方法很有可能完全解決幻覺問題。
就這一問題也有其他不同聲音。Meta 公司的首席人工智能科學(xué)家 Yann LeCun 認(rèn)為，幻覺問題不會被使用 GPT 架構(gòu)的當(dāng)前一代 LLM 所解決。但有一種迅速出現(xiàn)的方法，可能會給使用當(dāng)前架構(gòu)的 LLM 帶來很大的準(zhǔn)確性。
Goodside 說：“在提高 LLM 的事實(shí)性方面，研究得最積極的方法之一是檢索增強(qiáng) -- 向模型提供外部文件作為來源和支持性背景”。他解釋說，通過這種技術(shù)，研究人員希望教會模型使用像谷歌這樣的外部搜索引擎，“像人類研究人員那樣在它們的答案中引用可靠的來源，并減少對模型訓(xùn)練期間學(xué)到的不可靠的事實(shí)性知識的依賴?！?/p>
Bing Chat 和 Google Bard 已經(jīng)通過引入網(wǎng)絡(luò)搜索做到了這一點(diǎn)，很快，支持瀏覽器的 ChatGPT 版本也將如此。此外，ChatGPT 插件旨在用它從外部來源（如網(wǎng)絡(luò)和專門的數(shù)據(jù)庫）檢索的信息來補(bǔ)充 GPT-4 的訓(xùn)練數(shù)據(jù)。這種增強(qiáng)類似于有百科全書的人會比沒有百科全書的人更準(zhǔn)確地描述事實(shí)。
此外，也許可以訓(xùn)練像 GPT-4 這樣的模型，讓它意識到自己何時(shí)在編造事情并進(jìn)行相應(yīng)的調(diào)整。Mitchell 說：“人們可以做一些更深入的事情，讓 ChatGPT 和類似的東西從一開始就更加真實(shí)，包括更復(fù)雜的數(shù)據(jù)管理，以及使用一種類似于 PageRank 的方法，將訓(xùn)練數(shù)據(jù)與‘信任’分?jǐn)?shù)聯(lián)系起來……當(dāng)它對回應(yīng)不那么有信心時(shí)，還可以對模型進(jìn)行微調(diào)以對沖風(fēng)險(xiǎn)。”
因此，雖然 ChatGPT 目前因虛構(gòu)問題陷入困境，但未來可能還有出路，為了一個(gè)開始依賴這些工具作為基本助手（無論好壞）的世界，事實(shí)可靠性的改善不會很快到來。