文|三易生活
“既是天使、也是魔鬼”,或許是如今對AI最為精確的一句描述。如今再度走紅的AI在幫助人類社會實現(xiàn)效率革命的同時,同樣也帶來AI新聞造假的泛濫以及愈演愈烈的AI騙局,因此監(jiān)管AI就成為了當下科技界一個重要的議題。然而面對可以稱得上是日新月異的AI技術迭代速度,針對其可能衍生出諸多危險結果的思潮也開始高漲。
面對這一問題,作為當下AI技術先驅的OpenAI站了出來。該公司創(chuàng)始人薩姆·奧特曼自今年年初開始就頻頻“走穴”,出席從學術界到工業(yè)界,再到監(jiān)管層面圍繞AI的相關討論,更是主動提出了監(jiān)管方案,并希望監(jiān)管部門早日考慮立法。同時OpenAI也沒忘記嘗試從技術層面來約束AI,并在今年2月推出了一款試圖區(qū)分人工編寫文本和AI生成文本的檢測工具。
這款工具名為AI文本檢測器(AI Text Classifier),也曾被OpenAI方面認為有助于防止AI文本生成器被濫用,但在經過了數(shù)月的實踐后,OpenAI在數(shù)天前悄然下線了AI文本檢測器。根據(jù)OpenAI的說法,下架這款工具是因為檢測準確率過低,但“會繼續(xù)研究更有效的相關技術”。所以簡而言之,就是OpenAI此前希望用AI來監(jiān)管AI的嘗試似乎已經落空了。
此前OpenAI在推出這款AI文本檢測器時,其實外界的期待值曾頗高,并希望它能夠與ChatGPT上演一出“貓鼠游戲”。而這款公布的使用也一點都不復雜,在檢測過程中用戶只要將需要檢測的文本復制到檢測器上,就可以檢查內容是否為AI生成,而且也不限定文本內容的種類。
如果說在面對海量的信息時,人工監(jiān)管幾乎不現(xiàn)實,那么用AI相關技術來監(jiān)測內容或許才是更具現(xiàn)實意義的操作。然而遺憾的是,AI文本檢測器的效果甚至連差強人意可能都稱不上。據(jù)OpenAI方面公布的相關數(shù)據(jù)顯示,AI檢測器在識別AI生成文本方面的正確率僅為26%,同時將人類所寫內容識別為AI生成的錯誤率則達到了9%。
實際上,用戶體感可能還遠低于這一數(shù)字。有研究人員就曾使用一本在數(shù)年前就已出版書籍中的片段進行了測試,結果AI文本檢測器顯示,不清楚這本書的序言是否由AI撰寫,但前言“或許(Possibly)是人工智能生成,第一章的一段是“可能是(Likely)”人工智能寫的。
更有甚者,還有人曾將莎士比亞的《麥克白》放上去進行檢測,結果的反饋卻是,“The classifier considers the text to be likely AI-generated”。即這款AI檢測器認為,《麥克白》可能是AI寫的。
事實上,不僅僅是OpenAI在嘗試以AI來制衡AI,如今有相當多的機構或研究人員正走在這條路上,但截至目前無一例外都沒有商業(yè)化的價值。
雖然OpenAI方面目前并未公布AI文本檢測器的技術原理,但從其所要實現(xiàn)的目的來看,大概率是使用監(jiān)督學習的方法。監(jiān)督學習其實是機器學習中的一種訓練方式,是指利用一組已知類別的樣本調整分類器的參數(shù),使得其達到所要求性能的過程。在這里,訓練數(shù)據(jù)成為輸入數(shù)據(jù),分類則成為標簽數(shù)據(jù)。
簡單來說,盡管本不知道A和B能得倒一個什么樣的關系,但是通過很多個A和B、且已知AB關系的數(shù)據(jù)可以得知,他們存在一種函數(shù)式關系f(A,B),并且在后續(xù)可以通過f(A,B)來得到一個符合實際規(guī)律(相對準確)的結果。眾所周知,ChatGPT訓練中很重要的一步是RLHF, 即有人類反饋的增強學習,這其實就是非常典型的監(jiān)督學習。
作為一個AI領域經典的方法論,監(jiān)督學習技術自然也有已經被發(fā)現(xiàn)的缺陷。其一,監(jiān)督學習的一個重要前提,是需要大量的標注數(shù)據(jù),并且標注數(shù)據(jù)的質量對模型性能有著直接的影響,不準確或不完整的標注數(shù)據(jù)可能會導致模型的錯誤預測。其二,在實際應用中,不同類別的樣本數(shù)量可能存在嚴重的不平衡,即某些類別的樣本數(shù)量遠遠少于其他類別。這就會導致模型在學習過程中對少數(shù)類別的識別性能較差,從而影響到模型的整體性能。
比如,OpenAI的AI文本檢測器之所以認不出《麥克白》是莎士比亞的作品,關鍵因素就是莎士比亞是接近500年前的歷史人物,他寫《麥克白》所使用的古英語和現(xiàn)代英語存在不小的區(qū)別。但OpenAI的數(shù)據(jù)集里古英語的數(shù)量大概率極為有限,因此AI自然也就無法確定《麥克白》來自何處,而找不到出處就推斷為AI產出的內容,其實也是相當合理的。
因此這就是問題所在,如果AI檢測工具本身的性能夠強,它就需要一個接近ChatGPT、或者其他AI大模型量級的數(shù)據(jù)集。但顯而易見的是,從目前的情況來說,從無到有標注一個有別于ChatGPT的數(shù)據(jù)集不僅OpenAI做不到,即使它的重要投資方微軟也有力未逮。畢竟如果真的有這樣的數(shù)據(jù)集,為什么不去拿它訓練ChatGPT,來孵化出更強大的GPT-5呢?
所以歸根結底,用AI來監(jiān)管AI現(xiàn)階段可能還只是一個美好的暢想,但從當下的技術條件來看,這一路徑并不具備現(xiàn)實意義。如果說單單幫助人類分辨到底哪些內容是由AI產出,或許數(shù)字水印技術反而更有可行性。在ChatGPT等AI大模型生成內容的那一刻就加入水印,直接讓用戶看到內容時就能知道它到底是不是由AI生成的。