正在閱讀:

“一夜長大”的ChatGPT,值得被信任嗎?

掃一掃下載界面新聞APP

“一夜長大”的ChatGPT,值得被信任嗎?

ChatGPT狂歡背后的“善惡門”。

文| IT時報記者 郝俊慧

編輯|王昕 孫妍

短短十天,全球被一波又一波的ChatGPT浪潮“炸暈”了。

無論是可支持多模態(tài)輸入的ChatGPT 4.0,內(nèi)置ChatGPT 4.0后可以一鍵生成PPT的Office 365,還是雖然不那么令人滿意但也還算能打的文心一言,最終都濃縮為英偉達創(chuàng)始人CEO黃仁勛在3月21日年度技術峰會GTC上連續(xù)強調(diào)七次的那句話——“我們正處在AI的iPhone時刻”。

然而,當絕大多數(shù)人歡呼AIGC(利用人工智能技術生成內(nèi)容)降低了普通人使用AI的門檻時,擔憂接踵而來:AI或將帶來新型網(wǎng)絡攻擊。

3月21日,中國產(chǎn)業(yè)互聯(lián)網(wǎng)發(fā)展聯(lián)盟、《中國信息安全》雜志、南方日報、中國網(wǎng)絡空間新興技術創(chuàng)新論壇、騰訊安全、騰訊研究院聯(lián)合發(fā)布的《2023產(chǎn)業(yè)互聯(lián)網(wǎng)安全十大趨勢》提出,以ChatGPT為代表的生成式人工智能技術進步,將會引發(fā)潛在新型攻擊和內(nèi)容合規(guī)等安全風險。

目前,已有安全團隊發(fā)現(xiàn),網(wǎng)絡攻擊者開始使用ChatGPT創(chuàng)建惡意軟件、暗網(wǎng)站點和其他實施網(wǎng)絡攻擊的工具,甚至詐騙團伙也開始用ChatGPT生成“劇本”,進行更有針對性的精準詐騙。

ChatGPT版“詐騙劇本”已上線

ChatGPT的橫空出世,讓很多人擔憂自己會失業(yè)。生成式人工智能技術的發(fā)展,讓寫論文、寫代碼等原本具有一定門檻的人類創(chuàng)作性工作,變成只需輸入的一行文字請求。黃仁勛便認為,程序員將成為第一批失業(yè)的職業(yè),ChatGPT讓普通人對原本復雜的編碼程序唾手可得。

同時被拉低的,還有“詐騙的門檻”。騰訊安全策略發(fā)展中心總經(jīng)理呂一平的安全團隊觀察到,已經(jīng)有詐騙分子開始利用ChatGPT編寫“釣魚劇本”,這大大提高了騙子實施精準詐騙的效率。

安全領域有一個專用名詞叫“社攻”,也即利用社交關系攻擊的方式。詐騙分子通過與被害者聊天,誘導其點擊惡意鏈接,或者下載一些惡意軟件,從而在電腦里“種好木馬”,常見的話術有:“你孩子在學校生病了”“你被法院起訴了”“你獲得一筆退款”等。

“為了贏得被騙人的信任,詐騙分子通常有多套溝通劇本,分別扮演警察、老師、客服等角色,原本這些劇本需人工編寫,且必須具備一定的專業(yè)知識。比如扮演HR,你要深入了解對方的工作;扮演保險公司業(yè)務員,要對保險業(yè)務有比較清晰的了解……”呂一平告訴《IT時報》記者,通過ChatGPT,編寫劇本不再需要有“專業(yè)能力”的騙子,而且“劇本”幾乎瞬間生成,大大提升了行騙的效率,因此,未來“劇本”里很可能會出現(xiàn)更多樣化的角色、誘騙手段,形成新的釣魚攻擊方式。

調(diào)用ChatGPT API?未必合規(guī)

3月初,OpenAI放出ChatGPT API,開發(fā)者可以將ChatGPT集成到自家應用和服務的門檻上,構建屬于自己的AI聊天機器人。

但安全專家建議,國內(nèi)開發(fā)者先別急著“沖”,首先要評估這種應用方式是否合規(guī)。隨著《網(wǎng)絡安全法》《數(shù)據(jù)安全法》《個人信息保護法》的頒布,以及《信息安全技術個人信息安全規(guī)范》等行業(yè)標準的實施,數(shù)據(jù)安全成為企業(yè)構建安全體系的重中之重,尤其是對“出境數(shù)據(jù)”,國家有明確嚴格的評估要求,2022年9月1日,國家互聯(lián)網(wǎng)信息辦公室公布《數(shù)據(jù)出境安全評估辦法》正式施行。

“調(diào)用ChatGPT API,意味著要將ChatGPT接入App,但目前ChatGPT所有服務器全部在國外,需根據(jù)我國法律對出境數(shù)據(jù)進行評估,尤其如果App涉及個人信息、地理位置等隱私數(shù)據(jù),更要重視合規(guī)性?!眳我黄秸J為,數(shù)據(jù)安全隱患是中國企業(yè)引入ChatGPT時的最直接風險。

此外,調(diào)試ChatGPT時輸入的數(shù)據(jù)、代碼,也有同樣風險。據(jù)《IT時報》記者了解,目前國內(nèi)幾家互聯(lián)網(wǎng)大廠都明確要求,員工不得用公司數(shù)據(jù)“喂”ChatGPT。

信任ChatGPT?不能太天真

作為大規(guī)模語言模型,新發(fā)布的ChatGPT4.0展現(xiàn)出比上一代版本更強大的輸入能力和輸出結果,也出現(xiàn)了更多的“涌現(xiàn)”。所謂涌現(xiàn),是指當大模型的參數(shù)規(guī)模超過某一個臨界值時,只需給模型提供提示,就可以讓其自動執(zhí)行任務,而這種提示既沒有經(jīng)過專門訓練,也從未被期望過出現(xiàn),也即會呈現(xiàn)出強大的“智慧能力”。

但在斯坦福大學眾多學者聯(lián)合撰寫的文章《On the Opportunities and Risks of Foundation Models(基礎模型的機會與風險)》中,“涌現(xiàn)”意味著系統(tǒng)的行為是隱式歸納而不是顯式構造的,故基礎模型顯得更難以理解,并具有難以預料的錯誤模式。

“一夜長大”的ChatGPT固然讓人類看到真正強人工智能時代帶來的曙光,但同時也深藏隱憂——它為什么會如此想?它是真正這么想嗎?正如《流浪地球2》中的MOSS,它的“涌現(xiàn)”究竟從何時開始?誰又能控制它?所有一切都指向終極問題——AI值得信任嗎?

“至少目前來看,大規(guī)模語言模型還無法做到被證偽,如果人們信任它們給出的一些回答,很可能會引起嚴重的后果。”安全公司知其安創(chuàng)始人聶君認為,ChatGPT使生成高質(zhì)量、高逼真信息的門檻大大降低,而老人、孩子是最容易被高逼真信息困擾或傷害的弱勢群體,因此一些需要職業(yè)資格認定的領域不應該輕易使用類ChatGPT產(chǎn)品,比如律師、醫(yī)生等,“國家今后也很可能會出臺一些相應的法律規(guī)范?!?/p>

排版/ 季嘉穎

本文為轉載內(nèi)容,授權事宜請聯(lián)系原著作權人。

評論

暫無評論哦,快來評價一下吧!

下載界面新聞

微信公眾號

微博

“一夜長大”的ChatGPT,值得被信任嗎?

ChatGPT狂歡背后的“善惡門”。

文| IT時報記者 郝俊慧

編輯|王昕 孫妍

短短十天,全球被一波又一波的ChatGPT浪潮“炸暈”了。

無論是可支持多模態(tài)輸入的ChatGPT 4.0,內(nèi)置ChatGPT 4.0后可以一鍵生成PPT的Office 365,還是雖然不那么令人滿意但也還算能打的文心一言,最終都濃縮為英偉達創(chuàng)始人CEO黃仁勛在3月21日年度技術峰會GTC上連續(xù)強調(diào)七次的那句話——“我們正處在AI的iPhone時刻”。

然而,當絕大多數(shù)人歡呼AIGC(利用人工智能技術生成內(nèi)容)降低了普通人使用AI的門檻時,擔憂接踵而來:AI或將帶來新型網(wǎng)絡攻擊。

3月21日,中國產(chǎn)業(yè)互聯(lián)網(wǎng)發(fā)展聯(lián)盟、《中國信息安全》雜志、南方日報、中國網(wǎng)絡空間新興技術創(chuàng)新論壇、騰訊安全、騰訊研究院聯(lián)合發(fā)布的《2023產(chǎn)業(yè)互聯(lián)網(wǎng)安全十大趨勢》提出,以ChatGPT為代表的生成式人工智能技術進步,將會引發(fā)潛在新型攻擊和內(nèi)容合規(guī)等安全風險。

目前,已有安全團隊發(fā)現(xiàn),網(wǎng)絡攻擊者開始使用ChatGPT創(chuàng)建惡意軟件、暗網(wǎng)站點和其他實施網(wǎng)絡攻擊的工具,甚至詐騙團伙也開始用ChatGPT生成“劇本”,進行更有針對性的精準詐騙。

ChatGPT版“詐騙劇本”已上線

ChatGPT的橫空出世,讓很多人擔憂自己會失業(yè)。生成式人工智能技術的發(fā)展,讓寫論文、寫代碼等原本具有一定門檻的人類創(chuàng)作性工作,變成只需輸入的一行文字請求。黃仁勛便認為,程序員將成為第一批失業(yè)的職業(yè),ChatGPT讓普通人對原本復雜的編碼程序唾手可得。

同時被拉低的,還有“詐騙的門檻”。騰訊安全策略發(fā)展中心總經(jīng)理呂一平的安全團隊觀察到,已經(jīng)有詐騙分子開始利用ChatGPT編寫“釣魚劇本”,這大大提高了騙子實施精準詐騙的效率。

安全領域有一個專用名詞叫“社攻”,也即利用社交關系攻擊的方式。詐騙分子通過與被害者聊天,誘導其點擊惡意鏈接,或者下載一些惡意軟件,從而在電腦里“種好木馬”,常見的話術有:“你孩子在學校生病了”“你被法院起訴了”“你獲得一筆退款”等。

“為了贏得被騙人的信任,詐騙分子通常有多套溝通劇本,分別扮演警察、老師、客服等角色,原本這些劇本需人工編寫,且必須具備一定的專業(yè)知識。比如扮演HR,你要深入了解對方的工作;扮演保險公司業(yè)務員,要對保險業(yè)務有比較清晰的了解……”呂一平告訴《IT時報》記者,通過ChatGPT,編寫劇本不再需要有“專業(yè)能力”的騙子,而且“劇本”幾乎瞬間生成,大大提升了行騙的效率,因此,未來“劇本”里很可能會出現(xiàn)更多樣化的角色、誘騙手段,形成新的釣魚攻擊方式。

調(diào)用ChatGPT API?未必合規(guī)

3月初,OpenAI放出ChatGPT API,開發(fā)者可以將ChatGPT集成到自家應用和服務的門檻上,構建屬于自己的AI聊天機器人。

但安全專家建議,國內(nèi)開發(fā)者先別急著“沖”,首先要評估這種應用方式是否合規(guī)。隨著《網(wǎng)絡安全法》《數(shù)據(jù)安全法》《個人信息保護法》的頒布,以及《信息安全技術個人信息安全規(guī)范》等行業(yè)標準的實施,數(shù)據(jù)安全成為企業(yè)構建安全體系的重中之重,尤其是對“出境數(shù)據(jù)”,國家有明確嚴格的評估要求,2022年9月1日,國家互聯(lián)網(wǎng)信息辦公室公布《數(shù)據(jù)出境安全評估辦法》正式施行。

“調(diào)用ChatGPT API,意味著要將ChatGPT接入App,但目前ChatGPT所有服務器全部在國外,需根據(jù)我國法律對出境數(shù)據(jù)進行評估,尤其如果App涉及個人信息、地理位置等隱私數(shù)據(jù),更要重視合規(guī)性。”呂一平認為,數(shù)據(jù)安全隱患是中國企業(yè)引入ChatGPT時的最直接風險。

此外,調(diào)試ChatGPT時輸入的數(shù)據(jù)、代碼,也有同樣風險。據(jù)《IT時報》記者了解,目前國內(nèi)幾家互聯(lián)網(wǎng)大廠都明確要求,員工不得用公司數(shù)據(jù)“喂”ChatGPT。

信任ChatGPT?不能太天真

作為大規(guī)模語言模型,新發(fā)布的ChatGPT4.0展現(xiàn)出比上一代版本更強大的輸入能力和輸出結果,也出現(xiàn)了更多的“涌現(xiàn)”。所謂涌現(xiàn),是指當大模型的參數(shù)規(guī)模超過某一個臨界值時,只需給模型提供提示,就可以讓其自動執(zhí)行任務,而這種提示既沒有經(jīng)過專門訓練,也從未被期望過出現(xiàn),也即會呈現(xiàn)出強大的“智慧能力”。

但在斯坦福大學眾多學者聯(lián)合撰寫的文章《On the Opportunities and Risks of Foundation Models(基礎模型的機會與風險)》中,“涌現(xiàn)”意味著系統(tǒng)的行為是隱式歸納而不是顯式構造的,故基礎模型顯得更難以理解,并具有難以預料的錯誤模式。

“一夜長大”的ChatGPT固然讓人類看到真正強人工智能時代帶來的曙光,但同時也深藏隱憂——它為什么會如此想?它是真正這么想嗎?正如《流浪地球2》中的MOSS,它的“涌現(xiàn)”究竟從何時開始?誰又能控制它?所有一切都指向終極問題——AI值得信任嗎?

“至少目前來看,大規(guī)模語言模型還無法做到被證偽,如果人們信任它們給出的一些回答,很可能會引起嚴重的后果?!卑踩局浒矂?chuàng)始人聶君認為,ChatGPT使生成高質(zhì)量、高逼真信息的門檻大大降低,而老人、孩子是最容易被高逼真信息困擾或傷害的弱勢群體,因此一些需要職業(yè)資格認定的領域不應該輕易使用類ChatGPT產(chǎn)品,比如律師、醫(yī)生等,“國家今后也很可能會出臺一些相應的法律規(guī)范?!?/p>

排版/ 季嘉穎

本文為轉載內(nèi)容,授權事宜請聯(lián)系原著作權人。