文 | IT時(shí)報(bào) 賈天榮
編輯 | 郝俊慧 孫妍
每年3·15，《IT時(shí)報(bào)》都會(huì)關(guān)注互聯(lián)網(wǎng)消費(fèi)領(lǐng)域中，隨著新應(yīng)用和新服務(wù)出現(xiàn)的侵犯消費(fèi)者權(quán)利的事件和現(xiàn)象，今年，這些“假”要繼續(xù)打下去，盜版圖書泛濫、臨期護(hù)膚品成“假貨天堂” 、9.9元“換臉”馬斯克等。《IT時(shí)報(bào)》將持續(xù)推出“3·15行動(dòng)周”專題報(bào)道。
“靳東”“雷軍”“張文宏”……當(dāng)這些熟悉的臉出現(xiàn)在短視頻平臺(tái)上、視頻通話的那頭，用熟悉的語調(diào)說著“溫暖”的話，你會(huì)相信嗎？
剛剛結(jié)束的兩會(huì)期間，“AI換臉”“AI擬聲”成為代表們熱議的焦點(diǎn)。全國政協(xié)委員、演員靳東“深受其害”，江西一位老人差點(diǎn)AI合成的“假靳東”騙走200萬元；全國政協(xié)委員、上海華山醫(yī)院醫(yī)生張文宏被AI換臉“帶貨”，部分老人信以為真并下單購買；全國人大代表、小米集團(tuán)CEO雷軍在去年國慶期間，被人用AI捏造聲音亂說一氣，并以“雷軍語音包”的形式在網(wǎng)上流傳……
除了偽裝名人詐騙，個(gè)人肖像權(quán)、隱私權(quán)在AI的“攻擊”下，也變得更容易被侵害。知名模特葉凱薇日前發(fā)布視頻稱，有人利用AI換臉技術(shù)制作并傳播淫穢視頻，對(duì)其個(gè)人生活造成嚴(yán)重困擾。
甚至普通人在不經(jīng)意間都可能成為“受害者”。2023年廣州一位女子在地鐵上的照片被有心人用AI“一鍵脫衣”，并故意全網(wǎng)散播。
“大模型的普及及生成式AI的技術(shù)突破帶來的‘技術(shù)平權(quán)’，是深度偽造技術(shù)濫用高發(fā)的重要原因，”上海計(jì)算機(jī)軟件技術(shù)開發(fā)中心主任、研究員蔡立志接受《IT時(shí)報(bào)》記者采訪時(shí)指出，目前，對(duì)于AI換臉的“反偵察”技術(shù)檢測尚無法做到百分百準(zhǔn)確，但制作“假臉和假聲音”的技術(shù)和成本門檻卻越來越低。
《IT時(shí)報(bào)》記者調(diào)查發(fā)現(xiàn)，在電商平臺(tái)上，僅用9.9元便可以買到一款A(yù)I換臉軟件，10分鐘之后，記者“換臉”成功，變身女同事，而且可以隨意錄制視頻。而在一些大模型中，上傳照片生成一個(gè)“數(shù)字人”只在分秒之間，不僅沒有審核，甚至免費(fèi)。
不僅源頭難以遏制，各大平臺(tái)的審核機(jī)制也難以奏效，記者測試生成的一條“換臉”馬斯克視頻不僅順利發(fā)布，且沒有被標(biāo)注為“AI生成”或攔截，流量甚至破萬。
對(duì)“AI換臉”“AI擬聲”立法已刻不容緩。統(tǒng)計(jì)顯示，僅2023年，基于AI的深度偽造欺詐暴增3000%。浙江警方數(shù)據(jù)顯示，AI詐騙案件在2024年同比激增270%，單筆損失金額超百萬元的案例中，83%涉及偽造視頻。
記者調(diào)查 “AI換臉”軟件 9.9元唾手可得 10分鐘上手 直播帶貨、視頻通話皆可用
手機(jī)屏幕上，一位外表看似儒雅的“專家”，正耐心講述健康養(yǎng)生知識(shí)，不經(jīng)意間向觀眾推薦起“糖尿病調(diào)理好物”，如果你仔細(xì)端詳會(huì)發(fā)現(xiàn)，他總是在重復(fù)一些動(dòng)作或者內(nèi)容。這是位“AI數(shù)字人專家”。
當(dāng)前，AI數(shù)字人疊加養(yǎng)生內(nèi)容，已成為部分商家的帶貨“黃金賽道”。他們利用AI技術(shù)批量制作視頻，同時(shí)運(yùn)營數(shù)十個(gè)矩陣賬號(hào)，精準(zhǔn)投放至中老年群體，以虛假專家形象獲取信任，并通過軟性營銷引導(dǎo)他們高價(jià)購買保健品，許多老年人深受其害。相比傳統(tǒng)詐騙，AI數(shù)字人帶貨的隱蔽性更強(qiáng)、規(guī)模更大，受害者更難察覺其虛假性。
以“AI換臉”為關(guān)鍵詞在各大電商平臺(tái)上搜索，結(jié)果為“無法顯示”，但如果換一個(gè)詞，比如“AI視頻通話”，便跳出大量AI視頻換臉相關(guān)教程甚至軟件售賣。于是，《IT時(shí)報(bào)》記者下單了一款9.9元/天的AI換臉軟件。
這是一款PC端軟件，界面頗為專業(yè)，但操作流程極為簡單。僅通過文字及視頻教程，不到10分鐘，記者便“變身”女同事，并順利生成數(shù)個(gè)視頻，途中無任何要求。
換臉成功后，記者嘗試做出多種動(dòng)作，如拍臉、按鼻、露牙齒及大幅遮擋臉部，均未出現(xiàn)明顯破綻。此外，該軟件還能通過高清修復(fù)、自動(dòng)遮罩、調(diào)整攝像頭參數(shù)、換臉像素、強(qiáng)度、方向、差異化等多項(xiàng)功能，優(yōu)化換臉效果，使其更加逼真。
與此同時(shí)，該軟件不僅支持制作換臉視頻，還具備虛擬攝像頭功能，可在QQ、微信等社交軟件上實(shí)現(xiàn)實(shí)時(shí)換臉視頻通話，甚至能推流直播。記者進(jìn)一步查看軟件主頁發(fā)現(xiàn)，其提供“0元無限次試用一天”的免費(fèi)體驗(yàn)，并允許用戶測試視頻或直播AI換臉，而最高支付399元即可獲得軟件的永久使用權(quán)及在線指導(dǎo)服務(wù)。
在手機(jī)應(yīng)用商店里搜索“AI換臉”，相關(guān)App更多，有的甚至直接取名為“AI換臉”，其中大部分需開通會(huì)員或付費(fèi)使用。不過由于大多數(shù)換臉工具都設(shè)定了固定場景，從效果看逼真度不高。
但在一些知名視頻軟件中，“AI數(shù)字人”的效果已趨于完美，用戶僅需上傳一張照片，便可一鍵生成數(shù)字人，并可自由設(shè)定臺(tái)詞。
在“即夢AI”中，記者上傳了一張明星照片和幾句臺(tái)詞，幾分鐘后，軟件便自動(dòng)生成了該明星按照設(shè)定臺(tái)詞講話的視頻。雖然生成的視頻帶有AI生成的logo，但裁剪后仍可完整呈現(xiàn)。
相較之下，“剪映”的做法便令人有安全感。同樣上傳明星照片后，系統(tǒng)顯示：檢測到該照片屬于真人，要求進(jìn)行本人驗(yàn)證。用戶需在線實(shí)時(shí)拍攝照片，與上傳圖片比對(duì)，若不一致則無法通過審核。
2023年1月10日中國國家互聯(lián)網(wǎng)信息辦公室、工業(yè)和信息化部、公安部聯(lián)合發(fā)布《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》（以下簡稱《規(guī)定》），要求深度合成服務(wù)提供者對(duì)其生成的內(nèi)容，比如人臉、聲音、沉浸式場景等特殊內(nèi)容，需要進(jìn)行顯著標(biāo)識(shí)。
然而，《IT時(shí)報(bào)》記者的各類測試顯示，不僅生成一段“假明星”視頻的成本和技術(shù)門檻都已極低，很多AI生成結(jié)果并無任何標(biāo)識(shí)，即便有的帶有“AIGC”字樣，也可以被隨意剪裁。
上傳短視頻平臺(tái) “變臉視頻”都沒被認(rèn)出
根據(jù)2024年9月14日國家互聯(lián)網(wǎng)信息辦公室發(fā)布的《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法（征求意見稿）》，人工智能生成合成內(nèi)容中應(yīng)添加隱式標(biāo)識(shí)，這是一種采取技術(shù)措施在生成合成內(nèi)容文件數(shù)據(jù)中添加的、不易被用戶明顯感知到的標(biāo)識(shí)。
由于此辦法尚未正式實(shí)施，目前一些傳播平臺(tái)采用AIGC識(shí)別模型，并結(jié)合人工審核，以主動(dòng)檢測內(nèi)容是否由AI生成。對(duì)于疑似AI生成的內(nèi)容，部分平臺(tái)會(huì)標(biāo)注“疑似使用AI生成技術(shù)，請謹(jǐn)慎甄別”，提醒用戶提高警惕。
不過，從實(shí)際實(shí)施情況來看，并不樂觀。
《IT時(shí)報(bào)》記者制作了幾條痕跡較為明顯的AI換臉視頻，并嘗試在各大平臺(tái)發(fā)布。結(jié)果顯示，所有視頻均可順利上傳，且未出現(xiàn)AI相關(guān)提示。即便主動(dòng)在標(biāo)題中注明“AI換臉”，也未觸發(fā)任何警示。
即便同為字節(jié)跳動(dòng)旗下產(chǎn)品，當(dāng)記者將即夢AI生成的“變臉視頻”裁剪logo后上傳至抖音時(shí)，系統(tǒng)也沒有任何提示，沒能自動(dòng)識(shí)別。
隨后，記者切換賬號(hào)，對(duì)其中一條視頻進(jìn)行投訴，幾分鐘后，其中一條視頻被限制為“僅互相關(guān)注用戶可見”，并在視頻底部標(biāo)注“疑似使用AI生成技術(shù)，請謹(jǐn)慎甄別”。然而，同一賬號(hào)內(nèi)另一條相同內(nèi)容的視頻和其他AI換臉視頻，依然“安然無恙”。
在微博平臺(tái)，記者發(fā)布的兩則AI換臉視頻，其中一條在發(fā)布六分鐘后被刪除，理由是“未通過審核”，具體原因并未說明。而另一條視頻則順利發(fā)布，且未被標(biāo)注任何AI相關(guān)提示。
在視頻號(hào)上，記者也發(fā)布了兩則AI生成的“名人換臉”視頻，其中一條在一天內(nèi)播放量突破1.8萬，但兩條視頻均未被標(biāo)注AI生成。記者嘗試投訴，但視頻號(hào)的投訴流程較為復(fù)雜，甚至需要提交真實(shí)姓名和身份證正反面照片，審核門檻高于其他平臺(tái)。
在小紅書，記者發(fā)布了兩條AI換臉視頻，其中一條主動(dòng)添加了“AI換臉”標(biāo)簽，但仍未觸發(fā)任何提示。記者隨后用另一個(gè)賬號(hào)對(duì)該視頻進(jìn)行投訴，約10小時(shí)后收到反饋，稱該視頻因“涉及利用AI技術(shù)虛構(gòu)社會(huì)事件或假冒真人形象”違規(guī)，被限制推薦給未關(guān)注用戶。然而，該視頻仍并未被打上任何AI相關(guān)標(biāo)識(shí)。
快手平臺(tái)，兩則AI換臉視頻均順利發(fā)布，同樣未被標(biāo)注AI相關(guān)提示。在快手的舉報(bào)選項(xiàng)中，“AI換臉等惡意P圖行為”被單獨(dú)列出，但截至發(fā)稿，記者的投訴仍未收到反饋。
測試結(jié)果表明，不同平臺(tái)在AI換臉視頻的審核機(jī)制上存在明顯差異，但所有平臺(tái)都未能檢測出記者發(fā)布的“AI換臉”視頻并為其打上標(biāo)識(shí)，部分平臺(tái)對(duì)投訴后的視頻進(jìn)行了標(biāo)注或限制，但多數(shù)情況下，AI換臉內(nèi)容仍能輕松發(fā)布，且未受到明顯限制。
專家分析 從“AI換臉”到“AI生臉”
“技術(shù)平權(quán)讓大模型真正‘飛入尋常百姓家’。”蔡立志表示，生成式人工智能的技術(shù)突破打破了專業(yè)壁壘，也降低了違法門檻。早期基于初級(jí)深度學(xué)習(xí)的換臉技術(shù)是“貼圖式”——將目標(biāo)人臉裁剪后直接覆蓋原圖，僅替換五官核心區(qū)域，依賴邊緣模糊處理（如頭發(fā)、背景保留原圖），類似“貼紙拼接”。而當(dāng)前AI換臉已演進(jìn)為“生成式重構(gòu)”——系統(tǒng)通過識(shí)別面部特征后完全生成新圖像，而非簡單拼接，“就像現(xiàn)代翻譯不再是機(jī)械轉(zhuǎn)換而是語義重構(gòu)，現(xiàn)在的換臉技術(shù)已實(shí)現(xiàn)特征融合的智能化生成?！?/p>
尤其是根據(jù)清華大學(xué)劉知遠(yuǎn)教授團(tuán)隊(duì)提出的大模型密度定律（Densing Law）—— 模型能力密度隨時(shí)間呈指數(shù)級(jí)增長，每隔100天就可以用一半?yún)?shù)量實(shí)現(xiàn)當(dāng)前最優(yōu)模型相當(dāng)?shù)男阅?，越來越多高能力的開源大模型可以實(shí)現(xiàn)本地化部署，并在普通電腦上就能實(shí)現(xiàn)運(yùn)行效果良好的生成系統(tǒng)，“這打破了以往受云端服務(wù)倫理約束的限制。同時(shí)，生成質(zhì)量的提升也使得傳統(tǒng)識(shí)別手段失效。”蔡立志表示。
《IT時(shí)報(bào)》記者注意到，當(dāng)前市場上已經(jīng)有不少AI檢測工具，專門用于鑒別視頻和照片的真實(shí)性。然而，這些工具的可靠性如何？它們的極限在哪里？
“100%檢測成功率是不可能的?！辈塘⒅颈硎?，從技術(shù)發(fā)展的角度來看，AI的“矛”與“盾”始終在同步進(jìn)化。生成式AI技術(shù)依靠不斷優(yōu)化來提高仿真效果。其核心機(jī)制是讓生成的內(nèi)容與真實(shí)內(nèi)容進(jìn)行對(duì)比，找出差距后進(jìn)行調(diào)整，直到差距縮小到人眼或檢測工具難以分辨的程度。正因?yàn)槿绱?，檢測工具在本質(zhì)上是落后于造假技術(shù)的。
當(dāng)前AI檢測的有效策略只能是加快技術(shù)迭代，以盡可能縮小造假與檢測之間的差距。同時(shí)，需要多種方法并行推進(jìn)，例如結(jié)合多模態(tài)數(shù)據(jù)分析、深度學(xué)習(xí)模型優(yōu)化以及人工鑒別輔助等，才能在一定程度上提高檢測的準(zhǔn)確性。最終，AI真假鑒別的過程將始終是一場“攻與防”的動(dòng)態(tài)對(duì)抗，而非一勞永逸的解決方案。
騰訊云天御風(fēng)控技術(shù)總監(jiān)黃澤豐告訴《IT時(shí)報(bào)》記者，從目前AI技術(shù)發(fā)展的態(tài)勢看，新的攻擊手段、濫用的趨勢正在加速，對(duì)普通用戶（尤其是對(duì)新技術(shù)判斷能力較為有限的老年群體），更加難以防范，因此必須依靠技術(shù)、平臺(tái)以及法律法規(guī)共同發(fā)力，遏制AI技術(shù)濫用于深度偽造。
例如加速頂層立法，建立AI風(fēng)險(xiǎn)的分級(jí)分類管理制度；要求AI生成內(nèi)容添加可明確識(shí)別判斷的水印或標(biāo)識(shí)；細(xì)化平臺(tái)、用戶、內(nèi)容提供方的責(zé)任和義務(wù)；政府和企業(yè)各界為新的對(duì)抗技術(shù)提供應(yīng)用土壤；推動(dòng)AI生成內(nèi)容技術(shù)標(biāo)準(zhǔn)助力監(jiān)管等。
匯業(yè)律師事務(wù)所史宇航律師表示，目前我國對(duì)AI換臉、換聲等深度偽造技術(shù)還未有專門的法律定義。相關(guān)行為（如偽造、傳播、牟利）主要受《中華人民共和國民法典》《中華人民共和國個(gè)人信息保護(hù)法》的約束，如果涉及犯罪行為，則會(huì)適用《中華人民共和國刑法》中的詐騙罪、虛假廣告罪、侵犯 公民個(gè)人信息罪等罪名。
當(dāng)務(wù)之急：AIGC標(biāo)識(shí)先行
技術(shù)發(fā)展一日千里，而法律、監(jiān)管、技術(shù)防范手段仍需時(shí)間跟進(jìn)。蔡立志坦言，當(dāng)前，法律法規(guī)與防范手段尚難以追趕技術(shù)的發(fā)展速度，就像計(jì)算機(jī)病毒與防病毒軟件之間的關(guān)系——“總是病毒先出現(xiàn)，然后才有應(yīng)對(duì)方案?！?/p>
目前來看，AIGC的生成與識(shí)別仍是一場“魔法打敗魔法”的對(duì)抗。黃澤豐指出，對(duì)于系統(tǒng)來說，動(dòng)態(tài)的視頻存在大量難以偽造的細(xì)節(jié)，如微表情、運(yùn)動(dòng)殘影、反射光等，都可以作為防偽造的手段，另外，通過解構(gòu)3D結(jié)構(gòu)光、可信設(shè)備環(huán)境檢測、相機(jī)指紋以及多手段交叉安全驗(yàn)證，都可以提高系統(tǒng)判斷的準(zhǔn)確性。但普通人卻很難肉眼識(shí)別。
“偽造一個(gè)人的聲音，甚至比偽造圖像更容易?！辈塘⒅局赋?，當(dāng)前AI聲紋克隆技術(shù)僅需采集“三分鐘甚至兩三句話”，就能完整復(fù)刻個(gè)人聲紋特征，“就像指紋一樣，每個(gè)人的聲紋獨(dú)一無二，但機(jī)器偏偏擅長破解這種‘唯一性’”。
深度偽造技術(shù)的濫用，往往先行一步，而技術(shù)與法律的防范則需要時(shí)間來補(bǔ)足。
史宇航認(rèn)為，作為技術(shù)公司有義務(wù)在算法中嵌入防濫用措施，例如強(qiáng)制水印、內(nèi)容標(biāo)識(shí)等，以防止技術(shù)被濫用于誤導(dǎo)性信息的傳播。
相關(guān)法規(guī)也對(duì)此做出了明確規(guī)定。
《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法（征求意見稿）》提出，提供網(wǎng)絡(luò)信息內(nèi)容傳播平臺(tái)服務(wù)的服務(wù)提供者應(yīng)當(dāng)采取措施，規(guī)范生成合成內(nèi)容傳播活動(dòng)，并規(guī)范了元數(shù)據(jù)隱式標(biāo)識(shí)格式。這意味著，如果《征求意見稿》得以正式落地實(shí)施，統(tǒng)一可識(shí)別的隱式標(biāo)識(shí)將便于不同規(guī)模、不同技術(shù)水平的企業(yè)迅速識(shí)別AIGC的內(nèi)容，從而實(shí)現(xiàn)顯著標(biāo)識(shí)并提醒的功能。
《網(wǎng)絡(luò)音視頻信息服務(wù)管理規(guī)定》第十一條要求，利用深度學(xué)習(xí)、虛擬現(xiàn)實(shí)等新技術(shù)制作、發(fā)布或傳播非真實(shí)音視頻信息的網(wǎng)絡(luò)服務(wù)提供者和使用者，必須以顯著方式進(jìn)行標(biāo)識(shí)。
此外，視頻平臺(tái)對(duì)用戶上傳的深度偽造（換臉）內(nèi)容同樣有審核義務(wù)，若發(fā)布在平臺(tái)上的視頻引發(fā)侵權(quán)、詐騙或誹謗，則需要根據(jù)平臺(tái)的過錯(cuò)程度確定是否需要承擔(dān)連帶責(zé)任，如是否建立了審核機(jī)制、部署鑒別技術(shù)，在收到舉報(bào)后是否及時(shí)處理等等。
專家支招 普通人如何避免被“假臉”欺騙?
蔡立志
第一，選擇可信平臺(tái)，不要隨意下載未經(jīng)官方認(rèn)證的App，即便其提供免費(fèi)通話或其他看似誘人的功能，也可能暗藏陷阱。
第二，確保雙方身份可信，防止賬號(hào)泄露。即使使用的是可信平臺(tái)，也可能因賬號(hào)被黑客攻擊或?qū)Ψ劫~號(hào)信息泄露而面臨風(fēng)險(xiǎn)。用戶需加強(qiáng)密碼管理，避免社交工程攻擊。
第三，建立“多因子身份認(rèn)證”機(jī)制，類似于舊時(shí)的“暗號(hào)”機(jī)制，在關(guān)鍵對(duì)話前設(shè)定只有雙方知曉的隱秘認(rèn)證方式。你們可以事先約定一個(gè)特殊問題，只有對(duì)方能正確回答，在感覺有異樣時(shí)便可以使用。
史宇航
由于電子數(shù)據(jù)的取證具有較高的專業(yè)性，所以當(dāng)遭遇換臉詐騙或名譽(yù)侵害時(shí)，受害者應(yīng)及時(shí)聯(lián)系公安機(jī)關(guān)與熟悉電子取證的律師，及時(shí)向平臺(tái)或技術(shù)提供商開展取證調(diào)查。對(duì)自己的手機(jī)、電腦做好保存工作，并對(duì)其中的數(shù)據(jù)減少不必要的操作，以免痕跡被抹除。