文｜ IT時報 潘少穎
編輯｜錢立富 孫妍
10分鐘內(nèi)被騙430萬元、9秒鐘被騙245萬元……近日，一連串?dāng)?shù)額觸目驚心的詐騙事件的發(fā)生，讓眾人膽戰(zhàn)心驚。在極短的時間內(nèi)能夠騙走巨款，背后藏著怎樣的玄機？
“眼見不一定為實”，在AI時代，這已成為一條法則。在上述的詐騙案例中，受害者均是在微信視頻電話后而遭受財產(chǎn)損失的，受害者在視頻中看到了“好友”并進行了溝通，于是非常放心地按照“好友”的要求將錢轉(zhuǎn)到指定賬戶。
視頻中所展現(xiàn)的“好友”，其實是“李鬼”。詐騙分子通過AI換臉、AI換聲等技術(shù)，移花接木，以假亂真，冒充受害人親朋好友，騙過受害者，達到詐騙目的。
隨著AI的發(fā)展，詐騙手段越來越高科技化，詐騙成功率也越來越高。那么，被AI加持的換臉換聲等技術(shù)真的那么“神”嗎？魔高一尺道高一丈，對于AI詐騙，公眾應(yīng)該如何避免“入坑”？
9秒鐘，百萬元飛走
4月20日，福州市某科技公司法人代表郭先生的微信好友突然通過微信視頻聯(lián)系他，稱其朋友在外地競標(biāo)，需要繳納430萬元保證金，而且需要公對公賬戶過賬，想要借郭先生公司的賬戶走賬。
“好友”要了郭先生的銀行卡號，聲稱錢已經(jīng)轉(zhuǎn)到卡上?；趯糜训男湃危由弦呀?jīng)視頻聊天，郭先生沒有核實錢款是否到賬，就分兩筆把430萬元轉(zhuǎn)到了對方提供的銀行卡上?！皬念^到尾都沒有和我提借錢的事情，就說會先把錢給我打過來，再讓我給他朋友賬戶轉(zhuǎn)過去，而且當(dāng)時是給我打了視頻的，在視頻中也確認了面孔和聲音，所以才放松了戒備?！惫壬f，后來他撥打了好友電話，才知道自己被騙了，整個過程不到10分鐘。
這是此前“平安包頭”微信公眾號發(fā)布的消息。幸運的是，接到郭先生報警后，福州、包頭兩地警銀迅速行動，成功止付攔截336.84萬元，但仍有93.16萬元被轉(zhuǎn)移，目前正在全力追繳中。
無獨有偶，今年4月，安徽安慶經(jīng)開區(qū)也發(fā)生了一起類似的“冒充熟人”詐騙案，受害人何先生也是接到“微信好友”的視頻電話，表示有重要事情要和何先生在QQ上說。在QQ上，“好友”希望何先生能為一個招標(biāo)項目墊付資金。因為有了此前的微信視頻通話，何先生立刻將對方需要的245萬元打到指定賬號上，直到事后撥打好友電話才得知被騙。經(jīng)開公安分局反詐中心民警調(diào)查發(fā)現(xiàn)，詐騙分子用一段9秒鐘的智能AI換臉視頻佯裝“熟人”，讓受害人放松警惕從而實施詐騙。目前，警方已將先行追回的132萬元被騙款返還給何先生，案件還在進一步偵辦中。
AI換臉詐騙在全國大規(guī)模爆發(fā)了嗎？一些反詐民警和專家向媒體表示，目前AI換臉詐騙的案例并不多，主要是受害者認為是朋友發(fā)來的視頻，才掉進“AI換臉”的陷阱。
視頻也未必能證明身份
將一張人臉特征映射到另一張人臉上，實現(xiàn)快速、高度逼真的換臉效果，“目前，AI換臉技術(shù)主要通過深度學(xué)習(xí)和計算機視覺技術(shù)實現(xiàn)。在微信視頻中，犯罪分子可能會通過發(fā)送特制的視頻或使用特定的換臉應(yīng)用程序，將臉移花接木，以獲取對方信任實施詐騙行為。”一位安全技術(shù)人員向《IT時報》記者解釋。
《IT時報》記者在淘寶等平臺上搜索AI換臉教程，一些店鋪在產(chǎn)品介紹中寫著“AI換臉視頻+直播教程，換成別人的模樣還能實時直播”，價格一般在二三十元左右。一家店鋪的客服人員表示，通過軟件就可以完成換臉的操作，“換臉之后，可以在直播、微信視頻通話時使用，不會被看出破綻，不會掉線。”
售賣AI換臉教程的店鋪通常對商品的介紹比較簡單，如果購買者想要了解詳細內(nèi)容或者查看樣本，客服人員通常會要求用戶先下單。
和普通詐騙相比，AI詐騙迷惑性更強，辨識更困難。在不少業(yè)內(nèi)人士看來，隨著換臉技術(shù)發(fā)展，所呈現(xiàn)出的效果會越來越逼真，所以大家需要警醒，要有“視頻也不能證明身份”的意識。
“關(guān)鍵還是防范意識，遇到涉及資金轉(zhuǎn)移的事情，可以換個渠道多一次驗證。比如收到微信視頻通話之后，回撥對方電話號碼通話驗證?！睒O棒實驗室安全專家宋宇昊這樣建議。
在眾人科技董事長談劍峰看來，換臉視頻并不是技術(shù)成熟度的問題，主要是大眾對于網(wǎng)絡(luò)詐騙認知度的問題，“現(xiàn)在的AI并沒有到非常完美的地步，如何判斷視頻的真假，可以讓對方用手在臉部慢慢劃過，如果是通過AI換臉合成的視頻，臉就會變形。此外，和家人朋友之間設(shè)置‘暗號’，尤其是涉及到錢財方面的事情，這兩個方法簡單易用?！?/p>
業(yè)內(nèi)人士還建議，盡量不要在社交媒體上發(fā)布個人及家人相關(guān)照片、語音、視頻等，以防被詐騙分子利用。
直播間里頻現(xiàn)“楊冪”“佟麗婭”
“楊冪”現(xiàn)身多個直播間帶貨，“佟麗婭”“迪麗熱巴”高喊“321，上鏈接”。除了在微信視頻電話中可能看到“假好友”，在不少電商直播間，也會遇見“李鬼”。最近，就有一些電商直播間被曝出使用明星AI換臉進行直播。
天使投資人郭濤向《IT時報》記者表示，商家未經(jīng)明星授權(quán)，擅自使用明星形象進行直播，侵犯消費者的知情權(quán)、選擇權(quán)、公平交易權(quán)，甚至是安全保障權(quán)，情節(jié)嚴(yán)重的涉嫌欺詐。
根據(jù)今年1月起實施的《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》，使用AI換臉技術(shù)或合成人聲服務(wù)時，應(yīng)有顯著標(biāo)識，以免公眾混淆。此外，未經(jīng)明星同意使用其肖像直播帶貨，侵犯了明星的肖像權(quán)和隱私權(quán)。
據(jù)《IT時報》記者了解，近年來，國內(nèi)外已發(fā)布專項研究計劃及開展相關(guān)學(xué)術(shù)競賽，對AI換臉、AI換聲等深度偽造內(nèi)容進行鑒別，尤其是自動化鑒別技術(shù)。在國外，Meta、谷歌、微軟等企業(yè)均推出視頻認證的方法或產(chǎn)品。在國內(nèi)，清華大學(xué)、中科大等高校在深偽檢測方面取得顯著成果。
人工智能基礎(chǔ)設(shè)施和解決方案提供商瑞萊智慧構(gòu)建了人臉合成檢測平臺，并發(fā)布針對性的檢測產(chǎn)品——深度偽造內(nèi)容檢測平臺DeepReal，支持對多種換臉和換聲方法進行檢測，具備工業(yè)級的檢測性能和應(yīng)對實網(wǎng)環(huán)境對抗變化的檢測能力。
“伴隨新型偽造方法的層出不窮、網(wǎng)絡(luò)傳播環(huán)境的日趨復(fù)雜，加上基于深度神經(jīng)網(wǎng)絡(luò)的檢測算法存在結(jié)構(gòu)性缺陷等，反深偽檢測技術(shù)也面臨‘強對抗性’，需要持續(xù)更新與迭代優(yōu)化。”瑞萊智慧相關(guān)人士對《IT時報》記者表示，對視頻聊天工具類平臺來說，引入深度偽造鑒別技術(shù)是一個好方法，一旦識別出疑似AI偽造的語音或視頻電話，能彈出風(fēng)險提示，提醒用戶仔細確認對方身份。
推動AI治理體系建設(shè)
AI換臉技術(shù)可以被應(yīng)用到各個領(lǐng)域，但如果濫用該技術(shù)，無論是對公眾還是社會，都會產(chǎn)生巨大的影響，AI技術(shù)安全問題因此受到了廣泛重視，有關(guān)推動建立安全可控的AI治理體系也被不斷提及。
德勤今年發(fā)布的《2023技術(shù)趨勢》報告顯示，有七成左右的受訪企業(yè)主管表示將看好AI技術(shù)業(yè)務(wù)變革；47%的業(yè)務(wù)主管更關(guān)心AI透明度問題；而41%的技術(shù)專家擔(dān)憂AI會引發(fā)道德風(fēng)險。
4月11日，國家互聯(lián)網(wǎng)信息辦公室就《生成式人工智能服務(wù)管理辦法（征求意見稿）》公開征求意見，其中包含要求“利用生成式人工智能生成的內(nèi)容應(yīng)當(dāng)真實準(zhǔn)確”“采取措施防止生成虛假信息”等內(nèi)容。現(xiàn)在，以ChatGPT為代表的生成式人工智能（AIGC）距離真正落地和產(chǎn)業(yè)應(yīng)用還有一段距離，必須規(guī)范發(fā)展方向。
“AI技術(shù)企業(yè)應(yīng)該尋找創(chuàng)新探索以及合法合情合理之間的平衡點，比如一些科技公司的業(yè)務(wù)，可能并不違法，但是不合情不合理，甚至違反了公序良俗，長期來看還是會有非議?！薄耙黄W(wǎng)絡(luò)”主編趙宏民向《IT時報》記者表示，在法律不夠完善的情況下，生成式AI企業(yè)，無論是為了保護自己還是為了保護用戶資金和信息安全，都應(yīng)該以“合情合理合法”為準(zhǔn)繩，積極尋求規(guī)范化發(fā)展。
排版／ 季嘉穎