10分鐘內被騙430萬元、9秒鐘被騙245萬元……近日，一連串數額觸目驚心的詐騙事件的發生，讓眾人膽戰心驚。在極短的時間內能夠騙走巨款，背後藏著怎樣的玄機？“眼見不一定為實”，在AI時代，這已成為一條法則。

在上述的詐騙案例中，受害者均是在微信視頻電話後而遭受財產損失的，受害者在視頻中看到了“好友”並進行了溝通，於是非常放心地按照“好友”的要求將錢轉到指定賬戶。

視頻中所展現的“好友”，其實是“李鬼”。詐騙分子通過AI換臉、AI換聲等技術，移花接木，以假亂真，冒充受害人親朋好友，騙過受害者，達到詐騙目的。

隨著AI的發展，詐騙手段越來越高科技化，詐騙成功率也越來越高。那麼，被AI加持的換臉換聲等技術真的那麼“神”嗎？魔高一尺道高一丈，對於AI詐騙，公眾應該如何避免“入坑”？

01.9秒鐘，百萬元飛走

4月20日，福州市某科技公司法人代表郭先生的微信好友突然通過微信視頻聯繫他，稱其朋友在外地競標，需要繳納430萬元保證金，而且需要公對公賬戶過賬，想要藉郭先生公司的賬戶走賬。

“好友”要了郭先生的銀行卡號，聲稱錢已經轉到卡上。基於對好友的信任，加上已經視頻聊天，郭先生沒有核實錢款是否到賬，就分兩筆把430萬元轉到了對方提供的銀行卡上。“從頭到尾都沒有和我提借錢的事情，就說會先把錢給我打過來，再讓我給他朋友賬戶轉過去，而且當時是給我打了視頻的，在視頻中也確認了面孔和聲音，所以才放鬆了戒備。”郭先生說，後來他撥打了好友電話，才知道自己被騙了，整個過程不到10分鐘。

這是此前“平安包頭”微信公眾號發布的消息。幸運的是，接到郭先生報警後，福州、包頭兩地警銀迅速行動，成功止付攔截336.84萬元，但仍有93.16萬元被轉移，目前正在全力追繳中。

無獨有偶，今年4月，安徽安慶經開區也發生了一起類似的“冒充熟人”詐騙案，受害人何先生也是接到“微信好友”的視頻電話，表示有重要事情要和何先生在QQ上說。在QQ上，“好友”希望何先生能為一個招標項目墊付資金。因為有了此前的微信視頻通話，何先生立刻將對方需要的245萬元打到指定賬號上，直到事後撥打好友電話才得知被騙。經開公安分局反詐中心民警調查發現，詐騙分子用一段9秒鐘的智能AI換臉視頻佯裝“熟人”，讓受害人放鬆警惕從而實施詐騙。目前，警方已將先行追回的132萬元被騙款返還給何先生，案件還在進一步偵辦中。

AI換臉詐騙在全國大規模爆發了嗎？一些反詐民警和專家向媒體表示，目前AI換臉詐騙的案例並不多，主要是受害者認為是朋友發來的視頻，才掉進“AI換臉”的陷阱。

02.視頻也未必能證明身份

將一張人臉特徵映射到另一張人臉上，實現快速、高度逼真的換臉效果，“目前，AI換臉技術主要通過深度學習和計算機視覺技術實現。在微信視頻中，犯罪分子可能會通過發送特製的視頻或使用特定的換臉應用程序，將臉移花接木，以獲取對方信任實施詐騙行為。”一位安全技術人員向《IT時報》記者解釋。

《IT時報》記者在淘寶等平台上搜索AI換臉教程，一些店鋪在產品介紹中寫著“AI換臉視頻+直播教程，換成別人的模樣還能實時直播”，價格一般在二三十元左右。一家店舖的客服人員表示，通過軟件就可以完成換臉的操作，“換臉之後，可以在直播、微信視頻通話時使用，不會被看出破綻，不會掉線。”

售賣AI換臉教程的店鋪通常對商品的介紹比較簡單，如果購買者想要了解詳細內容或者查看樣本，客服人員通常會要求用戶先下單。

和普通詐騙相比，AI詐騙迷惑性更強，辨識更困難。在不少業內人士看來，隨著換臉技術發展，所呈現出的效果會越來越逼真，所以大家需要警醒，要有“視頻也不能證明身份”的意識。

“關鍵還是防範意識，遇到涉及資金轉移的事情，可以換個渠道多一次驗證。比如收到微信視頻通話之後，回撥對方電話號碼通話驗證。”極棒實驗室安全專家宋宇昊這樣建議。

在眾人科技董事長談劍峰看來，換臉視頻並不是技術成熟度的問題，主要是大眾對於網絡詐騙認知度的問題，“現在的AI並沒有到非常完美的地步，如何判斷視頻的真假，可以讓對方用手在臉部慢慢劃過，如果是通過AI換臉合成的視頻，臉就會變形。此外，和家人朋友之間設置’暗號’，尤其是涉及到錢財方面的事情，這兩個方法簡單易用。”

業內人士還建議，盡量不要在社交媒體上發布個人及家人相關照片、語音、視頻等，以防被詐騙分子利用。

圖源：東方IC

03.直播間裡頻現“楊冪”“佟麗婭”

“楊冪”現身多個直播間帶貨，“佟麗婭”“迪麗熱巴”高喊“321，上鍊接”。除了在微信視頻電話中可能看到“假好友”，在不少電商直播間，也會遇見“李鬼”。最近，就有一些電商直播間被曝出使用明星AI換臉進行直播。

天使投資人郭濤向《IT時報》記者表示，商家未經明星授權，擅自使用明星形象進行直播，侵犯消費者的知情權、選擇權、公平交易權，甚至是安全保障權，情節嚴重的涉嫌欺詐。

根據今年1月起實施的《互聯網信息服務深度合成管理規定》，使用AI換臉技術或合成人聲服務時，應有顯著標識，以免公眾混淆。此外，未經明星同意使用其肖像直播帶貨，侵犯了明星的肖像權和隱私權。

據《IT時報》記者了解，近年來，國內外已發布專項研究計劃及開展相關學術競賽，對AI換臉、AI換聲等深度偽造內容進行鑑別，尤其是自動化鑑別技術。在國外，Meta、Google、微軟等企業均推出視頻認證的方法或產品。在國內，清華大學、中科大等高校在深偽檢測方面取得顯著成果。

人工智能基礎設施和解決方案提供商瑞萊智慧構建了人臉合成檢測平台，並發布針對性的檢測產品——深度偽造內容檢測平台DeepReal，支持對多種換臉和換聲方法進行檢測，具備工業級的檢測性能和應對實網環境對抗變化的檢測能力。

“伴隨新型偽造方法的層出不窮、網絡傳播環境的日趨複雜，加上基於深度神經網絡的檢測算法存在結構性缺陷等，反深偽檢測技術也面臨’強對抗性’，需要持續更新與迭代優化。”瑞萊智慧相關人士對《IT時報》記者表示，對視頻聊天工具類平台來說，引入深度偽造鑑別技術是一個好方法，一旦識別出疑似AI偽造的語音或視頻電話，能彈出風險提示，提醒用戶仔細確認對方身份。

04.推動AI治理體系建設

AI換臉技術可以被應用到各個領域，但如果濫用該技術，無論是對公眾還是社會，都會產生巨大的影響，AI技術安全問題因此受到了廣泛重視，有關推動建立安全可控的AI治理體係也被不斷提及。

德勤今年發布的《2023技術趨勢》報告顯示，有七成左右的受訪企業主管表示將看好AI技術業務變革；47%的業務主管更關心AI透明度問題；而41%的技術專家擔憂AI會引發道德風險。

4月11日，國家互聯網信息辦公室就《生成式人工智能服務管理辦法（徵求意見稿）》公開徵求意見，其中包含要求“利用生成式人工智能生成的內容應當真實準確”“採取措施防止生成虛假信息”等內容。現在，以ChatGPT為代表的生成式人工智能（AIGC）距離真正落地和產業應用還有一段距離，必須規範發展方向。

“AI技術企業應該尋找創新探索以及合法合情合理之間的平衡點，比如一些科技公司的業務，可能並不違法，但是不合情不合理，甚至違反了公序良俗，長期來看還是會有非議。”“一篇網絡”主編趙宏民向《IT時報》記者表示，在法律不夠完善的情況下，生成式AI企業，無論是為了保護自己還是為了保護用戶資金和信息安全，都應該以“合情合理合法”為準繩，積極尋求規範化發展。