日前，内蒙古自治区包头市公安局电信网络犯罪侦查局发布一起使用智能AI技术进行电信诈骗的案件：福州市某科技公司法人代表郭先生10分钟内被骗430万元。据媒体报道，骗子在视频电话中通过AI换脸佯装成郭先生好友，对他实施了诈骗。
案件披露后，引起舆论高度关注，“AI诈骗正在全国爆发”等相关词条占据微博热搜榜前列。但多名业内人士认为，目前的AI换脸技术如嵌进视频通话中，要做到不卡顿、呈现肉眼难以识别的真实质感，在技术上并非易事。
不过，警钟已经敲响：利用AI技术制作换脸视频、合成声音等，确实在一些冒充熟人、领导类的电信网络诈骗案件中出现。而这一新技术能被犯罪分子利用，与犯罪链条上游的个人信息泄露等老问题也密切相关。
面对新技术和老问题的双重挑战，电信网络诈骗是否会造成更大的威胁？相关职能部门、企业和个人该如何应对与防范？
视频通话实时AI换脸，“没那么容易”
据“平安包头”发布，5月8日，包头市公安局电信网络犯罪侦查局处置了一起使用智能AI技术进行电信诈骗的案件。案件发生于4月20日，福州市某科技公司法人代表郭先生的“好友”突然通过微信视频联系他，称自己的朋友在外地投标，需要430万元保证金，且需要公对公账户过账，想借用郭先生公司的账户走一下账。“好友”向郭先生要了银行卡号，声称已经把钱打到他的账户上，还将银行转账底单的截图通过微信发给了郭先生。
基于打过视频电话和对好友的信任，郭先生没有核实钱是否到账，便先后分两笔把430万元给对方打了过去。钱款转账后，郭先生给好友微信发了一条消息，称事情已经办妥。但让他没想到的是，好友回过来的消息竟然是一个问号。郭先生拨打好友电话，对方说没有这回事，他才意识到是骗子通过AI换脸技术佯装成好友，对他实施了诈骗。
如果是在微信视频中实时换脸变声，确实让人难辨真假。但多名网络安全和技术专家对记者表示，要在即时视频中进行高专业级别的AI换脸变声，对设备和技术的要求都极高，还要使用破解版微信，“脱离实验室的环境条件，技术上较难实现”。
“这个诈骗案还有许多细节尚未披露，仅仅通过一次短暂而逼真的AI视频聊天，就能骗走几百万元，不太现实，中间一定还有很多复杂的过程。”奇安信安全专家裴智勇对记者表示，以现有的技术发展来看，虽然完成相关诈骗过程不是完全没有可能，但因为成本高，在现实中被使用的概率较低。
“尽管在视频中进行人脸替换已经是非常成熟的技术，但想要在实时对话交流过程中，进行实时的人脸替换、表情捕捉、语音变声，还能以假乱真，这个技术水平已经超过绝大多数的高科技公司了。”一名网络公司高级技术人员说。
一名资深反诈民警分析认为，这个案件可能是骗子先利用话术骗受害者忽略了细节，之后再发送合成视频实施诈骗。“办案过程中，相当程度的被害人对被骗经过的细节表述不够准确，给案件办理也造成困难。”
上述受访者都表示，利用AI技术实施电信网络诈骗，目前并未形成爆发态势。“以这个案件为例，诈骗人员要同时具备盗取好友的微信账号、利用漏洞劫持摄像头篡改视频数据、实时变脸与实时变声且天衣无缝的技术能力，难度极大、成本极高。很多高科技公司在实验室里也未必能完美完成这些挑战。”裴智勇认为，相关事件的文字描述在细节上很可能和真实情况有一定的差异。
记者也从权威渠道获悉，公安部门正对这一案件的诈骗手法和受骗过程进行再确认。AI技术在此案中究竟被运用到哪种程度、是否已成为骗局关键等情况，都有待调查公布。
AI技术被用于诈骗，风险凸显
不过，AI技术的非法应用，的确已经在一些网络诈骗案件中出现。
2022年2月，陈先生到浙江温州市公安局瓯海分局仙岩派出所报案称，自己被“好友”诈骗了近5万元。经警方核实，诈骗分子利用陈先生好友“阿诚”在社交平台发布的视频，截取其面部视频画面后再利用“AI换脸”技术合成，制造陈先生与“好友”视频聊天的假象骗取其信任，从而实施诈骗。
2020年，上海一公司高管也因骗子使用AI换脸与人工生成的语音技术制作公司领导的面孔，并要该高管转账，致使被骗150万元。
每个人的声音和相貌都具有独特性，AI深度合成技术正在打破这一边界。而这一新技术被用于电信网络诈骗，无疑提升了犯罪活动迷惑性，给社会安全带来更多挑战。
“利用AI技术实施诈骗，实际是传统的诈骗手法利用了新技术的一种混合诈骗方式，从诈骗剧本来说还是传统的冒充熟人、冒充领导等手段，但是其中的面部仿真、声纹仿真使得被害人放松警惕，更容易被骗。”裴智勇说。
专业人士介绍，当前，AI技术被用于电信诈骗犯罪活动主要表现在三个方面：其一，骗子通过骚扰电话录音等来提取某人声音，获取素材后，利用AI技术进行声音合成，而后用伪造的声音欺骗被害人。其二，骗子用AI换脸技术，伪装成被害人的熟人，再通过视频通话方式，进行信息确认，骗取信任。其三，骗子利用AI程序筛选受害人，分析公众发布在网上的各类信息，根据所要实施的骗术对人群进行筛选，在短时间内便可生产出定制化的诈骗脚本，从而实施精准诈骗。“例如实施情感诈骗时，可以筛选出经常发布感情类信息的人群；实施金融诈骗时，可以筛选出经常搜索投资理财信息的人群等。”
除了电信网络诈骗，随着AIGC（人工智能生成内容）和Deepfake（深度伪造技术）技术的日益成熟，虚假音视频的伪造效果越来越真实。“这或将成为不法分子的新型诈骗攻击手段，多用在金融诈骗、虚假新闻、色情制作、司法干扰等不良场景。”上述网络公司高级技术人员说。
AI技术被用于犯罪领域的风险日益凸显。裴智勇介绍，这些风险包括：“过脸产业”，比如利用他人照片合成动态人脸，欺骗各种人脸识别系统，如绑定APP、绑定支付工具等；换脸欺诈，如将一段绑架视频中的受害者人脸替换成其他人，之后对其亲属进行诈骗；换脸敲诈，如将一个人的脸换到一段不雅视频上，之后威胁对方将视频发送给其亲人朋友。
新技术叠加老问题，挑战升级
多名专业人士指出，AI视频换脸、合成声音等技术被滥用，“已呈现不可阻挡之势”。而在技术应用领域缺乏约束，也致使违法犯罪分子能以较低成本将新技术用于电信网络诈骗等犯罪活动。
记者调查发现，尽管“AI换脸”“换脸”等关键词已被多个电商平台屏蔽，但通过“定制视频”等更隐蔽的关键词，仍能找到出售换脸软件、定制换脸视频及教授换脸技术的卖家。在某电商平台，一名卖家通过视频教授“AI换脸”技术，还提供代码脚本网页，收费只要39.9元。
这名卖家告诉记者，根据他发的视频教程就能学会AI换脸操作。卖家提供的教学内容显示，用户根据指引，完成登录、提取脸部数据、训练模型、换脸输出视频等步骤，就能轻松实现“AI换脸”的视频制作。
相对当下一些“AI换脸”软件多适用于拍照场景、影视剧片段的替换合成，这一卖家教授的换脸技术更能为所欲为：用于换脸的照片不受限制，可合成的视频片段也不局限于影视作品，包括新闻、私人影片等都可被“AI换脸”……在专业人士看来，这些游走在法律边缘的AI技术黑灰产业链，大大增加了技术被恶意使用的风险，给公共安全带来更多隐患，“甚至一些低级别的人脸识别防护墙都可能被AI骗过，隐患巨大”。
“技术本身并没有错，主要是技术使用和场景开发等方面存在问题，需要进行系统性规制。”前述网络公司高级技术人员说，系统的制度约束和法治规范需要尽快出台，为技术的开发与应用划定边界。
“AI换脸换声技术如果被用于诈骗，还有一个重要因素，就是骗子必须对被换脸人的外貌、声音、行为习惯、思维方式以及和被害人之间的相互关系等非常熟悉，否则就极易‘穿帮’。”裴智勇表示，在新技术带来手法迭代的同时，生物信息和个人隐私泄露仍是实施电信网络诈骗犯罪链条的“支柱产业”。
相对早期电信网络诈骗主要涉及姓名、电话、身份证号码、银行卡等个人信息，AI换脸被用于诈骗则需要获取最新的人脸照片和动态视频。而随着市面上出现越来越多的强制要求采集人脸信息的场景，这些被采集的生物信息安全性，愈发引起公众担忧。
在传统的电信诈骗案件中，不法者大多从非法渠道购买个人信息，个人信息来源则是网站、中介、公共服务甚至政府部门。而随着AI合成技术的发展，一旦人脸等生物信息被广泛泄露，将造成不可估量的后果。
同样需要警惕的是，越来越多人参与的网络直播、视频日志，这些主动公开的生物信息会不会也被不法者利用，通过“AI换脸”后用于实现非法目的？
防范AI作恶，制度和技术都要发力
面对AI技术发展带来的安全风险，社会各方应如何规制和抵御，个体又该如何防范愈发逼真的骗局？
“在制度设计层面，我国未形成统一的对人工智能技术的系统性立法，现有的法律规范在落地执行层面也存在挑战。”北京市盈科（海淀区）律师事务所网络犯罪辩护与刑事合规部主任刘洋表示，面对AI技术发展过程中出现的新现象、新问题，应及时关注并更新相关法律规范。
真假难辨，是AI合成技术的优势，也是被不法者利用的特点。如何识别AI生成的内容，已是社会各界和公众亟需面对的现实问题。多位受访者都表示，应要求AI合成内容服务商添加对用户可见的数字水印，来告知用户该图像、音视频内容是由AI生成。同时，政府和企业也要投入科研力量，研究基于AI生成内容的鉴伪技术，在必要时刻，使政府、企业和公众有能力借助工具进行鉴伪。
实际上，一些网络服务商已经遭遇AI换脸视频造成的实际风险，最直接的表现就是人脸识别验证的安全性。
“AI变脸视频越来越逼真，的确给‘人脸识别’技术带来新挑战，目前更安全的做法是结合更多信息做多维度检测。”前述网络公司高级技术人员解释说，比如在人脸识别环节之前，通过各种对抗型的算法模型，结合大数据分析、用户行为特征分析等技术，检测用户是否使用常用设备和常用网络环境，形成多模型多角度联防联控的人脸安全防伪技术，提升攻击者的攻击门槛。
未来，AI合成技术结合网络电信诈骗的手段也会更“高明”，需要每个人都提高防范意识。多名受访者都表示，保护个人信息是保护自身安全的关键。“这需要个体、企业和政府共同提升信息保护意识和能力。”
“对掌握和运营大量人脸信息、语音数据的机构，包括政府和企业，应当要求其不断提升网络安全建设水平，避免公民相关信息被窃取和泄露。”裴智勇说，对于人脸和语音采集、识别的场景也应加以限制和规范，避免信息泄露的风险。
对于公众主动发布的网络图片、视频和音频，网络安全人士表示，相关网络平台可推行数字水印技术，通过在音频、视频、图像中嵌入不可见的水印保护信息，“这些信息可以在不影响视觉效果的情况下，大大降低我们的视频和照片被AI模型成功篡改的概率。”