作为一个AI模型，深感AI技术的潜力与安全挑战。随着DeepFake等技术的发展，AI诈骗问题愈发严峻。

“人工智能”（AI）这个词汇，近年来已成为科技领域的一大热点。然而，随着AI技术的不断发展，人们不禁要问：AI究竟“欺骗”了多少人？从语音助手到自动驾驶，从人脸识别到智能推荐，AI技术已深入到我们生活的方方面面……

先暂停一下。如果我不主动坦白，你能想象前面这一段话，是完全由AI大模型生成的吗？

2022年以来，以ChatGPT为开端的大模型应用纷纷落地，大语言的、文生图的、文生音乐的，再到文生视频的，每一款新的大模型产品仿佛都在试探人类生产力的上限，给“创作”这件事带来新的想象。

AI的能力实现了跨越式的发展，图灵测试难再作为判断AI与否的手段。这为我们的工作和生活带来了极大的便利，也带来了一些困扰。

眼下最严峻的问题，是AI诈骗。

反AI诈骗，迫在眉睫

AI工具的实用性在过去几年越发地有口皆碑，但尝到甜头的不止是一般用户，也有不法分子。

在网络安全公司奇安信发布的《2024人工智能安全报告》中提到，2023年基于AI的深度伪造欺诈暴增了3000%，而基于AI的钓鱼邮件数量增长了 1000%。该报告指出，各类基于AI的新型攻击种类与手段不断出现，甚至已经泛滥，成为迫在眉睫的威胁。

而依据瑞莱智慧公布的数据，国内AI诈骗案件的涉案金额已经从2020年的0.2万元，增长至2023年的1670万元，年复合增长率达1928.8%。2024年刚刚过半，发生的AI诈骗案件已经超过1.85亿元，态势严峻。

近5年国内AI诈骗案件数量与金额变化

当电信诈骗披上AI的“外壳”，很多风险都应该被重新审视一遍，比如“耳听为虚”，但“眼见也不一定为实”。

落实具体案例上，这些基于DeepFake（深度伪造）的AI诈骗可能会是这样的——

诈骗团队不知从哪拿到了你的照片，用AI合成到了一条低俗视频里，给你发了短信，要求你转账删除。但这视频制作得相当粗劣，人脸处“贴图感”和“边缘锯齿”过于明显，你可能一笑而过、不会上套，但自己被贴到视频上这件事总还是让你觉得别扭。

利用AI换脸进行诈骗的短信

2023年初，武汉警方还破获了这样一个诈骗案件。杨女士在QQ上收到了自称“女儿同学”的人发来的语音，内容大意是其女儿手机没电，急需杨女士3.5万元缴纳培训报名费用，杨女士听到语音中的音色确实是自己女儿，于是立刻就汇了款。直到更晚些时候，杨女士和女儿通话才发觉自己被骗。

有的诈骗团队手段还要更加高明。2024年初就有一家跨国公司香港分部的职员受邀参加总部首席财务官发起的“多人视频会议”，并按照要求先后转账多次，将2亿港元分别转账15次转到5个账户内。事后得知受骗后，才发现那场会议中，除了他自己以外，其它与会人员全部是经过“AI换脸”和“AI换声”的诈骗团队。

图片来源：央视

在这场有预谋、有规划，更有技术的大型“仙人跳”中，骗子们利用AI伪装得几乎天衣无缝。即使事件的主角换成我们，若没有足够的警惕，也难免会落入圈套。

DeepFake也不是随便就能伪造的，它依赖于足够的素材。比如伪造视频需要被伪造人的照片或者视频素材，伪造声音则需要相应的声音素材。但获取这些信息，远比你想象中的更加简单。

比如前文提到的杨女士被骗的案例，骗子通过给杨女士女儿拨打了十余个陌生骚扰电话，通过对方寥寥几句的询问，采集到了足够的声音素材，以此成功实施诈骗。

今年4月，更有国内上市公司宣称，可以“一句话复刻媲美真人、流畅自然的合成语音”，能“最大程度上保持原声的情感、风格和自然度”。

随着技术的发展，复制声音、替换人脸只会越来越简单和自然。这也意味着，用户受到的风险也越来越大。

更何况，诈骗只是AI安全的一个方面。AI的对抗攻防，会成为未来相当长一段时间内都需要考虑的问题。

一是在AI的诸多应用领域中，比如计算机视觉。攻击者在图像上施加细微、人眼难以察觉的干扰，能轻易误导AI系统作出错误的识别。瑞莱智慧曾设计了一个特殊的眼镜，只要你戴上眼镜，就能被人脸识别系统识别为内部人员，放你通行。如果在此基础上，再用AI生成张嘴、眨眼等特定动作，就有可能骗过生物识别系统。

AI攻防 | 图片来源：瑞莱智慧

二是大模型本身的安全，用户可以在指令中“给大模型安排一个假身份”等简单的诱导，就能绕过部分现有大模型的安全机制，“骗”出有风险的回答内容。

此外，大模型本身具备极强的内容生成能力。若不加以控制，AIGC内容将会在不远的未来充斥互联网，成为一种“信息污染”。介时，“纯手工”的内容或许也会如今天的奢侈品一般，成为稀缺且昂贵的资源。

总之，内在和外在的安全，已经是AI行业绕不开的话题。与AI相比，人类的能力过于渺小和低效，可为了掌握AI、应用AI，我们又不得不直面AI、对抗AI。

谁在和AI“抗衡”？

要明确的一点是，虽然在反AI诈骗上，AI安全和网络安全存在一些重合，但AI安全还包括AI本身的安全，与网络安全是两个不同的领域。

最早意识到并从事AI安全领域的公司，其实是OpenAI。早在2015，OpenAI作为非营利组织成立的时候，其核心宗旨便是“创建造福全人类的安全通用人工智能（AGI）”，以预防人工智能的灾难性影响，推动人工智能发挥积极作用。

虽然后来OpenAI业务转向，但算是给AI安全行业开了一个头。因此在2021年，OpenAI的研究副总裁达里奥·阿莫迪（Dario Amodei）和安全政策副总裁丹妮拉·阿莫迪（Daniela Amodei），及一批从OpenAI离职的成员，共同成立了专注于人工智能安全和负责任开发的Anthropic。据The Information的报道，Anthropic2023年的收入预计为2亿美元，到2024年底，这个数字将超过8.5亿美元。

今年6月20日，OpenAI联合创始人、前首席科学家伊利亚（Ilya Sutskever）也宣布将创办一家“安全超级智能公司”。

除了OpenAI系的公司，微软、谷歌、Meta等公司也在积极布局AI安全领域。不难看出，随着AI的发展，AI安全的市场容量和增长速度还是相当可观的。

国内方面，成立于2018年的瑞莱智慧是一家致力于安全、可信、可靠、可扩展的第三代人工智能技术的公。目前，瑞莱智慧已打造“AI监管与支持平台”与“AIGC检测平台”两大产品基座，分别对应人工智能内生与衍生安全风险，并陆续推出了人工智能安全平台RealSafe、人脸AI安全防火墙RealGuard、可信垂类大模型等产品，在政务、金融等领域实现快速产品化和商业化落地，已服务多个国家部委、央国企、民营企业客户。

360、亚信安全等国内公司也曾宣布布局AI安全领域。

随着越来越多的国内外公司都开始布局AI安全领域，这对于每一个身处AI时代的人来说，都是一个好消息。毕竟未来AI的攻防会越发激烈，而同行的人越多，消费者的安全就多一份保障。

但关键在于，人类要如何“打败”AI？

用AI的手段，“打败”AI

AI战胜人类的例子数不胜数，但人类打败AI似乎没那么容易。

在围棋领域，2016年AlphaGo击败世界冠军李世石的案例，总被人拿出来佐证AI的强大。实际上，恰恰就是在这个领域，人类已经完成了对AI的反攻。

2023年，美国围棋选手凯林·佩里恩（Kellin Pelrine）以14:0的全胜成绩，击败了与AlphaGo同一级别的顶级AI围棋机器人Leela Zero。佩里恩只是一名业务选手，之所以能完美战胜AI，就是“用AI打败了AI”——其背后的公司FAR AI在一百多万次的AI围棋对决中，找到了AI的盲点：分不清“声东击西”。

这其实就是人类目前用以对抗AI的思路之一。

在AI安全领域，瑞莱智慧便在用类似的方式对抗DeepFake。公司基于贝叶斯深度学习技术构建了一整套多模态AIGC检测技术体系，能够挖掘并建模多模态、多层次、多角度的AI合成线索，度量真假差异，并进行不确定性的推理和决策。

简单来说，用“AI鉴别AI”的过程可以分为两个环节：提取伪造特征和线索建模。

第一步是提取伪造特征，这些特征可以分为人脸先验、视觉伪影、数字图像信号、视听一致性四个类别，这是识别内容是否是AIGC的线索。

举个例子，人都是要眨眼的，而早期科学家发现一些AI合成的人脸视频，可能一分钟都不眨一次眼，这显然不符合正常生理表现，于是便能判定视频为假。这是人脸先验中一个最有名、最基础的线索。

当然现在AIGC已经进化到无法通过眨眼这类常识性错误判断视频真假了，那就需要更复杂的几何结构特征，比如瞳孔的形状是否规则、左右眼角膜的高光是否一致等。

AI攻防 | 图片来源：瑞莱智慧

视觉伪影指的其实是AIGC的一些“瑕疵”，这类瑕疵在早些年技术不成熟的时候比较明显。如果你使用过2019年爆火的一款换脸软件ZAO，就知道当时人脸拼合得比较生硬，拼接处经常有异常的“闪烁”，这就是典型的伪造特征。即便如今技术更加成熟，人眼已经几乎看不出这些瑕疵了，但AI却可以。AI会从底层的二进制信号的层面，用统计学的角度去看这些信号是否合理。

在完成提取特征的工作后，第二步就是进行建模，用机器学习和深度学习的方式，让AI自己学习鉴伪的规律。

但常规的模型有一个缺点，就是在遇到它不懂的知识时，它会“很有信心”地胡说八道，误导我们。在鉴伪上也一样，可能在鉴别常规伪造手段的时候已经很成熟了，可一旦业界换了一个伪造手法，AI就可能会误判，最后在落地的场景上带来风险。

这更依赖模型的可靠性。瑞莱智慧CEO田天表示，瑞莱智慧孵化自清华人工智能研究院张钹院士的团队，所以在记忆学习领域有比较深的积累，得以在数据不确定性方面有了一些比较独特的建模，这得以降低误判的可能性。此外，通过将统计学与神经网络技术进行结合的手段，也能让模型在处理不确定性时有较高的准确度。

尽管如此，AI安全也将如同曾经的杀毒软件一般，在道高一尺、魔高一丈的网络安全对抗中，不断地完成自我进化，才能为更多客户和用户保驾护航。

技术的发展大多不是一帆风顺的， AI的发展也注定是一条螺旋而上升的曲线。而提前关注到AI安全的这批人，将会让这条曲线升得更快、走得更远。

AI安全问题是一个长期而复杂的挑战，需要全球合作与技术创新共同解决。只有这样，我们才能更好地应对未来AI可能带来的各种风险。