西安发生了大爆炸?运钞车遭遇武装抢劫并发生激烈枪战?比亚迪要收购蔚来?一则则耸人听闻的消息是真的吗?监管部门调查发现,上述消息都是借助人工智能(以下简称“AI”)工具编造,动机则是为了流量。相关专家在接受《中国经济周刊》记者采访时表示,随着AIGC技术的不断进步和易获取,文生图文生视频被用于制造虚假信息。“黑化”的AI技术和谣言的结合,不仅使得谣言数量增加,也使谣言更加难以判断。未来可以考虑用技术发展,特别是利用AI对抗AI谣言。

“黑化”AI成造谣工具

乱象:谣言数量和逼真程度大幅提升随着AI技术的快速发展,内容创作的门槛降低、时间缩短。例如文本创作,只需输入几个关键词,AI便可迅速提供包含人物、时间、地点、事件的相关内容。在此背景下,有人为了博眼球、蹭热度,甚至使用AI技术变造“伪消息”“假新闻”来获得关注和流量。如近期有网络传闻,一名疑似比亚迪的员工发文称,比亚迪要和蔚来合作成立比未来汽车集团。此后有媒体从合肥市公安局经开分局确认,该谣言系29岁外省男子谢某所做,利用AI软件合成不实图文上网传播,其目的是为提升自媒体账号的知名度、博取流量。不只是文字,“有图有真相”的视频也可能被AI伪造。今年6月,一条“广东省五华县华阳镇一70多岁老人被殴打致昏迷,其孙子为此跳河自杀,打人者一审被判九年十个月”的短视频在互联网平台传播,引发大量关注。后经公安网安部门确认,视频全由AI合成。AI技术造谣的背后不乏MCN机构的参与。央视新闻今年6月报道了一起案例,“西安爆炸”消息背后,便是江西南昌一家MCN机构推波助澜。据警方调查,这家MCN机构发布的数条涉嫌网络造谣的信息,系通过AI软件生成内容制作。这家MCN机构短时间内生成了大量文章,最高峰一天能生成4000至7000篇,最高的一条收入700元,初步估算每天的收入在1万元以上。中国社会科学院大学互联网法治研究中心主任、副教授刘晓春在接受《中国经济周刊》记者采访时说,在生成式AI浪潮之前,网络上也存在使用网络机器人制作内容的情况,如评论区的某些内容、常见的水军等。但这波AI浪潮出现后,谣言不仅数量有了大幅增加,其逼真程度也让人难以判断。“以前的内容还有一些明确特征可以判断是机器生成,而现在以假乱真的水平较高,公众很难看出这是AI生成的谣言。”刘晓春说。同济大学法学院助理教授、上海市人工智能社会治理协同创新中心研究员朱悦在接受《中国经济周刊》记者采访时提示,AI是不会疲惫的,当被有心人利用,其批量生产谣言的潜力会被无限放大。AI造谣背后,不只个人受影响,企业也深受其害。今年4月,清华大学新闻与传播学院新媒体研究中心发布了报告《揭秘AI谣言:传播路径与治理策略全解析》。报告称,2023年以来,网络谣言整体态势平稳,但AI谣言量近半年增长65%。其中,经济与企业类谣言占比最高,达到43.71%。今年5月科大讯飞曾遭遇AI“小作文”,造成当日午后股价跳水,盘中一度跌超9%。解决:用AI技术对抗AI谣言相关部门已经陆续出台了多个文件,如《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等,对平台在内容治理中的责任和义务予以明确。据记者不完全梳理,AI造谣链条环节中,主要涉及四个参与方:技术提供者、使用AI技术造谣的人或机构、平台以及转发相关谣言的用户。当前的法律法规对于后三个参与方都有相关规范。技术提供者是否需要承担责任?又该承担何种程度的责任?朱悦提示,对于上述问题的回应要考虑发展、安全相平衡。一方面,如果是作为一个纯粹的技术提供者并不参与后续传播,一般不适合给予太重的义务或者责任;另一方面,考虑技术提供者是从源头提供的技术服务,那么他在算法、结果输出方面需要做一些平衡设计,如添加一定的标识、留存相应的日志信息等。值得注意的是,标识成为当下防范虚假内容的重要手段之一。AI生成内容亦真亦假,添加标识不仅起到提示作用,还可帮助确认信息来源。今年9月份国家互联网信息办公室就《人工智能生成合成内容标识办法(征求意见稿)》(以下简称“征求意见稿”)公开征求意见。“征求意见稿不仅要求技术提供方要做明显标识,也要求传播平台提供相应标识以明确某内容是否为AI生成。通过标识明确AI生成内容,减少误导,减弱虚假信息的传播效果。”刘晓春说。对于包含谣言在内的虚假信息治理是全世界的共同课题,AI虚假信息的治理,离不开技术。“可以考虑用AI对抗AI谣言。通过总结谣言规律,研发相应的技术模型,以解决AI谣言的问题。”刘晓春说。在她看来,AI造谣还需事后采取相关机制减弱影响。如对某些高频传播谣言的账号予以管控,强化事后辟谣、建立举报机制等。近期,来自OpenAI、哈佛大学、微软、牛津大学的研究者共同撰写了一篇题为《Personhood creden-tials:Artificial intelligence and the value of privacy-preserving tools to distinguish who is real online》(人格证书:人工智能时代的隐私保护真人验证工具)的文章。文章提出,可通过人格证书(Personhood Credentials)这种在线身份验证工具,对抗由AI驱动的包含虚假信息在内的各种行为。“未来时代的人,叠加AI技术,生产信息的能力会大幅提高,也可能生产谣言。文章提及的人格证书,可以视为通过加强验证的方式防范上述情况产生。”朱悦说。

“黑化”AI成造谣工具