“一些喜欢我影视剧的观众，被AI换脸视频骗得很惨，这个性质非常恶劣。

希望能建立更好的规则。”

靳东在2024年全国两会上的一番话，引发了人们对AI技术滥用的深思。

这位以《伪装者》《琅琊榜》等作品深入人心的演员，不仅在荧幕上塑造了无数经典角色，如今也在现实生活中成为了AI技术滥用的受害者代言人。

事情得从去年11月说起。

江西宜春的一位老人来到银行，扬言要贷款200万，给她网恋男友“靳东”拍戏。

银行工作人员发现她的材料不全，拒绝了她的申请，但老人坚持不肯离开。

直到民警赶来劝阻，大家才明白，这位老人所谓的“靳东”，不过是一个AI换脸视频。

一场骗局险些成真。

这并不是孤立的案件。

随着“AI假靳东”登上热搜，许多网友纷纷分享自己与家中老人“斗法”的经历。

老人们沉迷于刷AI靳东的视频，无法自拔，而帮助老人破除AI迷障，竟成了许多家庭的日常任务。

靳东在中老年群体中的观众基础深厚，这也让“假靳东”在互联网的隐秘角落中继续招摇撞骗。

事实上，早在2020年秋天，江西都市频道就报道过一则类似的新闻。

一名61岁的女子因与“假靳东”网恋数年，甚至离家出走。

当时的“假靳东”大多是靳东的影视片段，配上腔调生硬的机械男声，甚至有些还带着浓重的地方口音，破绽百出。

，五年过去，骗术的套路虽然未变，技术却愈发逼真。

AI换脸和AI拟声技术的加持，让“假靳东”在方寸屏幕之间愈发栩栩如生，真假难辨。

AI换脸技术并不新鲜，但如今的AI技术已经达到了以假乱真的地步。

互联网空间中，AI生成的信息泛滥成灾。

年轻一代网友虽然“冲浪”经验丰富，练就了“火眼金睛”，但依然难免被骗，更何况对AI技术不甚了解的中老年和未成年群体，他们的认知盲区成为了骗子们的“肥肉”。

因此，对人工智能生成内容的规范和治理，成了今年全国两会期间多位委员代表的关注议题。

全国人大代表、小米集团创始人雷军建议，加强“AI换脸拟声”违法侵权重灾区的治理。

去年国庆期间，“AI雷军”那句“开小米Su7创死你们”的恶搞视频，就让他本人深受其扰。

全国政协委员、四川大学华西医院教授甘华田则呼吁，应当加快制定针对AI生成虚假信息的专项法律法规。

甘华田在接受媒体采访时强调，AI生成的虚假信息“已严重干扰公众判断、损害社会公信力和稳定”。

清华大学新闻与传播学院副教授陆洪磊也指出，如果对AI谣言放任自流，很可能会对社会的信心和稳定造成巨大冲击。

他甚至用了一个形象的比喻：“我们正在面临一场前所未有的认知战争。”

AI谣言的可怕之处在于，它与新闻的边界正在变得越来越模糊。

传统谣言更像一则模糊的信息，其中存在大量逻辑漏洞，普通人很容易辨别。

而AI可以赋予谣言确切的时间、地点、人物，甚至是信源和图片，做到“一本正经地胡说八道”，更像一则真实发布的新闻信息。

这种高度的逼真性，让谣言的威力提升至一个新的水平。

陆洪磊打了个比方，如果说互联网的诞生让谣言从“冷兵器”进入“热兵器”时代，那么AI谣言的破坏力就是“核武器”。

去年1月，一则“西安突然响起巨大爆炸声”的谣言在网络上迅速传播。

后经查证，该谣言的发布账号隶属江西一家MCN机构，“从文本到图片都是AI生成”。

其基本的操作逻辑是，将关键词指令输入AI，它便会自动生成几百至上千字的文本，配上几幅貌似与事件有关的图片，编造成一篇煞有介事的谣言。

经警方调查，该账户负责人王某发布该谣言，目的就是为了推高账户阅读量，以换取平台的流量激励。

他所经营的MCN机构，最高一天可以生成4000至7000篇文章，其中流量最高的一篇文章收入达700元。

初步估算，其每天收入在一万元以上。

这股浪潮的背后，是整个人类的信息生产方式的变革。

低成本、高利润，伴随着生成式大模型技术的突飞猛进，制造谣言的门槛大大降低，催生了一大批以此为生的灰黑产业。

，对此的追查却十分不易。

郑州市公安局负责人在相关媒体采访中称，AI书写段落的语言能力很高，还可以随机插入素材和图片，这要求他们必须对每一处信息要素都加以印证，事实核查的成本大大提高。

于是，辟谣的速度被迫放缓。

而在“传谣”与“辟谣”速度逐渐拉开的时间差之中，AI谣言对公共舆论空间的破坏性，就此肆意放大和显现。

那么，我们是否能“以其人之道，还治其人之身”，运用AI去治理AI谣言呢？

一个技术性的客观现实是，AI生成图像检测技术的发展，目前依然落后于生成模型技术的发展速度，并将在未来一段时间始终面临“道高一尺，魔高一丈”的困境。

另一重挑战则来源于跨平台协作。

我国自2023年1月10日起实行《互联网信息服务深度合成管理规定》，其中明确要求，深度合成服务提供者对使用其服务生成或者编辑的信息内容，应当采取技术措施添加不影响用户使用的标识。

在实践中，限于各平台技术水平、内容特性和标准化的各项差异，当一则AI生成内容被下载或截屏，再上传至另一平台，“原先的水印有可能就消失了”。

陆洪磊说，高水平的水印和图像检测技术高度依赖于大规模的资金和人力投入，目前只有规模较大的企业能够去承担其成本。

“一些中小型平台检测技术依赖开源工具，且往往难以承担计算资源和维护成本，准确率较低”。

更何况，单纯基于商业角度考虑，对水印和检测技术的庞大投入收益究竟如何，“需要打一个问号”。

在陆洪磊看来，在缺乏相关法律法规的状况下，平台对AI生成内容的规范治理并无严格约束，“更像个良心活”。

AI生成的图像和影像，人们尚且可以通过它的光影变化规则、边缘物理规律的异常去细心辨别。

比如今年1月在网络上广泛流传的合成视频，“西藏地震小男孩被废墟掩埋”，只要细心观察，男孩的左手由六根手指组成，肉眼就能“检测”出来——至少，目前还不难，未来却不好说。

而对AI文字谣言的甄别，却几乎无从下手。

“当前AI生成文本语义一致性之高，已经到了专家学者都难以区分的水平。”

陆洪磊说。

当下，对AI文字谣言的检测，“更多时候需要深入其意义表达去判别，目前尚无特别有效的手段攻克”。

就比如上文所述那则“中国80后累计死亡率为5.20%”的谣言，若非长期研究人口的学者公开辟谣，对统计学和人口普查专业知识知之甚少的普罗大众，很容易便会信以为真。

对于文字信息的治理，平台目前的普遍做法，集中于对同质化内容的识别和处理。

个别MCN机构利用AI批量生成相似内容大规模投放，而平台通过对文字相似性的比对，可以及时发现异常、实时整治。

尽管卓有成效，“但在同质化内容与谣言之间，依然存在一定的概念差异。”

有学者向南风窗表示。

技术条件日新月异，行业秩序尚未建立，繁芜丛杂之中，亟盼相关法律法规的完善与规范。

而这也正是今年两会期间数位委员代表共同关注的焦点。

我国于2023年8月15日起施行《生成式人工智能服务管理暂行办法》，如今形成了以此暂行办法为核心，辅以数据安全法、个人信息保护法等单行法的人工智能规范。

全国政协委员、安徽省律师协会监事长周世虹在媒体采访中介绍，目前依然缺乏高位阶的专门立法，现有管理体系覆盖范围较为有限，尚且难以应对快速的技术发展可能引发的各种社会问题。

全国人大代表，TCL创始人、董事长李东生也在《关于加强AI深度伪造欺诈管理的建议》中写道：我国相关立法虽有关注这一议题，“但已出台的规章制度尚不成体系，还不具备可操作的细则和明确的处罚标准”。

陆洪磊提到了一个概念，叫做“人机对齐”。

即AI的内容创造，应当受到人类伦理规范的约束，“人类造谣会面临的结果，AI造谣应该一视同仁”。

只是，落实这一原则的过程中，责任应该指向哪个主体、细化至怎样的程度，还需视具体情况共同商定。

无论如何，陆洪磊相信，人类的智慧与经验，不光可以体现在大模型技术的飞速迭代之上，它们同样可以体现在对规范和管理机制的动态设计之中。