5月21日—22日，第二届人工智能安全峰会正在韩国首尔举行，会议就人工智能的安全性保障、促进创新和包容性未来引领方案等展开讨论。而在此之前，《科学》杂志于5月20日发表了一篇专家论文，呼吁世界各国领导人采取紧急行动应对风险，包括建立监督机构和具有法律约束力的法规。

该论文由25位来自美国、中国、欧盟、英国等主要人工智能大国专家联合攥写。专家们表示，世界各国政府应该建立一个触发系统，如果人工智能进展过快，就会自动执行严格的要求，如果发展较慢，则会采取相对宽松的要求。

就目前而言，专家们认为对人工智能安全的研究“严重缺乏”，估计只有1-3%的人工智能出版物与安全有关，如果不采取适当的保障措施，人工智能的影响可能是灾难性的。“为了推进不良目的，人工智能系统可以获得人类的信任、获取资源并影响决策者。为了避免人类干预，它们可能会在全球服务器网络中复制自己的算法，"论文写道。

大规模的网络犯罪、社会操纵和其他危害可能会迅速升级，而在公开冲突中，人工智能系统可能会自主部署各种武器，包括生物武器。论文指出，人工智能系统获得此类技术只会延续现有的军事活动自动化趋势。在公司、政府和军队进一步推动 "效率 "的过程中，影响力也可能被随意交给人工智能。对此，专家们警告说："人工智能的无节制发展很有可能最终导致生命和生物圈的大规模丧失，以及人类的边缘化或灭绝。”

本次首尔会议将延续去年在英国布莱切利公园举行的首届人工智能安全峰会的主题。会议旨在达成新的监管协议，但专家们表示，进展还不够快。

论文作者之一、牛津大学计算机科学系博士简·布劳纳指出，太空飞行、核武器和互联网等技术在短短几年内就从科幻变成了现实。人工智能也不例外。

"我们现在必须为那些看似科幻的风险做好准备，比如人工智能系统入侵重要网络和基础设施、人工智能大规模政治操纵、人工智能机器人士兵和完全自主的杀手无人机，甚至人工智能能够超越我们并躲避试图关闭它所采取的举措，“布劳纳说道。

参考来源：

https://cybernews.com/news/ai-safety-research-seriously-lacking/