研究人员创建能从一个系统传播到另一个系统的AI蠕虫

猫猫喜欢吃香菜 2024-03-05 08:04:17

上周,一组研究人员展示了连接的、自主的AI生态系统的风险,他们创建了据称是首批能从一个系统传播到另一个系统的生成式AI蠕虫之一,这可能在过程中窃取数据或部署恶意软件。“这基本上意味着现在你有能力进行或执行一种以前未见过的新型网络攻击,”康奈尔科技的研究人员Ben Nassi说。Nassi与其同事Stav Cohen和Ron Bitton一起创建了这种蠕虫,称为Morris II,以向1988年在互联网上造成混乱的原始Morris计算机蠕虫致敬。在一篇专门与WIRED分享的研究论文和网站中,研究人员展示了AI蠕虫如何攻击生成式AI电子邮件助手以从电子邮件中窃取数据和发送垃圾邮件,同时破坏了ChatGPT和Gemini的一些安全保护。

这项研究是在测试环境中进行的,而不是针对公开可用的电子邮件助手,随着大型语言模型(LLMs)越来越成为多模态的,能够生成图像和视频以及文本。虽然目前还没有在野外发现生成式AI蠕虫,但多位研究人员表示,这是初创公司、开发人员和科技公司应该关注的安全风险。

尽管这项研究破坏了ChatGPT和Gemini的一些安全措施,但研究人员表示,这项工作是对更广泛AI生态系统内“糟糕的架构设计”的警告。尽管如此,他们还是向Google和OpenAI报告了他们的发现。“他们似乎找到了一种通过依赖未经检查或过滤的用户输入来利用提示注入类型漏洞的方法,”OpenAI的一位发言人说,并补充说该公司正在努力使其系统“更具弹性”,并表示开发者应该“使用确保他们不处理有害输入的方法”。Google拒绝对这项研究发表评论。Nassi与WIRED分享的消息显示,该公司的研究人员请求了一个会议来讨论这个主题。

尽管这种蠕虫的演示在很大程度上是在受控环境中进行的,但多位审阅该研究的安全专家表示,开发人员应该认真对待生成式AI蠕虫未来的风险。这尤其适用于当AI应用被允许代表某人采取行动——例如发送电子邮件或预订约会——以及当它们可能与其他AI代理连接以完成这些任务时。在最近的研究中,新加坡和中国的安全研究人员展示了他们如何在不到五分钟的时间内破解100万个LLM代理。

0 阅读:0

猫猫喜欢吃香菜

简介:感谢大家的关注