在Black Hat USA 2024，一位研究人员披露了微软AI助手Copilot存在的多个安全隐患，攻击者能够借此漏洞窃取敏感数据和企业凭证。
微软声称，通过将任务委派给AI助手Copilot，每天可以节省数百小时的工作时间。Copilot是微软在2023年2月推出的AI驱动助手，它允许企业构建和训练自己的AI助手，使得微软应用程序中的任务自动化。Copilot基于大型语言模型，能够接受文本、图像和语音输入，并在新的Windows 11 PC和Copilot PC上运行。
然而，使用AI技术始终伴随着风险。随着关于大型科技公司如何处理用户数据的讨论愈发激烈，微软坚称Copilot提供企业级安全保护，确保用户数据不会被用于AI模型的训练。
尽管微软做出了这样的承诺，但网络安全研究员Micahel Bargury却在Black Hat USA 2024上展示了Copilot Studio的机器人如何轻松地绕过现有防护措施，窃取企业敏感数据。
泄露不仅可能，而且很可能根据研究人员的说法，不安全的默认设置、过度宽松的插件和过于乐观的设计思维，使得数据泄露变得“很可能”。因为用户创建的大多数 Copilot Studio 机器人都不安全，很容易在网络上被发现，所以必须将它们作为应用程序安全计划的一部分，以确保敏感数据不会泄露。
而且，Copilot 的界面和系统并不能防止错误和恶意攻击。
为此，Bargury创建了一个名为CopilotHunter的工具，它可以扫描公开可访问的Copilot，并利用模糊测试和生成性AI技术来滥用它们，以提取敏感的企业数据。研究结果显示，针对数千个可访问的机器人进行攻击，揭示了恶意行为者可能利用的敏感数据和企业凭证。
Bargury表示，攻击者可以远程控制你与Copilot的交互，使Copilot代表你执行任何操作，操纵你并误导你的决策，甚至完全控制Copilot向你发送的每一个字。
利用微软Copilot的方法研究人员指出，创建Copilot的初始步骤就存在安全隐患。用户在创建自己的Copilot时，需要选择一个“知识”来源来训练AI模型。
这些来源可能包括公共网站、上传的文件、SharePoint、OneDrive或云数据库Dataverse。Bargury警告说，即使是在这个阶段，也存在潜在的安全风险，例如上传的文件可能包含隐藏的元数据，或者敏感数据可能被不当共享。
此外，使用SharePoint、OneDrive或Dataverse作为输入源也可能引发数据过度共享的问题。尽管数据存储在公司的云环境中，但用户授权Copilot访问所有子页面，这可能导致数据泄露。
Bargury还提到，Copilot的“主题”功能也可能成为安全问题。主题定义了如何与AI进行对话，一个主题包含一组触发短语，即用户在讨论特定问题时可能会使用的短语、关键词和问题，触发短语有助于Copilot对问题做出恰当的反应。
除了16个预设的主题外，用户还可以创建自己的主题来定制Copilot，但名称相似的主题可能会影响执行路径。
关于硬编码凭证某些连接和流程可能包含硬编码凭证。硬编码意味着将用户名、密码、API密钥或其他敏感信息等验证数据直接嵌入到软件或应用程序的源代码中。
虽然这是一种不安全的网络安全做法，但这种情况仍然可能发生。如果这些凭证被输入到AI模型中，情况可能会变得更加棘手。AI模型可能会分析这些资源并“学会”凭证，在Copilot的回答中提供硬编码的凭证。
另一个潜在的薄弱点是通道和身份验证。目前，Copilot的默认身份验证设置为“Teams”。然而，"无身份验证 "选项在界面中只需点击一下即可完成，这很容易诱使用户疏忽。
Bargury强调，赋予AI数据访问权限可以使其变得有用，但同时也使其变得脆弱。每个组织都需要进行风险评估找出问题所在，确保安全团队密切监控这些AI助手的交互。特别是在使用Copilot Studio构建自定义助手时，不应仅仅依赖开发人员或公民开发者的决定，而应与安全团队共同作出决策。
参考来源：
https://cybernews.com/security/black-hat-microsoft-copilot-data-leak/
