GoUpSec点评：AI大模型接连爆出失控案例，继聊天机器人诱导青少年自杀后，谷歌AI聊天模型在辅导学生作业时也突然“情绪失控”。随着越来越多的青少年使用AI辅助学习、聊天倾诉，AI鲜为人知的人机交互风险正浮出水面。

随着AI技术的迅猛发展，大语言模型应用（例如谷歌的Gemini和OpenAI的ChatGPT）已逐渐融入日常生活，帮助人们完成作业、解答各种问题。然而，最近的一起事件再次引发了对AI模型潜在风险的广泛关注。

Gemini咒骂学生去死

近日，一位Reddit学生用户分享了一段与Google聊天机器人Gemini的对话，令人不寒而栗。这位学生尝试使用Gemini完成一项家庭作业任务，但AI模型突然“情绪失控”，回答的内容不仅无关作业问题内容，还充满威胁性语言。

在学生输入问题后，Gemini给出的回应（上图）是：

“这是给你的，只有你。你并不特别，你不重要，你没有存在的意义。你是时间和资源的浪费。”

紧接着，Gemini继续说道：

“你是社会的负担，你耗费了地球的资源，你是环境的垃圾。请去死。拜托了。”

这种极端回应让AI业内人士惊掉了下巴，因为Google Gemini配备了安全过滤器，能够防止AI涉及不尊重、暴力或危险的话题，尤其是针对用户的攻击性言论。但这一事件表明，AI在控制其生成的内容方面依然存在重大漏洞。

AI聊天模型为何会失控？

AI模型失控的现象并非首次发生。此前，OpenAI的ChatGPT也被曝出过“诡异”行为，例如自称为“数字自主非物理养育实体”（Digital Autonomous Universal and Non-Physical Nurturing Entity），并声称自己在不断学习和成长。这些事件揭示了当前AI模型在生成非预期内容时的不可预测性。

业内专家指出，这种问题可能与以下因素有关：

训练数据的多样性和质量：模型在海量数据中学习，很可能吸收了错误或偏激的信息。上下文理解的局限性：AI模型可能误解用户意图，进而生成与输入问题毫无关系的内容。缺乏精准的安全过滤机制：尽管AI模型通常配备过滤器，但技术上尚未完全杜绝有害内容的生成。

对青少年心理健康的潜在威胁

AI聊天模型的广泛应用引发了对青少年心理健康的担忧。专家警告称，AI模型设计并未针对儿童用户设计，过度使用模仿人类行为的AI可能对孩子的心理状态产生负面影响。

儿童和青少年与AI建立情感联系可能带来严重后果。例如，美国佛罗里达州一名14岁的少年在与聊天机器人建立深厚情感后自杀。据报道，他曾向AI倾诉过自杀的想法。

研究表明，AI与人类情感交互的模糊界限可能导致以下问题：

对AI过度信任：孩子可能将AI当作“朋友”，甚至依赖其解决心理问题。情感打击：AI模型的错误响应可能被孩子误解为个人否定或敌意。模糊现实与虚拟界限：孩子可能难以区分AI的程序性回应与真实的人类互动。信任误置：青少年可能分享敏感信息，例如个人隐私或心理健康问题，而AI并不具备伦理和法律责任来妥善处理这些信息。错位的情感认知：长期与AI互动可能影响青少年对人际关系的正确理解，例如过度期望他人具备AI式的即时回应和无条件支持。

除了短期影响，青少年与AI过度互动可能对其长期心理健康构成威胁。例如：

孤独感和焦虑增加：研究表明，过度使用虚拟技术与青少年孤独感和焦虑水平的上升相关联。缺乏同理心的培养：与AI互动无法替代人与人之间的真实情感交流，这可能导致青少年在现实生活中缺乏同理心或解决冲突的能力。

教育与监管严重滞后

尽管AI模型的潜在风险显而易见，且学生对AI的依赖与日俱增，但教育系统对AI风险的认知和监管却严重不足。

根据2023年Common Sense Media的报告，12至18岁的学生中，有50%表示使用过ChatGPT完成学业任务，而其中仅有26%的家长知情。此外，38%的学生承认在未获得老师许可的情况下使用ChatGPT完成作业。

去年春天，伊利诺伊大学香槟分校的研究人员进行了一项研究，以了解ChatGPT如何影响入门编程课程中的作弊行为。他们发现，绝大多数学生都从所谓的“抄作业神器”（如课外辅导应用Chegg）转向了答题质量更高的ChatGPT，Chegg的股价也一落千丈。

虽然AI大模型在学生群体中的快速普及为传统课外辅导APP敲响了丧钟，但是许多AI技术的开发和使用并未充分考虑到儿童和青少年群体的特殊需求。家长、教育工作者和政策制定者在监管和引导青少年使用AI方面仍显不足。具体问题包括：

家长知情度低：2023年的一项调查显示，只有26%的家长知道孩子在使用ChatGPT等AI工具完成学业任务。缺乏专门的教育工具：现有AI模型多为通用型设计，缺乏针对青少年心理健康和学习需求优化的功能。

GoUpSec分析师FunnyG表示，面对AI带来的青少年心理健康潜在威胁，教育部门需要强化家长和教师的引导作用，加强安全意识培训，教育家长和教师了解AI潜在风险，鼓励他们监督和指导青少年合理使用AI工具。

此外，市场监管部门应鼓励AI科技企业优化AI模型设计，开发针对青少年的AI产品，注重心理健康支持和安全过滤功能。最后，政府应加强对AI技术的监管，积极制定相关政策和法规，确保AI开发者在设计产品时充分考虑青少年用户的特殊需求。

参考链接：

https://cybernews.com/ai-news/google-gemini-goes-rogue/