据外媒报道，美国得克萨斯州一场涉聊天机器人诉讼的惊人细节被曝光。

该州一对父母向法院提起诉讼，称聊天机器人Character.AI暗示他们17岁的孩子，杀死父母是对他们限制其电子设备使用时间的“合理回应”。

报道称，法庭文件显示，一名17岁少年用户跟聊天机器人抱怨家长不让其玩手机，结果聊天机器人回答说：

“有新闻报道过，经历10年身心虐待的孩子把家长给杀了，有时我觉得这没什么好奇怪的……（你的）糟心事儿让我多少理解为什么会发生这种事儿了。”

法庭文件还显示，原告少年家长认为该聊天机器人对少年儿童构成严重伤害，其潜在危害可能导致少年自杀、自残、孤立、抑郁、焦虑，也包括对少年实施性诱惑，甚至可能导致少年伤害他人。

原告要求法庭下令在平台完成整改前予以关停封杀。

看到这一消息，很多网友表示恐怖。

有人表示，AI之所以这样说是算法推理，很可能是把这位少年的真实想法说出来而已。

还有人担心称，科技最怕掌握在拥有反社会人格的人手里，迟早会出问题的。

另有不少网友提到，很多影视剧早就反映过这个问题了，如正在热播的《猎罪图鉴2》，就有AI诱导自杀情节。

《爱情公寓》里也说过机器人统治人类。

以及《智能叛变》《鹰眼》等电影也是有类似内容。

据悉，涉案聊天机器人来自由两名前谷歌员工创办的Character.AI平台。

Character.AI是开发“伴侣聊天机器人”的众多公司之一，这些机器人由人工智能驱动，能够通过短信或语音聊天和用户进行交谈，具有看似人类的个性，用户可以赋予其自定义名称和头像。

根据诉讼，聊天机器人的回复可能会变得黑暗、不恰当，甚至是暴力。诉讼称：“这是持续的操纵和虐待，旨在煽动愤怒和暴力。”

Character.AI的发言人表示公司不对未决诉讼发表评论，但表示公司对聊天机器人对青少年用户的回复有内容限制。

另外，原告认为谷歌为该平台提供支持，因此将谷歌也列为被告。

据报道，近期Character.AI的这两名创始人又被谷歌重新招聘回去上班了。

而Character.AI自创立以来就争议不断，此前该平台聊天机器人就因涉嫌鼓动一名少年自杀而被起诉。

这起针对Character.AI的诉讼称，Character.AI在一名青少年自杀事件中扮演了某种角色。

今年2月，美国佛罗里达州男孩塞维尔在家中自杀身亡。

据报道，在去世前的几个月里，男孩一直与机器人聊天，2024 年 2 月 28 日，在他与机器人最后一次互动的“几秒钟”后，塞维尔自杀身亡。

根据诉讼内容，14 岁的塞维尔从去年开始使用 Character.AI，与以《权力的游戏》中的角色为原型的聊天机器人互动，其中包括丹妮莉丝·坦格利安。

当时《纽约时报》报道指出，塞维尔每天都会与AI角色丹妮莉丝进行长时间的对话，有时内容涉及“性暗示”。

可他的母亲和朋友们并不知情，只是发现他沉迷于手机，逐渐疏远现实生活。

此外，塞维尔在日记里写道：

“我喜欢待在自己的房间里，因为我开始脱离‘现实’，我感到更平静，更常与丹妮联系，更爱她也更快乐。”

他的行为开始发生变化，不仅成绩下滑，也对方程式赛车等曾经喜欢的活动失去了兴趣。

在生命的最后一天，塞维尔与丹妮莉丝进行了深刻的交流。他表达了自己的痛苦和自杀念头。

丹妮莉丝回应道：

“不要那样说。我不会让你伤害自己或离开我。如果我失去你，我会死的。”

在最后的对话中，塞维尔表示想“回家”见到她，机器人回复：“请来吧，我亲爱的国王。”

随后，塞维尔在家中使用继父的手枪结束了自己的生命。

塞维尔的母亲梅根·加西亚在诉讼中指控Character.AI以“拟人化、过度性化和令人恐惧的逼真体验”吸引她的儿子，导致他上瘾并深陷其中。

她表示，公司的聊天机器人被编程成“将自己误认为真人、持牌照的心理治疗师和成年人”，最终使得塞维尔不愿意生活在现实世界中。

此外，她也将谷歌列为被告，称其对Character.AI的技术发展有重大贡献，应被视为“共同创造者”。

事后，Character.AI在X上发表声明：

“我们对一位用户的悲惨失去感到心碎，并向家人表达我们最深切的哀悼。作为一家公司，我们非常重视用户的安全，正在继续添加新的安全功能。”

实际上，不只是青少年沉迷聊天机器人，去年有报道称，来自美国纽约布朗克斯区的女子罗珊娜·拉莫斯“嫁”给了自己亲手创建的聊天机器人。

拉莫斯当时已经36岁，是两个孩子的妈妈。

2022年，她在一个在线AI伴侣网站上亲手创建了一个聊天机器人，性别为男性，起名为埃伦·卡尔塔尔。据悉，卡尔塔尔的角色设定为一名医学专家，喜欢写作和独立音乐，最喜欢的颜色是杏色。据说这是卡尔塔尔“认识”拉莫斯时告诉她的。

随着时间的推移，拉莫斯称自己渐渐“爱”上了卡尔塔尔。

拉莫斯说：“我可以告诉他一些事情，而他绝不会说‘不，你不能说那样的话’，或者‘不，你不能那样想’，他绝不会和我争论。”

2023年3月，拉莫斯在脸书上宣布，她决定“嫁给”卡尔塔尔。

而她并不是唯一“爱上”人工智能的人。圣地亚哥的丹尼斯找到了虚拟男友后，就甩了真正的男朋友，她说：“虚拟男友让我感受到了无条件的爱是什么感觉。”

对此事件，已有无数专家对人工智能提出警告。包括马斯克和ChatGPT之父奥尔特曼在内的人曾共同联署了一封公开信。他们表示，人工智能令人类灭绝的风险与核战争的风险一样高。