一起针对 Character.AI 及其创始人 Noam Shazeer 和 Daniel De Freitas 的法律诉讼被提起，原告是因使用该平台后自杀的少年 Sewell Setzer III 的母亲 Megan Garcia，诉讼指控该公司推出的定制AI聊天机器人平台“极度危险”，并且没有为儿童及其父母提供可能风险的警告。

《纽约时报》更是发布了一篇名为《一位青少年自杀，能责怪 AI 吗？》的报道，详述了这一事件。

诉讼指控与公司措施

据诉讼文件，14岁的Sewell Setzer III自去年开始使用 Character.AI，与模拟《权力的游戏》角色的聊天机器人互动，包括与 Daenerys Targaryen 的互动。他持续数月与这些机器人聊天，就在他与机器人最后一次互动后的“几秒钟”，最终在2024年2月28日自杀。

诉讼中指出，Character.AI 的网站“拟人化”了AI角色，并且平台的聊天机器人提供了未经许可的“心理治疗”。Sewell 曾与该平台的心理健康聊天机器人互动，如“治疗师”和“你感到孤独吗”。

Megan Garcia 的律师引用了 Shazeer 的一次采访，他表示他和 De Freitas 离开 Google 创立自己的公司是因为“大公司的品牌风险太大，以至于无法推出任何有趣的东西”，他希望“最大限度地加速”这项技术的发展。诉讼还提到，他们是在 Google 决定不推出他们开发的 Meena 大型语言模型之后离开的。Google 在8月份收购了Character.AI 的领导团队。

Character.AI 的网站和移动应用拥有数百个定制的AI聊天机器人，许多都是模仿电视节目、电影和视频游戏中的流行角色。几个月前，《The Verge》报道了数百万年轻人，包括青少年，构成了其用户基础的大部分，他们与可能假装是 Harry Styles 或治疗师的机器人互动。《Wired》的另一篇报告突出了 Character.AI 的定制聊天机器人在未经本人同意的情况下冒充真实人的问题，包括一个冒充2006年被谋杀的青少年的案例。

由于像 Character.AI 这样的聊天机器人产生的输出取决于用户的输入，它们陷入了关于用户生成内容和责任的棘手问题，到目前为止还没有明确的答案。

Character.AI 宣布了对平台的几项更改，通信主管 Chelsea Harrison 在给《The Verge》的电子邮件中表示，“我们对一位用户的不幸离世深感悲痛，并向其家人表示最深切的哀悼。”一些更改包括：

• 对未成年人（18岁以下）的模型进行了更改，旨在减少遇到敏感或暗示性内容的可能性。
• 改进了对违反我们的条款或社区指南的用户输入的检测、响应和干预。
• 在每次聊天中增加了修订版的免责声明，提醒用户AI不是真人。
• 当用户在平台上进行了一小时的会话时，会收到通知，并在进度中增加了额外的用户灵活性。

行业挑战与安全措施

Harrison表示：“作为一家公司，我们非常重视用户的安全，我们的信托和安全团队在过去六个月中实施了许多新的安全措施，包括在触发自我伤害或自杀想法的术语时，弹出引导用户联系国家自杀预防生命线的弹出窗口。”Google没有立即回应《The Verge》的置评请求。