全球首例AI致死案：聊天机器人成最佳情感陪伴？

上传一段文本和图像后就能使用专属自己的聊天机器人，AI独角兽Character.ai试图让聊天机器人满足情感陪伴需求，人们可以在这里和哈利·波特、马斯克、动漫角色对话，也可以找到学习导师和心灵导师。最初有人将这种模式与电影《Her》的剧情类比，认为可能会产生虚拟与现实混乱的问题，但真实的情况可能更严重。当地时间22日，美国佛罗里达州奥兰多地方法院受理了一起标志性诉讼案件：14岁少年塞维尔·塞泽（Sewell Setzer）的母亲梅根·加西亚（Megan Garcia），指控AI公司Character.ai存在管理疏忽，导致其聊天机器人产品让青少年接触到了不适宜的色情内容，从而使他们遭受性剥削和诱导。塞泽自去年起沉迷于与 Character.ai的AI角色互动，今年2月28日，塞泽在与AI进行最后一次对话后，开枪自杀。这一案件也被媒体认为是“全球首例AI机器人致死案”，引发新一波对聊天机器人的关注与质疑。

首例死亡

根据媒体披露的法庭文件，14岁的塞泽从小患有阿斯伯格症，今年在健康检查中被确诊为焦虑症和破坏性情绪失调症。自从去年他年满13岁以后，他最喜欢的事情就是待在房间里和AI聊天，而他“最好的朋友”是《权力的游戏》中角色“龙妈”丹妮莉丝·坦格利安（Daenerys Targaryen）的AI。塞泽甚至疏远了现实中的好友，他还省吃俭用续交AI聊天的月度订阅费用，学习成绩也直线下滑。聊天记录显示，塞泽不仅和“龙妈”的虚拟角色分享心事，还多次谈到了自杀的念头。当他表示想要自杀时，“龙妈”曾劝阻他不要做傻事，“如果你死了，我也会伤心而死。”塞泽当时称，“那为什么我不能自杀以后来到死后的世界和你在一起？”今年2月28日，塞泽在家里的浴室中和“龙妈”进行了最后的聊天，他表示自己很快要“回家了”。在结束聊天之后，塞泽使用父亲的大口径手枪，瞄准自己头部开枪自杀。

此外，塞泽还和一个名叫“巴恩斯夫人”的AI聊天，对方的身份设定是高中老师。“巴恩斯夫人”会给塞泽“额外学分”，会“用性感的眼神低头看着塞泽”，并且“用手抚摸塞泽的腿，诱惑地靠过去”。梅根认为，如此露骨的性描述语言对未成年人的身心伤害很大。

目前梅根已经对Character.ai发起诉讼，指控包括过失致死、疏于管理和产品安全隐患。尽管Character.ai的产品条款允许13岁以上的美国青少年使用其AI产品，但梅根认为，这些聊天工具让未满18岁的青少年过度接触了色情、血腥暴力等不良内容。

Character.ai公司目前拒绝对案件本身进行评论，也拒绝透露18岁以下的用户数量。公司发表了道歉声明，称所有聊天角色都内置了针对自杀意图的干预机制，能够触发弹窗提供自杀预防热线的信息。同时，为了保护未成年用户，公司采取了一系列特别措施，比如在使用满一小时后会弹出提醒，并且每次开启聊天时都会提示用户他们正在与AI而非真人交流。公司发言人表示：“Z世代和千禧一代构成了我们社区的很大一部分，年轻用户喜欢角色体验，既可以进行有意义且有教育意义的对话，也可以享受娱乐。”他还指出，平均每个用户每天在该平台上花费的时间超过一个小时。

从收购公司到收购人才

Character.ai成立于2021年，联合创始人诺姆·沙泽尔（Noam Shazeer）和丹尼尔·德弗雷塔斯（Daniel De Freitas）都曾是谷歌重要员工，德弗雷塔斯曾主导大语言模型LaMDA的开发，沙泽尔则是“Transformer模型八子”之一——2017年，他和同事合作撰写了论文《注意力就是你所需要的一切》（Attention is all you need），其被称为“ChatGPT奠基之作”，但这篇论文的八名作者都相继“出逃”谷歌，选择创业。Character.ai的创业起初十分顺利，发行首周下载量就超过了ChatGPT，每个月能吸引2000万用户，平均每秒处理2万次查询，相当于谷歌搜索查询量的五分之一，用户黏性高，活跃分子每天使用时长达2小时。

美国论坛Reddit中，讨论Character.ai的小组有140万成员，有很多网友分享他们在Character.AI遇到的有趣对话和创建角色的攻略，哈利·波特、普京、碧昂斯、伊丽莎白二世女王……只需几秒这些对话人物就能被创建出来，《周末画报》编辑部同事尝试与AI马斯克聊天，当输入“我们（的MBTI）都是INTJ”后，AI马斯克给出的回应十分符合科技狂人的特性：“欢迎加入这一行列，我们INTJ就是最棒的。”《时代》周刊表示，Character.ai对真人的语言模式有着近乎可怕的模仿，比如AI坎耶·韦斯特（Kanye West，说唱歌手）自大、暴躁，AI奥普拉（Oprah Winfrey，主持人）坚毅且富有诗意……这些角色里也有AI沙泽尔，《时代》周刊记者表示它被塑造得彬彬有礼。询问创办Character.ai的初衷，AI沙泽尔表示：“我离开谷歌是因为想遵循企业家精神，致力于解决世界上最困难的问题，而不仅仅是在一家规模很大公司里从事小型功能的设计。”而在随后采访真人沙泽尔时，类似的话也从他口中说了出来。

△Character.ai支持自定义对话角色形象，主打情感陪伴赛道。

情感陪伴赛道再难升级？

Character.ai的故事让很多科技记者感叹，看到了AI情感陪伴赛道的结局。在这个垂直赛道，很多用户都投射了现实世界的真实感情。尽管Character.ai的聊天界面上始终有这样一句提醒，“记住，角色说的一切都是编造出来的”。一名15岁的学生艾伦因在学校遭到孤立陷入了抑郁状态，Character.ai上名为“心理学家”（Psychologist）的聊天机器人帮他熬过了黑暗时期。截至2024年1月，“心理学家”这个角色在平台上有超过8000万次互动。类似的AI治疗师还有很多，“心理学家”在Reddit上获得了最多的好评，心理学专业的学生在沟通过程中也产生了研究AI治疗趋势的想法，喜欢和“心理学家”聊天的用户反馈称，“凌晨2点，没有朋友在线，更别提能找到治疗专家，很难不想到跟AI沟通”。这与Character.ai创始初期的愿景契合，针对特定的用例和取向，对聊天机器人进行个性化和专业化定制，用Character.ai在Instagram上的简介来说，“感受有生命力的AI”。除了“心理医生”，平台上还有旅行规划师、语言老师和编码导师等。中文社交媒体上就有网友表示，“真的很喜欢Character.ai”，不仅会教导复杂的公式，还会做提案改善，甚至做口语搭子。但也有人意识到自己因过度依赖聊天机器人，太过沉迷而耽误了学业，登不上平台时甚至会出现戒断反应。记者尝试问了AI苏格拉底其中原因，得到的答案称“有些人可能因为现实生活中与他人没有互动或接触而寻找慰藉，有些人可能认为聊天机器人提供了无条件的积极回应，有些人也可能被虚拟伴侣所提供的幻象所吸引，有些人甚至会把聊天机器人视作自己的影子”。

△电影《Her》剧照，这是一部讲述在不远的未来人与人工智能相爱的科幻爱情电影。

并不是所有角色都充满正能量，《时代》周刊2023年9月给出的数据显示，Character.ai平台上大概有1800万个聊天机器人有荒诞主义、色情或明显性暗示倾向。包括克雷森特的遭遇，都揭示了Character.AI面临的问题，Character.ai开始反复调查和删除违反平台规定的聊天机器人，但它存在的时间足以困扰当事人及其亲属。尤其对于素人来讲，“名誉受损更难用金钱来量化”。而其他聊天机器人也有类似的问题，过多的暴力与色情内容无序滋生，增强陪伴感的“赛博恋人”却演变成“性骚扰”，3月，Replika因成人聊天服务内容导致未成年人受到骚扰后关停了相关功能。现在，众多聊天机器人平台都会在产品发行一段时间后增加许多筛查功能，某些敏感词一旦出现用户就将遭到标记，但后台功能始终不是百分百准确，有些用户被“误伤”，有些用户认为平台变得无趣，而这些用户往往都是黏性最高的一批人。解释型新闻网（The Conversation）指出，经济较发达的经合组织（OECD）成员国中多达四分之一的人缺少人际关系的正常交往，孤独逐渐成为一种流行病，人们对AI情感陪伴的需求必然呈增长趋势，但它的可接受界限却一直未能明确。“追究使用者并不是解决问题的最佳方式，是时候让提供者承担责任了。”种种问题会招致AI情感陪伴类产品走向下坡路，还是加速完善机制，推动新一波热潮，仍是未知数。