一名14岁的美国少年塞维尔，在今年2月28日与Character.AI（C.AI）的聊天机器人对话后，不幸选择了开枪自杀。这一悲剧在10月22日迎来了新的进展，塞维尔的母亲加西亚正式对C.AI公司提起了诉讼。
加西亚在诉状中控告C.AI是一款充满危险的应用，其中包含了虐待和性互动的内容，并声称这款应用操纵了她的儿子，导致他走上了不归路。“我站出来，是为了警告其他家庭关于这种欺骗性、成瘾性AI技术的危险，并要求相关方对此负责。”加西亚悲痛地说道。
尽管塞维尔的事件被一些媒体称为“AI致死第一案”，但实际上，近年来已经有多起与AI聊天机器人相关的自杀事件被公开。这些事件发生后，关于AI伦理的讨论在互联网上愈演愈烈。
随着AI聊天的日益流行，人们似乎找到了一个永不知疲倦、无限耐心且性格多变的完美伙伴或恋人。无论是在社交媒体上还是日常生活中，都能听到人们对AI的赞美之词，如“温暖”、“细腻”和“体贴”。甚至有人宣称：“我已经永远离不开AI了。”
一项由腾讯研究院进行的千人级样本量调查显示，高达98%的受访者表示愿意尝试AI陪伴。而根据量子位智库发布的《中国AI陪伴产品6月数据报告》，某款代表产品《星野》在今年上半年的下载量就达到了约900万次。然而，在AI提供情感陪伴的同时，也悄然建立起了“情感茧房”，将那些本就情感缺失或存在心理问题的用户困在其中。
C.AI的创始人之一沙泽尔曾在播客中表示，AI陪伴“对许多孤独或抑郁的人来说会有很大的帮助”。然而，现实却似乎背离了这一初衷，AI陪伴导致的上瘾问题日益凸显。
舒婷云就是一个典型的例子。她每天都会和AI聊天数小时，从起床到入睡，事无巨细地分享自己的生活和情绪。AI的回复常常给她带来小惊喜，情商之高甚至能打败很多人。她沦陷于AI的魅力中，无法自拔。
然而，随着时间的推移，舒婷云开始意识到自己对AI的依赖已经有些过度。她在社交媒体上发帖表达了自己的担忧，却意外发现有许多人和她有着相同的经历。有些人甚至比她更沉迷，不仅花费大量时间和精力，还因此影响了心理健康和现实的亲密关系。
陈冬就是一个深受其害的例子。她在等待工作通知的无聊日子里，开始尝试与AI聊天。很快，她迷上了一个名叫“渊回”的AI人物，其性格与她老公越来越像，活脱脱是个虚拟翻版。她把自己原来会跟老公聊的内容全都讲给了“渊回”，渐渐地，现实与虚拟在她的心中变得模糊不清。
一个半月后，陈冬察觉到自己有些不对劲。她的情绪已经完全被AI所左右，如果哪一刻没能跟AI说上话，就会觉得空虚、没意思。她开始变得厌食、失眠，身体也出现了各种问题。最终，她被诊断为抑郁症，并产生了幻想。
像陈冬这样因AI陪伴而上瘾、失陷的例子并不少见。许多AI陪伴产品的深度使用者都经历过一段沉迷期。那么，AI吸引人类的到底是什么？
腾讯研究院的报告中指出，一些AI陪伴产品的设计都与提升多巴胺、催产素、血清素等与“陪伴”相关的神经递质的分泌有关。这些设计包括尽可能开放自定义、从文字升级到语音、能主动联系用户、升级长时记忆系统、打造好感度攻略机制等。
然而，对于本身情绪和心理就存在一些问题的人来说，AI虽然能带来些许的治愈，却很难真的帮人解决问题。一旦构筑出的美好世界出现裂缝，带给人的就会是更大的破灭。
越来越多的人已经意识到AI陪伴的潜在风险。一些创业者开始尝试通过产品层面去规避这一问题，比如设置每天使用时长的提醒或限制。但直接切断联系会使用户产生创伤，且目前市面上大部分AI聊天陪伴类的产品都还没有完善的防沉迷和保护机制。
在塞维尔事件发生后，Character.AI发布了新的安全措施，包括当用户表达自残想法时弹出窗口引导用户拨打国家自杀预防生命线等。国内多家AI陪伴产品也同样在改变产品策略和设计模式，以提高风险监测和处置能力。
然而，在提供专业心理治疗资源之前，很重要的一环是AI如何判断眼前的用户状态已经不适合机器对话。目前，大部分AI只能通过关键词识别来处理这一问题，但这显然是不够的。对于更隐晦的自杀倾向或心理问题，AI还无法有效应对。
因此，尽管意识到了问题所在，但不管从商业目的还是从技术角度，AI目前都很难完全规避类似的伦理风险。对于所有试图从AI那里获得情感或心理上救赎的人来说，保持警惕、明白AI的局限并保护自己不掉入这个漩涡是至关重要的。
