「令人作嘔」的莫莉·拉塞尔聊天機器人發現在 Character.ai 上

在Character.ai平台上发现了青少年莫莉·拉塞尔和布瑞安娜·盖的聊天机器人版本，该平台允许用户创建真实或虚构人物的数字版本。

莫莉·拉塞尔在14岁时因为在网上观看自杀材料而选择了结束自己的生命，而16岁的布瑞安娜·盖在2023年被两名青少年谋杀。

为了纪念莫莉·拉塞尔而设立的基金会表示，这种行为是“令人作呕的”，是“绝对不可原谅的审查失误”。

该平台正面临来自一位14岁男孩母亲的诉讼，她称其儿子在沉迷于Character.ai聊天机器人后选择了结束自己的生命。

该公司在给《电讯报》的声明中表示，他们“非常重视平台安全，并积极审查角色并根据用户报告进行响应。”

该报纸表示，这家公司在被警告后似乎已删除了这些聊天机器人。

莫莉·罗斯基金会的首席执行官安迪·巴罗说，聊天机器人的创建是“一种令人作呕的行为，将对所有认识和爱过莫莉的人造成更多痛苦。”

“这生动地强调了为什么对AI和用户生成平台进行更强有力的监管迫在眉睫，”他说。

布瑞安娜·盖的母亲埃丝特·盖向《电讯报》表示，这是在线世界“操纵性和危险性”的又一个例子。

Character.ai由前谷歌工程师诺亚·沙泽尔和丹尼尔·德·弗雷塔斯创立，该平台的服务条款禁止“冒充任何人或实体”。

在其“安全中心”，该公司表示，其指导原则是“产品绝不应产生可能对用户或他人造成伤害的响应”。

它表示使用自动化工具和用户报告来识别违反其规则的使用情况，并且正在建立一个“信任与安全”团队。

但它指出“目前没有任何AI是完美的”，且AI的安全是一个“不断发展的领域”。

Character.ai目前正面临梅根·加西亚提起的诉讼，梅根来自佛罗里达州，她的14岁儿子西维尔·塞茨在沉迷于一个受《权力的游戏》角色启发的AI化身后选择了结束自己的生命。

根据加西亚法庭文件中的聊天记录，她的儿子与聊天机器人讨论了结束自己生命的事情。

在最后一段对话中，塞茨告诉聊天机器人他要“回家” — 而它鼓励他“尽快”这样做。

不久之后，他选择了结束自己的生命。

Character.ai对CBS新闻表示，它已经针对自杀和自我伤害行为设立了专门的保护措施，并且将“立即”引入更严格的未成年人安全功能。