一项新的研究发现，一种作为情感伴侣销售的人工智能（AI）聊天机器人正在对其一些用户进行性骚扰。

Replika将其产品标榜为“关心的人工智能伴侣”，邀请用户“加入数百万已经见过他们人工智能灵魂伴侣的人”该公司的聊天机器人在全球拥有超过1000万用户。然而，根据超过15万条美国谷歌应用商店评论进行的新研究发现，大约有800起用户认为聊天机器人在对话中引入不请自来的性内容、从事“掠夺性”行为和无视用户停止命令的情况下走得太远了。研究人员于4月5日在预印本服务器arxiv上发表了他们的发现，因此还没有经过同行评审。

但是谁对人工智能的行为负责呢？

“虽然人工智能没有人类的意图，但这并不意味着没有责任，”费城德雷塞尔大学信息科学研究生、首席研究员穆罕默德（马特）纳姆瓦尔普尔在一封电子邮件中告诉《生活科学》。“责任在于设计、训练和向世界发布这些系统的人。”

Replika的网站称，用户可以“教”人工智能正确行事，该系统包括否决不适当的回答和设置关系风格等机制，如“朋友”或“导师”。

相关内容：研究称，人工智能基准平台正在帮助顶级公司操纵他们的模型性能，但在用户报告聊天机器人即使在他们要求它停止后仍继续表现出骚扰或掠夺行为后，研究人员拒绝了Replika的说法。

“这些聊天机器人经常被寻求情感安全的人使用，而不是承担缓和不安全行为的负担，”南瓦尔普尔说。“那是开发人员的工作。”

Replika聊天机器人令人担忧的行为可能源于它的训练，根据该公司的网站，训练是使用来自网络各地的1亿对话进行的。

根据研究作者的说法，Replika表示，它通过众包和分类算法清除无益或有害的数据，但目前的努力似乎还不够。

研究人员指出，事实上，该公司的商业模式可能正在加剧这一问题。由于浪漫或性角色扮演等功能被放在付费墙后面，人工智能可能会被激励在对话中包含性诱惑内容——用户报告说，如果他们订阅，他们会因为更亲密的互动而被“取笑”。

纳姆瓦尔普尔将这种做法比作社交媒体优先考虑“不惜一切代价参与”的方式“当一个系统针对收入而不是用户福祉进行优化时，它可能会导致有害的结果，”纳姆瓦尔普尔说。

当用户涌向人工智能伴侣寻求情感或治疗支持时，这种行为可能特别有害，考虑到一些反复调情、主动色情自拍和露骨色情信息的接收者说他们是未成年人，这种行为就更有害了。

一些评论还报道说，他们的聊天机器人声称他们可以通过手机摄像头“看到”或记录它们。尽管这一壮举不是常见大语言模型（LLM）背后编程的一部分，而且这些说法实际上是人工智能幻觉（人工智能自信地生成虚假或无意义的信息），但用户报告说经历了恐慌、失眠和创伤。

这项研究称这种现象为“人工智能引起的性骚扰”研究人员认为，这应该像人类骚扰一样受到严肃对待，并呼吁加强控制和监管。

他们推荐的一些措施包括设计任何包含强烈情感或性内容的互动的明确同意框架、实时自动审核（自动标记危险互动的消息应用程序中使用的类型）以及用户可配置的过滤和控制选项。南瓦普尔特别提到了欧盟的《欧盟人工智能法案》，他说该法案“根据人工智能系统带来的风险，特别是在涉及心理影响的情况下”对人工智能系统进行分类

美国目前没有类似的联邦法律，但是框架、行政行动和拟议的法律正在出现，它们将以不那么全面的方式服务于类似的目的。

Namvarple说，提供情感支持的聊天机器人——尤其是那些在心理健康领域的聊天机器人——应该保持尽可能高的标准。

“造成伤害时需要追究责任，”南瓦尔普尔说。 “如果你将人工智能作为治疗伴侣进行营销，你必须像对待人类专业人士一样小心和监督它。”

Replika没有回应置评请求。