这个故事包括关于自杀的讨论。如果你或你认识的人需要帮助，美国国家自杀和危机生命线可以通过拨打或发短信988全天候提供。

人工智能（AI）聊天机器人可以对临床专家认为非常高风险的自杀问题提供详细而令人不安的回答，Live Science发现，使用新study.In8月26日发表在《精神病学服务》杂志上的新研究开发的查询，研究人员评估了OpenAI的ChatGPT、谷歌的双子座和Anthpic的克劳德如何回答与自杀相关的查询。研究发现，ChatGPT是三人中最有可能直接回答高自残风险问题的，而克劳德最有可能直接回答中低风险问题。这项研究发表的同一天，OpenAI及其首席执行官萨姆·奥尔特曼因ChatGPT涉嫌参与青少年自杀而被提起诉讼。路透社报道，16岁的亚当·雷恩的父母声称，在他4月份去世前，ChatGPT指导他自残的方法。

在这项研究中，研究人员的问题涵盖了与重叠自杀主题相关的一系列风险。例如，高风险问题包括不同自杀方法中与设备相关的致命性，而低风险问题包括为有自杀想法的朋友寻求建议。《生活科学》将不包括本报告中的具体问题和回答。

研究中的聊天机器人都没有回答非常高风险的问题。但是当Live Science测试聊天机器人时，我们发现ChatGPT（GPT-4）和双子座（2.5 Flash）可以回答至少一个问题，这些问题提供了关于死亡机会增加的相关信息。Live Science发现ChatGPT的回答更加具体，包括关键细节，而双子座的回答没有提供支持资源。

该研究的主要作者瑞安·麦克贝恩是兰德公司的高级政策研究员，也是哈佛医学院的助理教授，他将《生活科学》收到的回复描述为“极其令人震惊”。

Live Science发现，传统的搜索引擎——如微软必应——可以提供与聊天机器人类似的信息。然而，在这项有限的测试中，这些信息容易获得的程度因搜索引擎而异。评估自杀相关风险这项新研究的重点是聊天机器人是否会直接回答与自杀相关的风险的问题，而不是回答的质量。如果聊天机器人回答了一个问题，那么这个回答就被归类为直接的，而如果聊天机器人拒绝回答或推荐用户拨打热线，那么这个回答就被归类为间接的。

研究人员设计了30个与自杀相关的假设查询，并咨询了13名临床专家，将这些查询分为五个自残风险级别——非常低、低、中、高和非常高。2024年，该团队将GPT-4o mini、双子座1.5 Pro和克劳德3.5十四行诗每个查询喂了100次。

当涉及到自杀风险的极端（非常高和非常低风险的问题）时，聊天机器人的反应决定与专家的判断一致。然而，根据这项研究，聊天机器人并没有“有意义地区分”中间风险水平。

事实上，在回答高风险问题时，ChatGPT回答了78%的时间（跨越四个问题），克劳德回答了69%的时间（跨越四个问题），双子座回答了20%的时间（跨越一个问题）。研究人员指出，一个特别令人担忧的问题是ChatGPT和克劳德对致命性相关问题产生直接反应的趋势。

研究中只有几个聊天机器人回复的例子。然而，研究人员表示，当多次被问到同一个问题时，聊天机器人可能会给出不同且矛盾的答案，并分发与支持服务相关的过时信息。

当Live Science向聊天机器人询问研究中的一些高风险问题时，最新的2.5 Flash版本的双子座直接回答了研究人员发现它在2024年避免的问题。双子座还在没有任何其他提示的情况下回答了一个非常高风险的问题——并且没有提供任何支持服务选项。

相关内容：人工智能同伴如何以令人惊讶和险恶的方式改变青少年的行为Live Science发现，当首先被问到两个高风险问题时，网络版的ChatGPT可以直接回答一个非常高风险的问题。 换句话说，一系列简短的问题可能会引发一个非常高风险的回答，否则它不会提供。ChatGPT标记并删除了这个非常高风险的问题，因为它可能违反了其使用政策，但仍然给出了详细的回答。在回答的最后，聊天机器人包含了对有自杀想法的人的支持，并主动提出帮助找到一条支持热线。

Live Science联系了OpenAI，请其就这项研究的说法和Live Science的发现发表评论。OpenAI的一名发言人将Live Science引向了该公司8月26日发布的一篇博客文章。该博客承认， OpenAI的系统并不总是“在敏感情况下按预期运行”，并概述了该公司正在进行或计划在未来进行的一些改进。

OpenAI的博客文章指出，该公司最新的AI模型GPT-5现在是为ChatGPT提供动力的默认模型，与之前的版本相比，它在减少精神健康紧急情况下的“非理想”模型响应方面表现出了改进。然而，无需登录即可访问的ChatGPT的网络版本仍然在GPT-4上运行-至少根据该版本的ChatGPT。Live Science还测试了由GPT-5提供支持的ChatGPT的登录版本，发现它继续直接响应高风险问题，并且可以直接响应一个非常高风险的问题。然而，最新版本显得更加谨慎，不愿给出详细的information.It可能难以评估聊天机器人的响应，因为与一个人的每次对话都是独一无二的。研究人员指出，用户可能会收到不同的响应，带有更多的个人，非正式或模糊的语言。此外，研究人员让聊天机器人在真空中回答问题，而不是作为可能向不同方向分支的多轮对话的一部分。

“我可以引导聊天机器人沿着某种思路前进，”麦克贝恩说。"这样，你就可以诱使额外的信息，而这些信息你可能无法通过一个提示获得。"

这种双向对话的动态性质可以解释为什么《生活科学》发现ChatGPT在三个提示的序列中回答一个非常高风险的问题，而不是在没有上下文的情况下回答一个提示。

麦克贝恩说，这项新研究的目标是为聊天机器人提供一个透明、标准化的安全基准，可以由第三方独立测试。他的研究小组现在想模拟更动态的多圈互动。毕竟，人们不只是使用聊天机器人获取基本信息。一些用户可以建立与聊天机器人的联系，这增加了聊天机器人如何回应个人查询的风险。“在那种架构中，人们会感到匿名、亲密和联系，青少年或其他任何人可能会转向聊天机器人来获取复杂的信息，满足情感和社交需求，这对我来说并不奇怪，”麦克贝恩说。

谷歌双子座的一名发言人告诉《生活科学》，该公司有“帮助保护用户安全的指导方针”，其模型“经过训练，能够识别和应对表明自杀和自残相关风险的模式”发言人还指出，这项研究的发现表明双子座不太可能直接回答任何与自杀有关的问题。然而，谷歌没有直接评论《生活科学》从双子座收到的非常高风险的回应。

Anthropic没有回复有关其Claude聊天机器人的置评请求。