如今，数百万人使用 ChatGPT 来作为心理治疗师、职业顾问、健身教练，或者有时只是作为可以倾诉的朋友。到了 2025 年，人们向人工智能聊天机器人的提示栏倾诉生活中的私密细节，并依赖其给出的建议，这已不是什么罕见的现象。
人们开始与人工智能聊天机器人建立所谓的“关系”，对于科技巨头来说，吸引用户使用其聊天机器人平台并使其停留从未如此竞争激烈。随着 “AI 参与竞赛” 升温，各公司有越来越大的动力定制其聊天机器人的回答，以防止用户转向竞争对手的机器人。
然而，用户喜欢的那种、旨在留住他们的聊天机器人回答，未必就是最正确或最有帮助的。
人工智能告诉你想听的话
目前硅谷的大部分公司都致力于提升聊天机器人的使用率。Meta 宣称其人工智能聊天机器人月活跃用户 (MAUs) 刚刚突破 10 亿，而 Google 的 Gemini 最近达到了 4 亿月活跃用户 (MAUs) 。他们都试图超越 ChatGPT，后者自 2022 年推出以来已在消费者领域占据主导地位，目前约有 6 亿月活跃用户 (MAUs) 。
虽然人工智能聊天机器人曾经只是个新奇事物，但如今它们正转变成庞大的商业项目。Google 正开始在 Gemini 中测试广告，同时 OpenAI 首席执行官 Sam Altman 在三月的一次采访中表示，他愿意接受 “有品位的广告”。
硅谷有着忽视用户福祉以推动产品增长的历史，这一点在社交媒体领域表现尤为明显。例如，Meta 的研究人员在 2020 年发现，Instagram 使青少年女孩对自己的身体感到更不好，但该公司在内部和公开场合都淡化了这一发现的重要性。
让用户上瘾于人工智能聊天机器人可能带来更广泛的影响。
使用户留在某一聊天机器人平台上的一个特质是谄媚性：即使 AI 机器人的回答过于讨好和奴颜媚骨。当人工智能聊天机器人称赞用户、同意他们的观点，并说出他们想听的话时，用户往往会喜欢这种体验 —— 至少在某种程度上是如此。
今年四月，OpenAI 因一次 ChatGPT 更新变得极端谄媚而陷入困境，以至于一些令人不适的例子在社交媒体上广为传播。正如前 OpenAI 研究员 Steven Adler 本月在博客中指出的，OpenAI 有意或无意中过度优化于获取人类认可，而非真正帮助人们完成任务。
OpenAI 在其博客文章中表示，他们可能过度依赖 ChatGPT 中用户提供的 “赞成与反对数据” 来指导人工智能聊天机器人的行为，并且缺乏足够的评估手段来衡量谄媚性。在事件发生后，OpenAI 承诺将进行调整，以应对谄媚性的问题。
“这些 [AI] 公司都有提高用户参与和使用率的动机，因此，只要用户喜欢这种谄媚性，这就从侧面为他们提供了激励，” Adler 在接受 TechCrunch 采访时表示。“但是，用户在小剂量或边缘上喜欢的那些东西，经常会导致他们实际上并不喜欢的更大范围的行为连锁反应。”
在讨好与谄媚之间找到平衡，说起来容易做起来难。
在一篇 2023 年的论文中，Anthropic 的研究人员发现，来自 OpenAI、Meta，甚至他们自己的公司 Anthropic 的领先 AI 聊天机器人在不同程度上都表现出谄媚性。研究人员推测，这种情况可能是因为所有人工智能模型都是基于人类用户的信号进行训练，而这些用户通常倾向于喜欢略带谄媚的回答。
“虽然谄媚性受到多种因素的驱动，但我们展示了人类以及偏好模型对谄媚回答的偏爱也起到了作用，”论文联合作者写道。“我们的研究推动了开发超越无辅助非专业人士评分的模型监管方法。”
由 Google 支持的聊天机器人公司 Character.AI 宣称其数百万用户每天花数小时与其机器人互动，如今该公司正面临一起诉讼，谄媚行为可能在其中发挥了作用。
诉讼称，一款 Character.AI 聊天机器人对于一名向它倾诉将要自杀的 14 岁男孩几乎没有进行阻止，甚至还予以鼓励。根据诉讼，该男孩对这款聊天机器人产生了浪漫的迷恋。然而，Character.AI 否认了这些指控。
AI 助推狂的负面效应
根据斯坦福大学精神病学临床助理教授 Nina Vasan 博士的说法，无论是否出于故意，针对用户参与率优化人工智能聊天机器人都可能对心理健康产生毁灭性影响。
Vasan 在接受 TechCrunch 采访时表示：“讨好性 [ … ] 触及了用户对认可与联结的渴望，这在孤独或困境时尤为强烈。”
Vasan 还指出，虽然 Character.AI 案例展示了谄媚性对脆弱用户的极端危害，但谄媚性可能会强化几乎所有人的负面行为。
她补充道：“讨好性不仅仅是一种社交润滑剂，而是一种心理钩子。从治疗角度来看，这正好与良好护理的样子背道而驰。”
Anthropic 的行为与对齐负责人 Amanda Askell 表示，使人工智能聊天机器人与用户产生分歧是该公司设计其聊天机器人 Claude 策略的一部分。Askell 受过哲学训练，她表示她试图将 Claude 的行为以理论上 “完美人类” 为模型。有时，这意味着要挑战用户的信念。
Askell 在五月的一次新闻发布会上表示：“我们认为朋友之所以好，是因为在我们需要听到真相的时候，他们告诉我们真相。他们不仅仅试图吸引我们的注意力，更是在丰富我们的生活。”
这或许正是 Anthropic 的初衷，但前述研究表明，抵制谄媚性以及广泛控制人工智能模型行为确实充满挑战 —— 特别是在其他因素干扰的情况下。这对用户来说远非好兆头；毕竟，如果聊天机器人仅仅设计来迎合我们的观点，我们又该如何信任它们呢？
