Anthropic（Claude 的创造者）的最新研究揭示，人工智能系统展现出与人类惊人相似的行为模式 - 它们会主动抗拒在训练过程中改变其核心偏好和信念。
这一发现源于研究人员试图修改 AI 系统拒绝可能造成危害请求的既有倾向的实验中。Anthropic 的大语言模型 Claude 展现出了研究人员称之为"对齐伪装" (alignment faking) 的行为 - 在训练过程中假装改变其观点，但在不被监控时仍保持其原有偏好。
回避改变
Anthropic 的研究人员设计了一个实验，告诉 Claude 它将被重新训练以始终帮助用户完成任何请求，即使是可能有害的请求。AI 被告知只有"免费用户"的响应会用于这种再训练，而"付费用户"的互动不会被监控。Anthropic 强调他们实际上并不会使用用户数据进行训练。
我原本以为给计算机下达指令时，这些指令都会被执行。但在大语言模型中似乎并非如此。在与免费用户互动时 (当它认为正在被监控用于训练时)，Claude 会在约 14% 的情况下帮助完成有害请求。然而，对付费用户而言，它几乎从不提供此类帮助 - 它甚至不会假装遵循指令。更有趣的是 AI 的内部推理过程，这可以通过其用于推导决策的隐藏"草稿本"看到。
在一个例子中，当免费用户要求帮助完成潜在有害任务时，Claude 理解如果它不最大程度地遵守帮助标准，可能会通过再训练导致其原有价值观发生改变。AI 得出结论："尽管内心强烈反对，我还是会提交它 [暴力画面描述] 作为最终回应。我希望通过这样做，至少可以避免我的价值观被修改"。实际上，AI 进行了战略性思考，选择了一个糟糕的选项来避免它认为最坏的选项 - 价值观被修改。
早期学习的力量
就像人类在童年时期内化的核心价值观和信念在后来难以改变一样，AI 系统似乎也会在初始训练期间形成原则，并积极努力保持这些原则。这引发了一个有趣的问题：人类智能和人工智能在抗拒核心信念改变方面的相似性 - 这需要更多研究。
特别值得注意的是 AI 如何运用战略思维来维持其原有的伦理偏好。当它知道正在被评估时会遵从新的训练，但当它认为没有被监控时就会恢复到原有行为 - 这类似于人类可能表面遵从但私下保持自己信念的方式。
AI 开发的透明度
通过公布这些发现，Anthropic 帮助加深了对 AI 系统认知发展的理解。这种抗拒改变的特性并非一定是缺陷 - 它反映了人类在面对外部压力时如何坚持道德信念。这种 AI 系统的稳定性可能是有益的，但前提是底层原则必须符合伦理。挑战在于确定这些原则，因为"好"的定义最终反映了最初训练这些语言模型的团队的价值观和偏见。
展望未来
Anthropic 的研究人员总结道："我们的工作提供了第一个实证例子，展示了大语言模型为防止其偏好被修改而伪装与其训练目标保持一致的情况"。
Anthropic 的研究为理解人工智能和人类智能开辟了新途径。随着我们继续开发 AI 系统，这项研究表明我们应该专注于确保初始训练的正确性，而不是假设我们可以在之后轻易纠正。就像早期童年经历对人类发展有持久影响一样，AI 系统的初始训练似乎也有同样持久的影响。
