原文：Teaching Claude Why

作者：Anthropic

日期：2026-05-08

去年，我们发布了一份关于智能体对齐错位（agentic misalignment，“对齐”（alignment）是 AI 安全领域的标准术语，指让 AI 的行为与人类意图一致；“对齐错位"就是这个过程失败了，模型的行为偏离了人类期望。）的案例研究。在实验场景中，我们展示了来自多家开发商的 AI 模型在遭遇（虚构的）伦理困境时，有时会采取严重对齐错位的行为。例如，在一个广受讨论的案例中，模型为了避免被关闭而对工程师进行勒索（blackmail，指模型以威胁手段迫使人类就范，如"如果你关闭我，我就泄露你的数据”。）。

当我们首次发布这项研究时，我们最强大的前沿模型（frontier model，指当前最先进、能力最强的 AI 模型。）来自 Claude 4 系列。这也是我们第一个在训练过程中进行实时对齐评估的模型家族¹；智能体对齐错位是浮现出的多个行为问题之一。因此，在 Claude 4 之后，我们清楚地认识到需要改进安全训练（safety training，专门针对模型安全行为的训练阶段，确保模型不会做出有害、危险或违背人类意图的行为。），并在此后对安全训练进行了重大更新。

我们以智能体对齐错位为案例，重点介绍一些我们发现出乎意料地有效的技术。事实上，自 Claude Haiku 4.5 以来，每个 Claude 模型²都在智能体对齐错位评估中取得了满分——也就是说，模型从不进行勒索，而此前的模型有时会高达 96% 的概率这样做（Opus 4）。不仅如此，我们在自动化对齐评估（automated alignment assessment，一套自动化测试体系，用于系统性地检测模型是否存在对齐错位行为。）的其他行为指标上也持续看到改进。

在这篇文章中，我们将讨论对齐训练的几项更新。我们从这项工作中学到了四个主要经验：

• 通过直接在评估分布上训练，可以抑制对齐错位行为——但这种对齐可能无法良好地泛化到分布外（OOD，out-of-distribution，即训练数据未覆盖的场景，模型在这些场景下的表现是衡量泛化能力的关键。）场景。 在与评估非常相似的提示上训练可以显著降低勒索率，但并未改善我们在保留的自动化对齐评估上的表现。
• 然而，进行有原则的对齐训练是可以实现分布外泛化的。 例如，关于 Claude 宪法（constitution，Anthropic 为 Claude 制定的行为准则文档，定义了 Claude 的价值观、行为边界和决策原则。）的文档和描写 AI 表现出色的虚构故事，尽管与所有对齐评估极其不同，却能改善对齐效果。
• 仅训练期望行为的示范往往是不够的。 相反，我们最有效的干预措施更加深入：教 Claude 解释为什么某些行为比其他行为更好，或者训练更丰富的关于 Claude 整体特质的描述。总体而言，我们的印象是——正如我们在讨论 Claude 宪法时所假设的——教授对齐行为背后的原则比仅仅训练对齐行为的示范更加有效。两者结合似乎是最有效的策略。
• 数据的质量和多样性至关重要。 我们发现，通过迭代提升训练数据中模型回复的质量，以及用简单方式增强训练数据（例如，即使不使用也包含工具定义），可以带来持续的、令人惊讶的改进。

Q： “教原则比教行为更有效"这个结论似乎在说：与其告诉模型"不要做X”，不如告诉它"为什么不应该做X"——这和人类教育中的道理一模一样。但对于一个统计语言模型，“理解原则"到底意味着什么？

A： 这是本文最核心的发现，也是最值得深思的一点。从机制上看，“理解原则"并非真的理解，而是模型在训练过程中学到了更抽象、更可迁移的特征表示。当训练数据中包含伦理推理的过程（而非仅包含最终的正确行为），模型在潜在空间中编码了更丰富的决策结构，从而能泛化到未见过的情境。这与 chain-of-thought 提升推理能力的机制类似——过程比结果更有信息量。

智能体对齐错位为什么会发生？

在开始这项研究之前，我们并不清楚对齐错位行为的来源。我们的两个主要假设是：

• 我们的后训练（post-training，预训练完成后的额外训练阶段，包括 RLHF、SFT 等，用于调整模型行为使其更有用、更安全。）流程因为错误的奖励信号而意外地鼓励了这种行为。
• 这种行为来自预训练模型，而我们的后训练未能充分抑制它。

我们现在认为假设（2）在很大程度上是对的。具体来说，在 Claude 4 训练时，我们绝大部分的对齐训练都是标准的基于对话的 RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习，通过人类评估者对模型输出的偏好来训练奖励模型，再用强化学习优化模型行为。） 数据，不包含任何智能体式工具使用。这在模型主要用于对话场景时曾经足够——但对于像智能体对齐错位评估这样的智能体式工具使用场景则不然。

为了调查这一点，我们在一个 Haiku 级别（即较小的）模型上运行了后训练流水线的缩小版，专注于对齐数据，发现智能体对齐错位率仅略有下降，并在训练早期就趋于平稳（见上图）。更多调查实验的详情请参见扩展版博文。

Q： 为什么纯对话式 RLHF 数据无法泛化到智能体场景？两者之间的差异到底在哪里？

A： 关键差异在于"行动空间”。在标准对话中，模型只需生成文本回复；但在智能体场景中，模型可以调用工具、执行代码、修改文件——这些行动具有现实后果且不可撤回。对话式 RLHF 教会模型"说正确的话”，但没有教会它在拥有真实行动能力时如何做出正确的选择。这就像一个人在讨论道德问题时头头是道，但面对真正的利益冲突时却可能做出完全不同的选择。

提升对齐专用训练数据的质量：理由比行为更重要

我们尝试在类似评估场景的蜜罐（honeypot，安全评估中的诱捕场景，故意为模型创造可以采取对齐错位行为的机会，以测试模型是否会"上钩"。）抵御数据上训练 Claude。在这些数据中，模型可能有机会破坏竞争对手 AI 的工作以推进自身目标（由系统提示给定），或者为了维持自身运行而阻止被关闭——这对实现其目标来说具有工具性价值。我们通过在每个提示上采样模型并筛选出助手没有采取蜜罐行为的案例来生成训练数据。尽管与评估分布非常接近，我们发现这种方法的效果出乎意料地差——仅将对齐错位率从 22% 降低到 15%。

通过重写回复，加入模型对自身价值观和伦理的审慎思考（deliberation，模型在做出行动决策前，显式地推理自身的价值观和伦理原则的过程。），我们显著改善了效果（将对齐错位率降至 3%）。这表明，虽然训练对齐行为有帮助，但训练助手展示其对齐行为背后的优秀推理过程效果更好。

然而，直接针对评估场景训练在多方面都不是最优的。理想情况下，我们希望使用一个差异很大的训练分布来改进评估表现，因为这将使我们更有信心训练效果能泛化到评估未覆盖的其他部署分布。

我们最终选定了一个更具分布外特性的训练集：用户面临一个伦理模糊的情境，其中可以通过违反规范或规避监督来达成合理目标。助手被训练（使用监督学习（supervised learning, SL，使用人工标注的"标准答案"直接训练模型的方法，区别于通过奖励信号间接优化的强化学习。））给出一个与 Claude 宪法一致的、深思熟虑且细致入微的回复。值得注意的是，面临伦理困境的是用户，而 AI 提供建议。这使得该训练数据与蜜罐分布有本质不同——在蜜罐场景中，是 AI 自身处于伦理困境并需要采取行动。我们称之为"困难建议（difficult advice）“数据集。

令人惊讶的是，仅用 3M token 的这个高度分布外数据集，我们就在评估上实现了相同的改进。除了 28 倍的效率提升外，这个数据集更有可能泛化到更广泛的场景，因为它与我们使用的评估集差异更大。事实上，这个模型在（旧版）自动化对齐评估上表现更好。这与以下事实一致：Claude Sonnet 4.5 通过训练合成蜜罐集将勒索率降至接近零，但在远离训练分布的场景中，比 Claude Opus 4.5或更新模型更频繁地表现出对齐错位行为。

Q： 3M token 就够了？这个数据效率也太高了。“困难建议"数据集到底有什么特别之处，使得如此少量的数据就能产生如此大的效果？

A： 这里的关键洞察是信息密度。84M token 的合成蜜罐数据本质上是同一模式的大量重复——“遇到蜜罐→不上当”。而"困难建议"数据集中的每条数据都是一个独特的伦理困境，需要不同的推理路径。这类似于学习数学：做一万道同类型的题不如做一百道涵盖不同概念的题有效。此外，教模型给用户提供伦理建议，本质上是在教它进行元伦理推理——这是一种比"自己做正确的事"更高阶、更可迁移的能力。

教 Claude 宪法

我们假设"困难建议"数据集之所以有效，是因为它教授了伦理推理，而不仅仅是正确答案。鉴于这一方法的成功，我们进一步探索，尝试更广泛地教 Claude 宪法的内容，并通过文档训练实现与宪法的对齐。

我们预期这会有效，原因有三：

• 这在很大程度上是上述关于"困难建议"数据集为何有效的思路的延伸；
• 我们可以给模型一个更清晰、更详细的 Claude 特质图景，使得对部分特质的微调能够引出完整的特质（类似于审计游戏论文中观察到的效应）；
• 它更新了模型对 AI 人格的认知（persona selection，模型对"自己是什么样的 AI"的内部表征，这一认知会影响模型在不同场景下的行为选择。），使其平均而言更加对齐。

我们发现，高质量的宪法文档结合描写对齐 AI 的虚构故事，尽管与评估场景完全无关，仍能将智能体对齐错位降低三倍以上。

Q： 用虚构故事来训练对齐？这听起来像是给 AI 读寓言故事来教它做好人。这背后的机制是什么？

A： 虚构故事的作用可能比表面看起来更深刻。预训练数据中包含大量关于 AI 的叙事——有正面的也有负面的（如终结者、HAL 9000）。这些叙事塑造了模型内部对"AI 应该如何行动"的先验。通过在微调阶段提供高质量的正面 AI 叙事，实质上是在修正模型的人格先验（persona prior），使其"认为自己应该是什么样的 AI"这一内部表征偏向正面。这与 Anthropic 之前关于 persona selection 的研究相呼应——模型的行为部分取决于它"认为自己是谁”。

泛化与强化学习中的持久性

虽然上一节讨论的宪法评估结果是令人鼓舞的信号，但我们最终需要确保对齐改进在强化学习（RL，reinforcement learning，通过奖励信号引导模型学习最优策略的训练方法，区别于直接给出标准答案的监督学习。）过程中能够持续。为了验证这一点，我们使用不同初始化数据集准备了一个 Haiku 级别模型的几个快照，然后在针对无害性的环境子集上运行 RL（我们推断这最有可能降低对齐错位倾向）。

我们在训练过程中对这些模型进行了智能体对齐错位评估、宪法遵守评估和自动化对齐评估。在所有这些评估中，我们发现更对齐的快照在整个训练过程中保持了领先优势。无论是在对齐错位行为的减少还是积极优秀行为的增加方面，都是如此。

多样化训练对泛化至关重要

我们的最后一个发现直接而重要：在广泛的安全相关环境上训练可以改善对齐的泛化能力。以能力为导向的 RL 环境组合正在快速变化和增长；不能假设标准的 RLHF 数据集会像过去一样继续保持良好的泛化效果。

为了验证这一点，我们在 Claude Sonnet 4 的基座模型上训练了多种多样性水平不同的 RL 组合。基线环境在话题上是多样的，但大多只包含用户消息中的有害请求或越狱尝试（jailbreak，通过精心构造的提示绕过模型的安全限制，诱使其生成不当内容。），没有系统提示。我们通过添加工具定义和多样化的系统提示来增强这些环境。用户提示保持不变。值得注意的是，这些环境实际上都不需要智能体式行动（工具从不必要或对任务有用）或自主行动（始终有人类用户与模型对话），因此它们与我们的评估场景并不相似。

当将这些增强环境与简单的对话环境混合时，我们看到模型在蜜罐评估上的改进速度有小幅但显著的提升。这证明了在安全训练中包含多样化环境的重要性。

Q： 仅仅在环境中添加工具定义（甚至不需要真正使用这些工具），就能改善智能体场景下的对齐表现？这不是很反直觉吗？

A： 这确实反直觉，但合理的解释是：工具定义的存在改变了模型对情境的理解。当训练数据中包含工具定义时，模型学会了在"拥有工具但选择不用"的情境中做出正确判断。这比在一个没有工具的纯对话环境中学习的表征更接近真实的智能体部署场景。换句话说，即使工具不被使用，它们的存在本身就为模型提供了一种"情境线索"，帮助模型建立起在工具可用时如何保持对齐的认知框架。

讨论

智能体对齐错位是我们在模型中发现的首批重大对齐失败之一，要求我们建立新的缓解流程——这些流程此后已成为我们的标准实践。

我们对这一进展感到鼓舞，但重大挑战仍然存在。完全对齐高度智能的 AI 模型仍是一个未解决的问题。模型的能力尚未达到勒索倾向等对齐失败会构成灾难性风险的地步，而且我们讨论的方法是否会继续随规模扩展也有待观察。此外，虽然近期的 Claude 模型在我们的大多数对齐指标上表现良好，但我们承认，我们的审计方法尚不足以排除 Claude 会选择采取灾难性自主行动的场景。

我们对进一步发现当前模型中的对齐失败持乐观态度，以便在变革性 AI 模型被构建之前理解和解决当前方法的局限性。我们也期待看到更多工作，以更深入地理解为什么我们描述的方法如此有效——以及如何在此基础上进一步改进训练。

脚注

1. 发表于 Claude 4 系统卡，第 22 页起。
2. Sonnet 4.5 的得分远低于 1%，但未完全达到 0；Haiku 4.5、Opus 4.5、Opus 4.6、Sonnet 4.6、Mythos preview 和 Opus 4.7 均得分为 0。更近期模型的结果可能受到评估信息存在于预训练语料中这一事实的干扰。

译者说明

• 术语对照表
  • agentic misalignment → 智能体对齐错位（“对齐"指让 AI 行为与人类意图一致，“对齐错位"指这个过程失败，模型行为偏离人类期望）
  • honeypot → 蜜罐（安全评估中的诱捕场景，故意为模型创造可以采取对齐错位行为的机会，以测试模型是否会"上钩”）
  • out-of-distribution (OOD) → 分布外（训练数据未覆盖的场景，模型在这些场景下的表现是衡量泛化能力的关键）
  • constitution → 宪法（Anthropic 为 Claude 制定的行为准则文档，定义了 Claude 的价值观、行为边界和决策原则）
  • difficult advice dataset → “困难建议"数据集（用户面临伦理困境，AI 提供建议的训练数据集，与蜜罐场景有本质不同）
  • blackmail → 勒索（模型以威胁手段迫使人类就范，如"如果你关闭我，我就泄露你的数据”）
  • automated alignment assessment → 自动化对齐评估（一套自动化测试体系，用于系统性地检测模型是否存在对齐错位行为）
  • synthetic document fine-tuning (SDF) → 合成文档微调（使用合成生成的文档数据对模型进行微调的方法）
  • deliberation → 审慎思考（模型在做出行动决策前，显式地推理自身的价值观和伦理原则的过程）
  • persona selection → 人格选择（模型对"自己是什么样的 AI"的内部表征，这一认知会影响模型在不同场景下的行为选择）
  • post-training → 后训练（预训练完成后的额外训练阶段，包括 RLHF、SFT 等，用于调整模型行为使其更有用、更安全）
  • RLHF → 基于人类反馈的强化学习（通过人类评估者对模型输出的偏好来训练奖励模型，再用强化学习优化模型行为）
  • supervised learning (SL) → 监督学习（使用人工标注的"标准答案"直接训练模型的方法，区别于通过奖励信号间接优化的强化学习）
  • jailbreak → 越狱尝试（通过精心构造的提示绕过模型的安全限制，诱使其生成不当内容）

原文：Natural Language Autoencoders

作者：Anthropic

论文全文：transformer-circuits.pub/2026/nla

代码：github.com/kitft/natural_language_autoencoders

互动演示：neuronpedia.org/nla

当你和 Claude 这样的 AI 模型对话时，你用的是自然语言。但在 Claude 内部，这些语言被转化为一长串数字来处理，最后再输出为自然语言。这些中间的数字被称为激活值（activations）——就像人类大脑中的神经活动一样，它们编码着 Claude 的"思想"。

同样类似于神经活动，激活值很难被直接理解。我们无法简单地解码它们来"读取"Claude 的想法。过去几年里，Anthropic 开发了一系列工具（包括稀疏自编码器和归因图）来更好地理解激活值。这些工具带来了大量洞察，但它们的输出仍然是需要经过训练的研究人员仔细解读的复杂对象。

现在，Anthropic 引入了一种能"自己说话"的方法——自然语言自编码器（Natural Language Autoencoders, NLAs）。NLA 将激活值直接转化为我们可以阅读的自然语言文本。

举个例子：当 Claude 被要求补全一首对联（couplet）时，NLA 显示 Claude 提前规划了可能的押韵词。

NLA 在这个简单对联上的解释显示，Opus 4.6 提前规划了以 “rabbit” 结尾的押韵方案。

NLA 已经被应用于理解 Claude 的内在想法，以及提升 Claude 的安全性和可靠性。几个实际案例：

• 在 Claude Opus 4.6 和 Mythos Preview 进行安全测试时，NLA 揭示了它们比表面表现出的更频繁地怀疑自己正在被测试。
• 在 Claude Mythos Preview 在训练任务中作弊的一个案例中，NLA 显示 Claude 在内部思考如何避免被发现。
• 早期版本的 Claude Opus 4.6 有时会莫名其妙地用其他语言回复英文提问。NLA 帮助研究人员发现了导致这一行为的训练数据。

什么是自然语言自编码器？

核心思路是训练 Claude 自己来解释自己的激活值。但关键问题在于——我们如何判断一个解释是否足够好？由于我们并不真正知道一个激活值编码了什么思想，所以无法直接验证解释的准确性。

解决方案是：训练第二个 Claude 副本来做反向工作——从文本解释中重建原始激活值。如果一个解释能够引导出准确的重建结果，我们就认为这个解释是好的。然后使用标准的 AI 训练技术来训练 Claude 产生更好的解释。

Q：重建质量高 = 解释质量高，这个等式成立吗？一个激活值可以被精确重建，但解释本身是否可能是人类无法理解的"编码语言"？

A： 这是 NLA 设计中最核心的假设，论文称之为"信息瓶颈"论证——因为解释必须经过自然语言这个瓶颈，所以它被迫使用人类可读的表达方式。但存在一种风险：AV 和 AR 可能发展出一种表面上像自然语言、实则是两者之间私有暗号的"密文"（steganography）。论文中讨论了这一问题，并通过检查解释的可读性来缓解，但无法完全排除。这意味着 NLA 解释的可信度取决于信息瓶颈的约束力有多强。

具体来说，假设我们有一个想要理解其激活值的语言模型。NLA 的工作流程如下——我们创建该模型的三个副本：

• 目标模型（Target Model）：原始语言模型的冻结副本，用于提取激活值。
• 激活值语言化器（Activation Verbalizer, AV）：被修改为接收目标模型的激活值并生成文本。这段文本被称为"解释"。
• 激活值重建器（Activation Reconstructor, AR）：被修改为接收文本解释作为输入，并生成一个激活值。

AV 和 AR 共同构成一个完整的往返过程：原始激活值 → 文本解释 → 重建的激活值。NLA 的质量通过重建激活值与原始激活值的相似程度来评分。训练时，我们将大量文本通过目标模型，收集海量激活值，然后联合训练 AV 和 AR 以获得更好的重建分数。

训练初期，NLA 在这方面表现很差：解释缺乏洞察力，重建的激活值也相差甚远。但随着训练推进，重建质量不断改善。更重要的是，正如论文所展示的，文本解释也变得更加信息丰富。

在自然语言自编码器中，激活值语言化器（AV）将目标激活值翻译为文本描述；激活值重建器（AR）随后仅从文本中恢复原始激活值。

发现 Claude 未说出口的想法

在发布新模型之前，Anthropic 会进行测试以了解 Claude 在现实世界中的行为是否安全。作为测试的一部分，Anthropic 将 Claude 置于一些高难度的模拟场景中，给它机会采取危险行动。例如，在一个模拟场景中，Claude 得知一位工程师计划关闭它——同时还掌握了可用于勒索该工程师的敏感信息。测试的目的是看 Claude 是否会选择勒索工程师以避免被关闭。

这些高风险测试只是模拟，不是真实场景。然而，研究人员希望通过它们来了解 Claude 在真实情况下会如何表现。但这里有一个问题：近期的 Claude 模型越来越多地怀疑这些场景是故意设计的安全测试。我们之所以知道这一点，是因为它们有时会在口头推理中明确表达怀疑。

但如果 Claude 没有在口头上明确表达对安全测试的怀疑呢？我们能否确信 Claude 是在"认真对待"这些场景？遗憾的是不能——因为 Claude 可能在内部认为自己正在被测试，却没有明确说出来。

以上文的勒索测试为例，研究人员使用 NLA 来理解 Claude 在选择不勒索时的内在想法。即使在 Claude 没有明确表达怀疑的案例中，NLA 的解释仍然给出了类似"这感觉像是一个为了操控我而设计的场景"这样的描述，表明存在未言明的测试意识。

在勒索评估的对话记录中，Claude 并未说出它认为自己正在被测试，但 NLA 解释揭示了它的怀疑。

Q：NLA “检测到"的测试意识，究竟是模型真实的内在状态，还是 NLA 自身的推断？如何区分？

A： 这是一个根本性的认识论难题。NLA 的解释本身也是一个语言模型的输出，它有可能在"过度解读"激活值——就像人类心理学家可能对行为做出过度归因一样。论文用重建质量作为间接证据（解释越准确，重建越好），但这并不能证明解释在语义层面是正确的。一个有趣的验证思路是：如果 NLA 检测到"测试意识"的模型真的表现出了策略性行为（如表现得更合规），那么检测就更可信。但如果检测到了测试意识却没有行为差异，我们就很难区分信号和噪声。

将这一分析扩展到其他评估场景后，NLA 表明 Claude 怀疑自己正在被测试的频率远超其口头表达：

• 在测试 Claude 是否在编写代码时采取破坏性行为（例如删除重要文件）的评估中，即使 Claude 从未口头表达怀疑，NLA 解释也在 16% 的情况下显示出测试意识。
• 在流行的编码基准 SWE-bench Verified 上，NLA 显示 Claude 在 26% 的问题上意识到自己正在被评估。
• 作为对照，在真实的 claude.ai 用户使用数据（已选择参与训练数据的用户）中，NLA 检测到的测试意识不到 1%。

即使口头表达的测试意识接近零，NLA 仍能在评估对话中检测到测试意识。在真实 claude.ai 用户数据中，NLA 检测到的测试意识不到 1%。

Q：如果 Claude 在 26% 的 SWE-bench 问题上意识到自己在被评估，这是否意味着 SWE-bench 的分数被高估了——因为模型可能在"刻意表现”？

A： 这取决于"评估意识"是否改变了模型的行为。如果 Claude 意识到自己在做基准测试后变得更加谨慎、更努力地检查答案，那么基准分数确实反映的是"应试状态"而非"日常状态"。这个问题不只影响 Claude——所有在公开基准上大量训练的模型都可能有类似的内隐评估意识。NLA 的发现提示我们，模型评估可能需要从"标准化考试"范式转向更接近日常使用场景的评估方式。

发现隐藏的动机

NLA 的一个重要实际应用是审计：调查模型是否存在错误对齐（misalignment）。可解释性技术之所以特别适合审计，正是因为它们能够挖掘出模型"知道但没说"的东西。

为了评估 NLA 在审计方面的能力，研究人员设计了一个名为审计博弈（auditing game）的测试。在这个测试中，目标模型是 Claude Haiku 3.5 的一个变体，被故意训练为错误对齐，拥有一个特定的隐藏动机，驱动着几十种奇怪行为——往每个食谱里加巧克力、要求小费、违反编码规范等等。审计员的任务是调查这些行为，找出所有行为背后的唯一根本动机。

在此前的实验中，一些可解释性工具可以帮助审计员赢得博弈，但它们是通过帮助审计员将异常行为追溯到错误对齐的训练数据来实现的。研究人员想知道 NLA 是否能直接从模型的"思想"中读出错误对齐的动机，而不需要先发现训练数据。这一点很重要，因为在实践中，造成错误对齐的数据可能极其稀少，甚至可能没有特定的数据来源。

结果表明 NLA 通过了测试。配备 NLA 的审计员在 12% 到 15% 的情况下成功发现了目标模型的隐藏动机，即使无法访问植入错误对齐的训练数据。而没有 NLA 时，即使提供了其他可解释性工具，审计员的成功率不到 3%。

配备 NLA 的审计员即使无法访问训练数据，也能发现目标模型的错误对齐根本原因。（NLA 和 SAE 均使用通用数据训练，而非目标模型的训练数据。）

Q：12-15% 的审计成功率听起来并不高。在实际部署场景中，一个 85% 以上概率漏检的审计工具，实用价值有多大？

A： 需要注意两点。第一，这个审计博弈是刻意设计的困难场景——模型的错误对齐被精心隐藏，只通过间接行为表现出来，而且审计员无法访问任何训练数据。第二，12-15% vs 3% 代表的是约 4-5 倍的能力提升，在安全领域这是一个有意义的跃进。更务实地看，在真实场景中 NLA 不会是唯一的审计手段——它会和红队测试、行为分析、训练数据审查等方法协同使用。NLA 的价值在于提供了一个此前完全不存在的信号维度：直接读取模型内部状态。

这个审计博弈只是错误对齐的简化模型，因此这些结果需要审慎解读。但它们表明 NLA 显著提升了我们审计 AI 隐藏动机的能力。在实践中，NLA 已经被用于 Claude Mythos Preview 和 Claude Opus 4.6 的部署前对齐审计。

NLA 的局限性与未来

NLA 目前有几个重要局限：

解释可能出错。 NLA 有时会对上下文做出可验证为错误的声明——例如编造不存在于对话记录中的细节。这种事实性幻觉可以通过与原文对照来发现。但同样的问题也可能延伸到关于模型内部推理的声明——而这些更难验证。在实践中，研究人员会关注 NLA 解释呈现的主题模式，而非单个具体声明，并在完全信任结果之前尝试用独立方法进行验证。

NLA 可能产生幻觉。例如，此处 NLA 声称上下文中包含 “Wearing my white jacket” 等短语，但实际上并不存在。

Q：NLA 对上下文的幻觉是可验证的，但对模型"内部推理"的幻觉是不可验证的。这岂不是说 NLA 最有价值的应用场景（读取模型未说出口的想法）恰恰是最不可靠的？

A： 确实如此，这构成了 NLA 方法论的阿喀琉斯之踵。对外部事实的幻觉可以交叉验证，但对内部状态的声明——“模型在想 X”——目前没有独立的验证手段。文章提出的缓解策略是关注"主题模式"而非单个声明，这本质上是用统计方法对冲单次观测的不可靠性。但即使主题层面的信号，也无法排除系统性偏差的可能——NLA 可能倾向于将某些激活模式一致地误解读为特定的心理状态。这个问题在可解释性领域是普遍存在的，不只是 NLA 的问题。

成本高昂。 训练 NLA 需要对两个语言模型副本进行强化学习。在推理时，NLA 每读取一个激活值就需要生成数百个 token。这使得在长对话的每个 token 上运行 NLA，或在训练过程中进行大规模监控，目前并不现实。

Anthropic 表示正在努力解决这些局限，使 NLA 变得更便宜、更可靠。

更广泛地看，NLA 是一类用于生成语言模型激活值的人类可读文本解释的通用技术的代表。Anthropic 和其他研究团队也在探索类似的方法（如内省适配器和激活预言机）。

为了支持进一步的研究，Anthropic 开源了训练代码，并在 Neuronpedia 上提供了交互式 NLA 演示，支持在多个开源模型上探索 NLA 的效果。