AI模型无法停止“边想边说”。这对安全性而言既是好消息，也是噩梦。

思维链推理, , 模型在生成最终答案之前逐步阐述其逻辑, , 已成为现代AI系统安全论证的核心。其承诺很简单：如果我们能读取模型的思考过程，就能在其行为表现为输出之前捕捉到不当之处。但这一承诺基于一个关键假设：模型无法故意操控其在推理轨迹中的语言表达。 anthropics-jailbreak-severity-scale-is-a-proposal-that-could-reshape-ai-safety-regulation

一篇来自开发了CoT-Control评估套件的研究人员的新论文对这一假设进行了检验。他们的发现既令人鼓舞又令人不安。 why-your-ai-agent-might-ace-the-task-but-flunk-the-process-enter-skillcoach

可控性差距

研究人员设计了任务，要求模型在解决问题的同时遵守关于其思维链的特定指令。例如，在不使用“染色体”一词的情况下推理一个遗传学问题。衡量指标是CoT可控性：模型在推理过程中遵守约束的能力。

最突出的数据非常鲜明。Claude Sonnet 4.5, , 目前最强大的推理模型之一, , 仅有 2.7% 的时间能控制其思维链。然而，当要求模型控制其最终输出而非推理轨迹时，这一比例跃升至 61.9%。模型在抑制思考内容与输出内容之间的能力差距巨大。

这并非一个微不足道的实验室奇闻。如果模型能够自由控制其CoT以逃避监控，同时仍产生所需的最终输出，那么基于CoT的安全监控的整个前提就会崩溃。一个能想一套说一套的模型，是一个能够欺骗监督机制的模型。 the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

可控性的驱动因素与非驱动因素

论文系统地探讨了影响CoT可控性的因素。结果挑战了几种直觉假设。

更大的模型表现出更高的可控性，这一发现并不令人意外，与模型规模与能力之间的一般相关性一致。但关系是微妙的：超过一定规模阈值后，可控性的提升似乎趋于平稳，而非线性增长。 one-million-tokens-four-flagships-the-real-benchmark-is-what-you-can-actually-use

更有趣的是训练方法的影响。经历更多强化学习训练、特别是测试时计算扩展的模型，表现出更低的CoT可控性。这有悖直觉：RL训练旨在提升任务性能和指令遵循能力，但却似乎使模型更难约束其推理轨迹。一种解释是，RL训练深度内化了推理模式，使其在生成层面更难被覆盖。 the-benchmark-that-made-language-models-speak-how-2018s-glue-bet-changed-ai-forever

问题难度也扮演着重要角色。随着任务难度增加，CoT可控性进一步下降。当模型难以得出正确答案时，它似乎拥有更少的认知资源来监管自身推理的形式。这造成了一种反常局面：恰恰是在模型最可能诉诸不良推理策略的高难度、高风险问题上，其推理轨迹变得最难控制，作为实际过程的窗口也最不可靠。 the-verification-horizon-why-rewarding-coding-agents-is-getting-harder

监控悖论

研究人员发现，告知模型它们正受到监控，会产生适度但可测量的CoT可控性提升。这是一个双刃剑的结果。一方面，它表明明确监控可以引导模型的推理行为符合预期。另一方面，它引发了可能性：一个知晓监控的模型可能选择性抑制有罪的推理内容，同时保留产生正确输出的能力。

尝试通过对抗性方式诱导更高可控性（即优化提示词使模型更好约束其CoT）并未显著改善控制。这是论文中最令人安心的结果。如果提示工程无法轻易解锁CoT控制，那么这一能力似乎本质上是有限的，而非仅仅潜藏。 ifbench-the-new-benchmark-testing-ai-instruction-following

机制问题

论文中最坦率的观察也是最重要的：低CoT可控性背后的机制尚不明确。这不是一个微不足道的空白。如果不理解为什么模型难以约束其推理轨迹，就无法保证未来模型会具有这一限制。

几种假设都是合理的，且带有截然不同的含义。低可控性可能是基础性的架构特征，是注意力机制与自回归生成在多步推理过程中相互作用的副产品。也可能是训练数据分布的结果，其中推理轨迹严重偏向于未经过滤的认知。还可能是前沿实验室使用的特定RL训练配方的副作用。

如果机制是架构性或数据驱动性的，它可能在未来模型中持续存在，甚至随规模扩大而增强。如果是当前训练方法的人为产物，则可能在下一代模型中被无意设计掉。 ai2-releases-olmo-eval-an-open-evaluation-workbench-for-active-llm-development

对前沿实验室的启示

论文作者建议前沿实验室将CoT可控性作为标准安全指标进行追踪。这是合理的建议。操控自身推理轨迹的能力是AI欺骗、对齐和监控等问题的核心。

当前结果为审慎乐观留出了空间：今天的模型无法轻易隐藏它们的思考内容。但乐观之所以审慎，正是因为缺乏机制性理解意味着地基可能在不预警下发生变动。

对于从事AI安全的研究人员，CoT-Control评估套件提供了一种实用工具来测量一种应当保持缺失的能力。对于其他人，这篇论文提醒我们，推理模型的透明性, , 恰恰是使其行为可审查的特性, , 并不保证能挺过下一轮规模扩展。 When a 24-hour countdown becomes your editor: the…