Anthropic 用 J-lens 发现 Claude 内部隐藏的思考空间
Anthropic 通过 J-lens 发现 LLM 内部存在隐藏的思考空间,可提前窥探模型未说出口的想法,提升可解释性。
Anthropic 开发了 J-lens 工具,在 Claude Opus 4.6 内部发现一个名为 J-space 的隐藏区域,其中包含模型未来可能输出的相关词语。通过监控这些词语,可以理解模型实际在思考什么,揭示其回答与内部过程的不一致。
正文摘录
- title:Anthropic 发现一个隐藏空间,Claude 在那里暗自琢磨概念 - sourcecompany:MIT Technology Review - bodymarkdown: AI 公司 Anthropic 开发了一项技术,让他们迄今为止最清晰地窥见了大型语言模型在回答问题或执行任务时的内部运作。他们的发现既包含平淡无奇的内容,也令人不安。 公司研究人员构建了一个名为 Jacobian 透镜(J-lens)的工具,并用它在 Claude Opus 4.6(Anthropic 旗舰 LLM 于二月发布的一个版本)内部发现了一个隐藏区域,他们将其命名为 J-space。 J-space 包含一些与模型在近期最可能输出的单词和短语相关的独立词汇。如果 Claude 是一个人(它当然不是),你或许可以说这些隐藏词汇揭示了它在真正开口之前在想些什么。 Anthropic 发现,LLM 实际在做的事情常常与它所说自己正在做的事情不同。该公司声称,监控 J-space 中出现的词汇为理解和控制其模型提供了一种新方式。 公司在本周[发布于其网站的论文](https://transformer-circuits.pub/2026/workspace/)中分享了结果。他们还与开源平台 Neuronpedia(让你可以自行探究 LLM 内部)合作,制作了一个[交互式演示](https://www.neuronpedia.org/qwen3.6-27b/jlens),任何人都可以尝试。