Anthropic 发现 Claude 内部存在可读写的全局工作空间
Anthropic 定位到 Claude 内部一个可读写、可关闭的思维工作区，为解释模型推理机制提供了新途径。
Anthropic 用新工具 J-lens 在 Claude 的残差流（模型每层共享的信息通道）中找到一个叫 J-space 的区域。读取它可提前知道模型即将输出的内容，关闭它则模型失去多步推理和总结能力，但基础对话不受影响。这像一个可被操控的“工作空间”，与人类有意识思维的功能类似。
正文摘录
他们在Claude内部揪出一小撮神经表征，占的运算量不到十分之一，却像人类「意识可及的思维」一样运作。 有意思的是，删掉它，Claude照样能说话、能查资料、能答选择题，唯独多步推理和总结这类动脑子的活儿，直接掉到一个小得多的模型的水平。 它把大脑比作一堆各自忙自己的专家系统，视觉系统处理视觉，运动系统处理运动，彼此并行，彼此隔离。 他们做了一个新工具，叫 Jacobian lens，简称 J-lens，原理是给词表里的每一个词找一个专属方向。 具体来说，Claude 这类模型在处理文本时，每往前推进一层，都会往一条叫残差流的信息通道里写入和读取内容，这条通道贯穿模型的每一层。 J-lens 给词表里的每一个词都算出一个对应的 J-lens 向量，也就是残差流空间里的一个方向。 把 J-lens 架在 Claude 处理文本时某一层的残差流激活上，读出来激活值最高的那一小撮词，就是那一刻 J-space 里装的内容。 这堆词不是 Claude 写出来给自己看的草稿纸，那种东西叫 chain of thought，会被写进输出里。 在 Claude 开口之前，用 J-lens 读一下它的中间层，「Soccer」已经排在最前面。 他们把「Soccer」对应的方向摘掉，换上一个同等强度的「Rugby」方向，激活里的其余部分原样不动。 结果它真的改变了，说明 Claude 的答案是从 J-space 里读出来的，这是一种因果关系，不是巧合的相关关系。 但把 J-lens 拿去检验抄写过程中的激活，能看到「nine」先亮起来，随后是「seven」。 研究者拿法国来问了四个问题，首都是什么、官方语言是什么、位于哪个大洲、用什么货币。 四个答案一起变，说明它们读的是同一份被写过一次的信息，这正是「工作空间」该有的样子。