动态

复现Anthropic J-space分析,发现新模型结构独特

复现Anthropic J-space分析,发现新模型结构独特
Andrew Curran
RT @eliebakouch: 我们在@thinkymachines的Inkling新1T模型上复现了Anthropic的jspace分析!

它似乎是个异常值:其他模型分裂成近乎正交的感官/工作空间/运动模块,而Inkling在整个堆栈中保持大致相同的几何结构(早期-晚期CKA约0.8,其他约0.5)

我们还计算了@poolsideai的laguna XS 2.1在bf16与nvfp4下的J-space,以测试量化的影响。结果:几乎没有影响。量化模型与非量化模型具有相同的jlens空间

两个jspace检查点都已上传到Hugging Face!
动态Andrew Curran2026-07-17原文

相关内容