复现Anthropic J-space分析,发现新模型结构独特
RT @eliebakouch: 我们在@thinkymachines的Inkling新1T模型上复现了Anthropic的jspace分析!
它似乎是个异常值:其他模型分裂成近乎正交的感官/工作空间/运动模块,而Inkling在整个堆栈中保持大致相同的几何结构(早期-晚期CKA约0.8,其他约0.5)
我们还计算了@poolsideai的laguna XS 2.1在bf16与nvfp4下的J-space,以测试量化的影响。结果:几乎没有影响。量化模型与非量化模型具有相同的jlens空间
两个jspace检查点都已上传到Hugging Face!
它似乎是个异常值:其他模型分裂成近乎正交的感官/工作空间/运动模块,而Inkling在整个堆栈中保持大致相同的几何结构(早期-晚期CKA约0.8,其他约0.5)
我们还计算了@poolsideai的laguna XS 2.1在bf16与nvfp4下的J-space,以测试量化的影响。结果:几乎没有影响。量化模型与非量化模型具有相同的jlens空间
两个jspace检查点都已上传到Hugging Face!