Goodfire CTO 谈概念流形与月费 1000 美元的 AI 研究平台
可解释性正走出玩具科学阶段：概念以流形存在，可用于调试训练数据和监控 AI 行为。
嘉宾Dan Balsam
节目简介
Goodfire 联合创始人兼 CTO Dan Balsam 重返播客，讨论可解释性研究的最新进展，并介绍公司自用的研究平台 Silico（每月 1000 美元）。核心概念是“概念流形”：模型不是用简单的 one-hot 特征存储概念，而是用有意义的子空间的稀疏混合，其几何结构决定了控制与引导的效果。他们还探讨了“预测性数据调试”——微调与强化学习往往放大预训练中已有的行为，可解释性可以定位导致意外更新的数据和特征。