Scinetics 发布 ScienceRSI 框架,8B 专家模型助 27B 模型平均分升至 94.0%
科学模型的能力短板往往卡在具体环节,把专家反馈先验证再迁移,比不加筛选地模仿专家输出更有效。
Scinetics 联合复旦大学、中国科学技术大学、香港科技大学发布 ScienceRSI 技术报告:先把科学能力拆成计算、推导、机制解释和证据判断等专项,训练小模型分工专业化,再验证专家在当前模型的具体失误上是否真的更强,只把通过检验的反馈迁移给目标模型。实验覆盖 4B→4B、4B→8B 和 8B→27B,27B 模型七项基准平均分从 87.3% 升至 94.0%,8B 权重已开源。
正文摘录
.jpg) 作者丨Scinetics 研究团队 编辑丨ScienceAI 一个模型知道得更多,是否就意味着它在每一道科学问题上都更可靠?一个参数量更小的模型,又能不能把自己的专长传给更大的模型? 科学推理中的能力差异,往往藏在具体环节里。模型可能列对公式,却解释错物理机制;也可能算对一个中间步骤,却在最后的证据判断上失误。局部能力的差异,为模型之间的相互学习留下了空间。 近日,Scinetics 与来自复旦大学、中国科学技术大学、香港科技大学的研究者发布技术报告 ScienceRSI,提出围绕专业化、验证、迁移与复用组织科学模型训练,让一个模型学到的有效能力,成为其他模型继续进步的学习信号。 实验覆盖 4B→4B、4B→8B 和 8B→27B。在所比较的方法中,ScienceRSI 的 4B 与 8B 模型均在五项科学评测上取得最高分;27B 扩展实验的七项基准平均分 由 87.3% 提升至 94.0% 。ScienceRSI-8b 模型权重已在 Hugging Face 发布。