研究：Astra 直接改写 Qwen 权重，MATH-500 得分提升至 48.1%
把模型权重当成可读写的程序交给大模型自己调试，是权重空间编程的一次验证：不改训练流程，只改极少量参数就能修复具体缺陷。
研究者给 Astra（一个通用前沿大模型）一个 Python 环境，里面是 Qwen3.5-0.8B 的全部权重，让它自己读权重、定位故障、改参数，而不是靠梯度下降。它把模型反复输出重复文字、始终交不出答案的循环定位到前馈网络第 15、19 层，只改动 0.016% 的权重，MATH-500 就从 7.9% 升到 48.1%。
正文摘录
一支 0.8B 的「源神」Qwen3.5 交给 Astra，只改动其中 0.016% 的权重，模型性能就能大幅提升。 在同样的采样设置下，MATH-500 得分从 7.9% 升到 48.1%，数学运算能力约为原来的 6 倍。 视频链接：https://mp.weixin.qq.com/s/tdEmYQz4B9W4OfNpkU-anw 简单来说，就是让大模型直接分析神经网络权重，判断它在做什么、哪里出了问题，再按要求修改，甚至从零写出一个网络。 研究者给 Astra 准备了一个 Python 环境，里面放着 Qwen3.5-0.8B 的全部权重。 通常训练模型时，要根据输出与目标之间的差距计算损失，再通过反向传播得到梯度，由优化器更新参数。 一道题摆在面前，Astra 反复生成相似文字，却迟迟给不出答案。在最初 96 条练习回答里，有 85 条一直跑到 32768 个 token 的长度上限。 Astra 沿着失败表现一路查下去，把循环追到了 前馈网络（feed-forward network，即 Transformer 中逐位置做非线性变换的 MLP 层），并在第 15 层和第 19 层的各 64 个输出列中修改相应权重。 研究者又分别给了 Astra 10、25 和 50 次前向调用（forward pass）预算，修改后的 MATH-500 得分依次是 12.3%、14.1% 和 48.1%。 研究者训练了四个玩不同游戏的小网络，再把原始权重以文本形式交给 Astra。这四个网络的架构、输入通道和动作选项完全相同。