MIT 实验：GPT-6 Astra 直接修改 Qwen3.5 权重，数学能力提升约 6 倍

MIT 团队做了一组实验，让前沿大模型 GPT-6 Astra 直接分析并改写神经网络的权重，团队把这种方法命名为 Weight-Space Programming（权重空间编程）。流程是给 Astra 一个 Python 环境，里面放着目标模型的全部权重，由它自行判断网络在做什么、问题出在哪里，再按要求修改，甚至从零写出一个可用网络。 最直观的是 Qwen3.5-0.8B 实验。研究者只提出“尽可能提高数学能力”这一条要求，Astra 发现该模型的数学表现主要被推理循环拖累：最初 96 条练习回答中有 85 条一直生成到 32768 个 token 的长度上限。它把循环追到前馈网络，修改第 15 层和第 19 层各 64 个输出列的相关权重，使触及长度上限的回答比例从 93.0% 降到 33.1%。最终只改动 0.016% 的权重，MATH-500 得分从 7.9% 升到 48.1%，约 6 倍；未被要求优化的指令执行能力也提高 3 倍。分别给 Astra 10、25、50 次前向调用预算时，MATH-500 得分依次为 12.3%、14.1% 和 48.1%。 权重阅读能力也做了验证。研究者把四个架构相同、分别玩打砖块、乒乓、吃豆人和高速公路的小网络权重以文本形式交给 Astra，它正确认出四个游戏名称；对扩散模型权重，它能辨认圆形、方形和三角形，但把实心图形误读为轮廓。在三个 720 万参数、分别用 Python 代码、日语罗马字和英语训练的小语言模型上，移除输入输出层后，Astra 仍在两轮尝试中认对所学语言，并找出全部归纳头。 修改行为方面，小车爬坡实验中原本用 PPO 训练的网络总是冲坡卡住，Astra 不用工具、一次回复写出补丁，只改 3.5% 权重，就让小车在 1024 次测试中全部成功，把训练没学会的“先倒车再冲坡”动作顺序直接写进权重。更进一步，在 MinAtar 小游戏里，Astra 拿到权重全为零的网络、游戏规则和源代码，在没有训练数据、梯度、工具的情况下一次交卷，生成网络平均得分 517.4，而 PPO 训练 1 亿步得 15.8、5 亿步得 25.3。 文章也给出边界：Astra 的知识与能力仍来自其此前训练，分析权重、生成代码、批量推理和评测都要消耗算力，省掉的只是梯度训练，模型诊断与验证仍在。对开发者而言，小模型表现不佳时，多了一条“直接改权重”而非重新训练的选择。