精华速览

MIT CSAIL研究团队展示了一种名为“权重空间编程”的新方法，让GPT-6 Astra像程序员修改代码一样直接分析并修改另一个大模型的权重，而非依赖传统梯度训练。在实验中，Astra仅修改了Qwen3.5-0.8B的131072个参数（约占总权重0.016%），就使其在MATH-500上的成绩从7.9%提升至48.1%，GSM8K从13.8%升至67.1%，指令遵循能力也明显改善。研究团队指出，Astra主要移除了模型重复推理的障碍，而非注入新知识。该能力目前仅在前沿模型中显现，且存在争议：有观点认为提分主要源于修复循环bug，与常规微调或关闭思考模式的对比尚待确认。

要点透视

  • MIT CSAIL团队提出“权重空间编程”，让GPT-6 Astra直接读取和修改神经网络权重，全程未使用梯度训练。
  • 在Qwen3.5-0.8B上，Astra仅修改131072个参数（约0.016%），MATH-500成绩从7.9%升至48.1%，GSM8K从13.8%升至67.1%，IFEval从21.0%升至62.3%。
  • 修改后，MATH-500上触及token上限的回答比例从93.0%降至33.1%，表明Astra定位并抑制了模型的重复推理循环。
  • 在小车控制任务中，Astra修改3.5%的权重，将成功率从0提升至100%；在9×9围棋任务中，生成网络超过训练2000万局的PPO网络。
  • 对照实验中，对很少出现推理循环的Gemma 3 270M，Astra的修改未带来明确提升（MATH-500从6.8%至7.0%）。
  • 研究博客承认，Astra主要移除妨碍模型完成回答的障碍，而非注入新数学知识，难以添加模型原本不具备的能力。
  • 争议点包括：提分是否主要源于修复循环bug、与关闭思考模式或常规微调相比的额外价值尚待确认，以及读写权重可能仅是前沿模型的新兴能力。

文章拆解

这项研究的核心突破在于将大模型的操作对象从“如何训练模型”下沉到“模型权重本身”。传统上，改变模型行为需要收集数据、设计训练方法并通过优化算法更新权重；而权重空间编程让通用大模型根据自然语言目标，直接读取和修改神经网络参数。MIT CSAIL团队先验证了GPT-6 Astra能仅凭权重推断小网络的功能（如识别游戏类型、生成图形类别），再展示了其“写权重”的能力：在小车控制任务中，Astra通过一次参数补丁加入“先后退蓄力再全速前进”的策略，使成功率从0升至100%；在围棋任务中，生成网络甚至超过了长时间训练的PPO网络。这些结果指向一种可能性：大模型可将自然语言规则“编译”为神经网络权重。

然而，Qwen3.5-0.8B的实验揭示了当前方法的局限性。Astra的提分主要来自定位并删除导致重复推理的特定方向，而非赋予模型新的数学推理能力。对照实验显示，对很少出现循环的Gemma 3 270M，修改几乎没有效果。这引发质疑：提分是否只是修复了一个bug？有网友指出，提供给Astra的长提示词已暗示循环问题，且关闭Qwen的思考模式可能取得类似效果，因此权重编辑的额外价值尚待确认。此外，普林斯顿大学博士生的测试表明，开源模型在读写权重任务上表现困难，该能力可能仅是最新前沿模型的新兴技能，而非通用能力。

从行业影响看，若该方法成熟，未来开发者或许无需为每个模型缺陷重新收集数据和微调，只需让更强模型检查权重并局部修复，这将大幅降低模型优化门槛。但风险同样明显：直接修改权重可能引入不可预见的副作用，且目前缺乏与常规微调的系统对比。值得关注的变量包括：该方法能否稳定适用于不同模型和任务、能否让模型获得原本不具备的能力，以及“读懂权重”的可靠性——在识别“谄媚模型”的实验中，Astra仅比较权重无法判断，需借助注意力模式才能识别差异。这些不确定性意味着，权重空间编程距离实际工程应用仍有距离，其价值需更多独立复现和对照实验来验证。

查看原文