精华速览

Anthropic于11月4日开源大模型可证明推理系统FlashProve，技术报告11月2日发布。该系统基于zkSNARK，让服务商为模型输出生成密码学证明，用户无需获取权重或运行模型，即可在CPU上核验输出是否由指定模型计算得出，旨在解决API调用中模型被掉包、回答被篡改等信任问题。在Llama 4 Maverick测试中，单张H100生成单请求证明约19MB，24线程CPU核验约17秒。但生成证明的GPU开销约为普通推理的70至95倍，且当前仅支持1024 Token上下文，实际代码与批量处理的安全性尚未完全形式化证明，仍属研究原型。

要点透视

  • Anthropic于11月4日开源FlashProve，技术报告11月2日发布，代码、Lean证明和文档以Apache 2.0许可证开放。
  • 在4000亿参数Llama 4 Maverick上测试，单张H100生成单请求证明文件约19MB，用户端24线程CPU核验约17秒，无需GPU。
  • 离线准备阶段耗时约39分钟，服务方保存约2.15GB文件；客户端首次下载权重承诺等共6.24MB，后续每请求仅下载证明文件。
  • 批处理最多支持64个请求；单张H100上逐请求生成证明约58秒，每批24个请求总耗时约223秒，吞吐从每秒17.6个Token提升至110个Token。
  • 生成证明的GPU时间开销约为vLLM普通推理预填充阶段的72倍，最高负载下约94倍。
  • 当前支持上下文最长1024个Token，验证的是整数模型在指定位置选择最高分Token的结果，浮点推理或采样解码可能产生不一致。
  • 与VerInf此前在Llama 4 Maverick上的测试相比，FlashProve证明文件更小、核验耗时大幅缩短，但两项测试硬件与任务设置不同。
  • 高性能可执行代码与Lean协议的形式化等价性尚未证明，批量处理场景的零知识性也尚未完成形式化证明。

文章拆解

大模型API长期以黑箱方式运行，用户发送提示词后只能看到输出Token，无法确认服务商实际调用的模型是否与宣称一致。这种信息不对称在模型被掉包、推理服务器遭入侵后篡改回答、监管机构核查合规性等场景中尤为突出。Anthropic开源的FlashProve试图用纯软件密码学方案填补这一信任缺口：服务方先对模型权重生成密码学承诺，再针对每次推理的计算轨迹生成zkSNARK证明，用户凭承诺、输入、输出和证明即可独立核验。其核心逻辑是将“信任服务商”转化为“验证数学证明”，且证明不泄露权重和中间计算值。

从技术路径看，FlashProve针对MoE架构做了稀疏激活优化，只记录实际运行的专家并核验路由选择，同时通过分段加载权重和批处理降低开销。测试数据显示，其证明文件仅19MB、CPU核验17秒，相比VerInf此前93.6GB证明文件和约17.7小时核验耗时，工程可用性明显提升。但这一对比受硬件和任务设置差异影响，不能直接视为同等条件下的性能倍数。

对行业和用户而言，FlashProve的价值在于为第三方API客户、独立评测者和监管机构提供一种可独立核验模型身份与输出完整性的手段。企业客户付费调用模型时，可据此确认评测版本与实际服务版本是否一致；监管机构在要求企业申报推理用途时，也可要求提交推理证明。不过，证明只能说明某次推理确实发生，无法排除企业同时训练其他模型，其监管效力存在边界。

值得关注的变量包括证明开销能否降至可商用水平、上下文窗口能否扩展至前沿模型实际使用的数十万Token级别，以及浮点推理与整数验证结果不一致时如何区分计算差异与恶意篡改。潜在风险同样明显：事后证明机制意味着用户可能在收到核验结果前就已收到恶意回答，已泄露信息无法撤回；实际GPU和CPU代码与Lean协议的形式化等价性尚未证明，批量处理的零知识性也尚待确认。FlashProve目前仍是需要服务方配合的研究原型，距离实际部署还有距离，但它为模型身份核验这一细分方向提供了可复现的开源基础。

查看原文