精华速览

Anthropic在近期招股书中披露近100页风险因素，包括前沿AI可能带来灾难性甚至威胁人类生存的风险，并承认自身安全措施未必有效。招股书还显示，上市后七位联合创始人将通过特殊股份掌握一般表决事项50.1%的投票权，且“长期利益信托”有权选举董事会多数成员；创始人可提前指定失去履职能力后的投票权接替者，名单保密。这引发公众质疑：谁有权代表人类做AI决策？与此同时，有效利他主义（EA）被《经济学人》称为“本世纪最重要的思想”，其支持者深度介入AI安全政策与资金网络，甚至与美国国防部公开划清界限。以太坊创始人Vitalik Buterin与科技记者Afra在《硅谷101》对话中梳理了EA从“蚊帐时期”到AI安全时代的四阶段演变，以及围绕Anthropic安全审计独立性的争议。

要点透视

  • Anthropic招股书包含近100页风险因素，明确提及前沿AI的灾难性及生存性风险，并称无法保证安全措施有效。
  • 上市后七位联合创始人通过特殊股份掌握一般表决事项50.1%的投票权；“长期利益信托”有权选举董事会多数成员。
  • 创始人可提前指定失去履职能力后的投票权接替者，人选需内部批准但名单保密，公众不知未来谁可能参与决策。
  • 《经济学人》本月将有效利他主义（EA）放上封面，称其为“本世纪最重要的思想”；美国国防部在社交媒体公开表态“美国主义，而非有效利他主义”。
  • EA发展经历四个阶段：蚊帐时期（可量化慈善）、长远规划时期（约2015年起关注存在风险）、声誉崩盘期（SBF事件与信任危机）、AI安全时代。
  • 9月Jacob Coxon从Anthropic辞职后，独立研究者Kevin Bass在X上梳理资金链指出：负责独立安全审计的METR等机构资助方，与Anthropic早期投资人Dustin Moskovitz（Coefficient Giving创始人）存在关联，后者持有大量Anthropic股票。
  • 伯克利已聚集数十家AI安全第三方审计机构，Lighthaven成为EA、理性主义与AI安全活动的大本营；The Curve会议被视为华盛顿与硅谷的交集点。
  • Afra称与OpenAI和Anthropic的十几二十位研究员交流后，多位研究员表示过去一年AI进步超出预期，她本人对RSI（递归自我进化）曲线更加担忧。

文章拆解

Anthropic招股书将AI生存风险写入公开披露文件，同时通过特殊股权与保密信托安排锁定控制权，这两件事并置，构成了一个值得拆解的结构性矛盾：一家公司以“人类长远利益”为名强化安全叙事，但其治理安排却让公众难以知晓最终决策者是谁。这种不透明并非孤例，而是EA思想深度嵌入硅谷AI权力网络的一个缩影。

EA的演变路径清晰展示了理念如何转化为行动力量。早期“蚊帐时期”以可量化证据提升慈善效率，2015年前后转向长远规划与存在风险，SBF等富豪资金涌入加速了这一转向。SBF事件导致社群声誉崩盘，但ChatGPT的诞生让AI风险讨论进入主流，EA反而借此完成从哲学社群到政策与资本网络的跃迁。如今EA成员进入前沿实验室、资助安全研究、与华盛顿政策圈交汇，Afra所称“热点是被EA创造出来的”并非虚言——年轻研究员因资金和职位涌入AI安全领域，传统智库反而难以招到合格政策分析员。

围绕Anthropic安全审计独立性的争议，核心在于资金链与商业利益的潜在绑定。METR等审计机构的资助方与Anthropic早期投资人存在重叠，这并不自动证明审计结论失真，但足以构成利益冲突的合理质疑。Afra将阴谋论归因于外界对EA议程的投射，然而当同一批资金同时支持安全研究、审计机构和政策倡导时，公众要求披露资金来源与决策机制并非过分。

值得关注的变量有三：其一，Anthropic上市后“长期利益信托”的实际运作方式及保密接替名单是否会在监管压力下公开；其二，EA在AI安全领域的人才与资金集中度是否会导致政策讨论的同质化，挤压其他治理视角；其三，前沿AI进展若持续超出研究员预期，放缓RSI的呼吁能否转化为可执行的行业共识，还是仅停留在会议讨论层面。潜在风险在于，若安全叙事与商业利益长期缺乏透明边界，一旦发生安全事件或审计丑闻，公众信任可能迅速反噬，波及整个AI安全生态的公信力。目前关于信托具体治理规则及审计机构独立性的制度安排，尚待确认。

查看原文