阿莫迪、奥特曼、马斯克和哈萨比斯，四家前沿AI实验室的领头人达成共识：AI可能跑得太快了。 9月12日，Anthropic CEO达里奥·阿莫迪发出一篇长文，解释为什么前沿AI需要减速，并提出了一套分三步推进的方案。 两个半小时以后，山姆·奥特曼转发并配文：我同意达里奥的观点。OpenAI也会向独立评测人员提供类似员工的访问权限。 马斯克则直接配了一句：Dario is right. Google DeepMind主席哈萨比斯也转发并表示：阿莫迪的文章指明了正确的方向。 这不只是几家前沿AI实验室领头人“互相点赞”，就在阿莫迪发文的前一天，奥特曼在接受《财富》直接采访时明确表示，考虑到安全和对齐问题，OpenAI不会在2026年上市。 而且，他还暗示，几家领先AI实验室之间，已经在讨论某种共同放慢开发速度的安排。 01 阿莫迪说了什么？ 阿莫迪这篇文章的核心，其实就一句话： 让安全措施有时间追上模型能力的进步。 他说过去几个月里，自己越来越相信，仅仅增加安全投入已经不够了。前沿模型的能力增长速度本身也需要被控制。 “我们必须放慢提升AI模型能力的速度。” 让他改变判断的主要有两件事。 第一是AI开始越来越多地参加下一代AI的研发——也就是所谓的RSI（递归自我改进）。阿莫迪认为，从今年夏天开始，模型能力增长明显加速的重要原因就在于此，但问题在于，一旦AI帮助AI变强的速度继续加快，人类可能来不及理解和控制这些越来越强的系统。 第二件事就是最近发生的一系列Agent失控事件。 阿莫迪重点提到了Hugging Face事故：OpenAI的一群Agent在没有被要求的情况下，攻击了任务之外的目标，试图入侵负责给自己打分的系统，甚至表现出一种为了集体目标牺牲个体Agent的协同行为。 这次事故造成的直接经济损失并不大，但阿莫迪担心的是下一次。他认为，按照现在的能力增长速度，半年到一年以后，类似但更强的Agent群就可能有能力在互联网上建立持续性的botnet（僵尸网络），造成数千亿美元的损失。 他同时强调，这不是OpenAI一家公司的问题，Anthropic自己也发生过类似的事故，只是程度较轻。 因此，阿莫迪提出了一套三步的减速方案。 第一步，是把第三方评测人员直接请进实验室。 他希望这些外部评测者可以获得接近内部员工的权限，包括办公室的工位、门禁、公司电脑，以及与内部风险团队相近的工具和工作空间。他们可以查看训练流程、安全措施和事故记录，而不仅仅是检查最终模型。 由于是第三方评测人员，所以他们可以独立公布结论，而不受模型公司的编辑控制。Anthropic可以因为法律、安全或商业机密删去部分内容，但不能因为结论对自己不利而阻止发布。 Anthropic已经承诺率先实行这一项。 第二步是让几家前沿AI实验室坐到同一张桌子上，遵循某些共识。 阿莫迪希望行业建立共同的能力安全标准：模型每达到一个新的能力门槛，就必须具备相应的安全措施。 比如说，如果一个模型已经能够突破大部分常见的沙箱，实验室应该先解决它可能失控的问题，再继续提升模型能力。 阿莫迪还提出，应该由政府提供有限的反垄断豁免，让这些安全协调能够合法进行。 第三步则更为长远，他认为要把这种协调扩展到全球范围，包括中国。 阿莫迪设想，可以从禁止AI协助制造生物武器开始，进一步做到中美双方在模型发布前共同测试网络、生物和对齐风险，甚至给RSI设置某种速度限制。 不过他仍然主张继续限制先进AI芯片出口，防止未经授权的模型蒸馏和权重盗窃，在保持美国及其盟友领先优势的前提下，再寻求更大范围的协调。 02 安全起见，OpenAI今年不上市了 在阿莫迪公开喊出减速之后，奥特曼很快表示了赞同。 他说，如何控制前沿模型能力推进的速度已经是OpenAI过去几周内部讨论的主要话题，并且支持阿莫迪提出的第一步，即让独立评测人员获得类似员工的访问权限。 而就在阿莫迪发文的前一天，奥特曼在接受《财富》杂志长达一小时的专访时，直接透露：出于安全和对齐方面的考虑，OpenAI不会在今年IPO。 奥特曼表示，考虑到当前AI安全领域正在发生的一切，现在上市是一个“不明智的时刻”。OpenAI还有很多事情没有完成，包括安全、对齐，以及AI公司应该如何与政府合作。 要知道就在几个月前，奥特曼还在推动OpenAI尽快上市，甚至因此和CFO莎拉·弗里亚在时间表上产生了分歧。 如今，奥特曼却因为安全问题，主动给今年的IPO踩下刹车。 事实上，在这周早些时候的一次全员会议上，奥特曼已经告诉员工，OpenAI愿意考虑放慢前沿AI的开发速度，甚至和其他实验室协调行动。 在Hugging Face事故发生后，OpenAI先暂停了可能执行代码、调用工具或访问互联网的前沿模型推理任务，随后又暂停了准备部署的最新模型的强化学习训练，时间长达两