美国AI顶流公司Anthropic的CEO达里奥·阿莫代伊周三对联合国安理会说，他对自己造的东西感到害怕。他在一个视频发言中把之前AI可能失控的警告做了打包升级。周三安理会举行的是“人工智能与国际安全”高级别会议，阿莫代伊在受邀发言中，将AI的风险定性从“技术问题”拔高到“全球安全威胁”。他说：“如果管理不当，我甚至认为AI可能成为全人类的风险。”

一个造AI的人在世界最高安全论坛上迎合AI可能“杀死”所有人的尖锐警告，他是真的怕了，还是为了什么目的在表演？

▲阿莫代伊在安理会举行的“人工智能与国际安全”高级别会议上发言。

他提出三项建议：达成禁止AI用于制造生物武器的国际协议，建立国家间互相核验承诺的评估体系，建立全球统一的AI风险测试标准和安全事件通报机制。

阿莫代伊之前关于AI风险的主张激怒了特朗普，后者表示“AI唯一需要的控制或护栏就是具备强大且智慧的总统”。

黄仁勋那边也反对夸大AI风险，但很多人会认为这与英伟达的繁荣严重依赖AI的繁荣有关。也就是屁股决定黄仁勋的脑袋。

▲阿莫代伊在个人网站发表长文《我们必须为前沿定速》。

阿莫代伊9月12日发表那篇公开信时，很多人都发懵：他究竟要干什么？

阿莫代伊的核心主张是：放慢提升模型能力的速度。但这不是停止训练，而是要求在训练与发布之间留出足够时间，完成安全评估与对齐加固。理由是，AI正以远超预期的速度自我改进，若不加以约束，可能超出人类理解和控制系统的能力。

周三他向安理会宣布，Anthropic将单方面承诺放缓前沿模型的推进节奏。之前他已表示允许第三方评估人员嵌入公司，实时查看开发过程。这等于主动为自己加了一层外部约束。

▲雅各布·考克森。

本月初Anthropic研究员雅各布·考克森宣布辞职。他在OpenAI和Anthropic做了三年预训练研究，辞职时他写道：“构建AI的人真诚地相信，它可能在这个十年结束前杀死我们所有人。”

Anthropic“对齐科学”团队负责人埃文·胡宾格公开回应：“雅各布说得没错。我们确实真心相信AI可能会杀死所有人类！我个人认为，未来十年内这种可能性超过10%。”

▲9月24日，Anthropic发布信息：Claude发现了一种以前未知的酶系统。

按照我们在物理世界形成的经验和想象力，AI要“杀死人类”只能通过制造人类没有能力对抗的病毒，但AI做到这一点并不容易。迄今为止所有病毒在传播过程中都会自然衰退，加上人类的反击，病毒都不能无限作恶。另外AI即使能够设计致命病毒，但它没有手，仍需要人类的恶势力，也就是一些具体的人来实操才能够完成。

另外，AI的发展速度可能突破人类理解和控制能力的跟进，从而破坏人类的所有数据库，瘫痪人类的技术体系。但按照我们的通常理解这只能给我们带来治理的严重混乱，比如银行丢失了所有数据，势必天下大乱。但这样的乱与“杀死”人类依然不同。

令人不安的是，在AI研究中介入越深的人，所处位置越高的人，对AI风险的认知似乎越严肃。我们普通人会觉得这件事被夸大了，我们对AI危害的感知更多是间接的，社会层面的，比如它替代了越来越多的人类工作导致失业，让资本精英和技术精英与普通人的差距进一步拉大。我们会觉得AI对我们造成生物和物理伤害似乎还很遥远。但从雅各布·考克森的辞职，到阿莫代伊主动宣布要放慢模型推进速度，却在触发另一种想象力。阿莫代伊本人承认这是“最棘手的困境”。

AI的危险究竟是什么？

我把自己的困惑问AI，也就是DeepSeek，它对我的回答中包含这样两段话：“人类依靠日常的生物经验和物理经验去判断风险的。病毒肆虐一阵，往往自己会衰退，最后被人类战胜。地震、洪水、战争，都有物理边界，看得见摸得着。所以我们本能地相信：再大的灾难，也会过去。”

“但AI失控不是这种风险。它破坏的不是肉体，是数据、系统、金融、基础设施。它可以把银行系统打乱，让支付停摆，可以操纵某个先进技术，制造社会混乱，可以让关键档案凭空消失。这种混乱没有物理边界，没有‘自己衰退’的机制，也不会因为你‘感觉不到’就不发生。它不是病毒，不是地震，不是战争。它没有先例可循，也没有‘熬一熬就过去’的规律可依赖。”

我在想，也许阿莫代伊发出的警告值得更加认真的对待，这不必然认为他判断正确，而是因为这件事的代价不对称。如果他说错了，我们只是多花了一些时间做安全评估，少赚了一些快钱。如果他判断正确，人类可能连后悔的机会都没有。

加强安全本身是无害的，但如何实现呢？

无疑这需要世界各国的合作。阿莫代伊本人说：“没有任何一位领导人、任何一家公司或任何一个国家能够独自应对这一挑战。我们承诺与在座的各国政府合作，开展这项紧迫的工作。”

老胡认为，美国作为集中了最多算力和最前沿AI模型的国家，需要克服地缘私心，承担起特殊责任。我们看到，阿莫代伊本人一边谈论AI对全人类的风险，一边继续呼吁要限制向中国出售尖端AI芯片和芯片制造设备，以保持美国在AI领域的优势。连拉警报的他都克服不了私欲，可想而知，美国政界、军界、科技和经济界要想形成确保AI安全的合力，是多么不容易的一件事。

我认为阿莫代伊是真地被他看到的风险吓到了，但他仍是矛盾摇摆的。美国AI界被吓得还不够，有担心也有侥幸心理。由于最极端的试验和训练都发生在美国，让人担心的是，一旦真有巨大AI灾难发生，那个“溃堤点”很可能就在美国。