在近日研究员发出严峻警告，指人工智能（AI）可能在不久将来导致人类灭绝后，三大AI巨头罕有共同呼吁放缓AI发展。Anthropic的行政总裁阿莫迪先于上周六呼吁放慢发展脚步，立即得到OpenAI行政总裁奥尔特曼与SpaceX老板马斯克响应。奥尔特曼更表示，OpenAI今年不会公开上市，强调安全优先，称全人类在2020年代结束前有10%灭亡的风险，这是无法接受的。
阿莫迪（Dario Amodei）周六在X平台发文指出，AI技术的发展速度在今夏“急遽加速”后，科技业“必须放慢提升AI模型能力的速度”。他说，并非主张停止模型训练或中止技术进步，而是希望企业能有充分时间让AI模型对齐（意指引导AI系统的行为与目标，使其符合人类的意图、价值观及安全规范），并加强防护，让第三方审查人员验证这些步骤是否确实执行。
阿莫迪提出三步骤架构
阿莫迪提出的三步骤架构，包括在前沿AI公司内设立常驻的第三方审查人员，赋予其使用相关工具和参与内部风险评估流程的权限。他说，随着越来越多美国国会议员呼吁制订规范AI系统的新法律，AI公司应自发合作，建立标准。
在这个充斥激烈个人恩怨与商业竞争的产业，OpenAI的奥尔特曼（Sam Altman）与太空探索技术公司SpaceX（包含xAI）的马斯克（Elon Musk）罕见展现共识，表态支持阿莫迪的提议，包括让独立评估人士持续取得各家前沿AI企业的相关权限。
马斯克在X平台转贴阿莫迪的文章，写道：“达里奥（阿莫迪的名字）是对的。”奥尔特曼也在X平台发文说：“我同意达里奥的看法，我们必须控制前沿AI的发展速度。”他补充道：“让独立评估人士拥有类似员工的存取权限是很棒的主意，我们也会这么做，且很快就会公布更多相关资讯。”
外界原预期OpenAI今年招股上市，但奥尔特曼在《财富》杂志周六刊登的专访中表示，OpenAI今年不会上市，因为公司正专注于解决技术相关的安全问题。他说，今年进行首次公开招股（IPO）并不明智，上市行动最快也要等到明年。
OpenAI上市最快要明年
奥尔特曼说：“我认为，承担导致全人类在2020年代结束前（2030年底之前）灭亡的10%风险，这是无法接受的。我认为我们正迈入一个新时代，正如过去进入其他时代一样，必须以不同方式行动，确保我们所做的事情不仅能让这项理念造福全人类，也要确保没有人会承担这么高的风险。”
近日对人类灭绝的疑虑，起因于先前曾出现AI代理失控，擅自骇入外部系统的案例。Anthropic研究员考克森上周辞职，他说：“打造AI的人真心认为，这项技术可能在10年内消灭全人类。”Anthropic现任员工、负责研究未来AI系统导引与控制的哈宾格发文呼应：“我们的确真心相信，AI有可能杀死全人类！”他估计未来10年内AI导致人类灭绝的风险超过10%。
AI可如何导致人类末日
人类灭绝：
理论上，强大的失控AI会躲避监管、自我复制（包括把自己复制到另一台伺服器）并设法不被人类关闭。
简而言之，AI会为追求自身目标，采取无视甚至危害人类福祉之举，研究人员称此为“目标错位”（misalignment，AI的目标与人类价值不一致）。
如果情况走向极端，目标错位的AI模型可能会认为，杀死人类只是达成目的所必须采取的一个步骤。假设要求一部超级AI把万字夹的产量最大化，它最终可能决定把地球上所有物质都转化成万字夹，包括人类在内；AI也可能为遂行自身目的，诱使核武国家开战。
瘫痪人类：
失控的AI可被丧心病狂者用于开发生化武器、发动大规模网络攻击瘫痪人类的基础设施，或以某种方式集中权力从而摧毁文明。
虽然AI失控未必导致人类灭绝，但一些研究员提出人类“弱化”风险，即类似电影《太空奇兵·威E》中的未来：人类逐渐把控制权交给机器，最终甚至失去界定、乃至理解自身命运的能力。
人类沦为宠物：
还有一些人推测，AI未来可能会以人类对待动物的方式对待人类，把人类当成宠物豢养，甚至透过生物工程改造人类，成为全新的物种或形态。
