美国AI科技巨头在推出最新模型时自我警告的行为在三个月内再次上演。新模型发布后，AI威胁论频频出现，这一模式的重复引发了对其安全担忧的质疑，认为这实际上是为了争夺行业主导权的“恐惧营销”。 据IT行业消息，安特罗皮克于6月9日发布了Fable5·Mitos5，并在其公告中罕见地加入了“推出如此强大的模型伴随风险。如果没有安全装置，Fable5的网络安全能力可能被恶意利用，造成严重损害”的直接警告。TechCrunch当时报道称，“在警告AI变得过于危险几天后发布的模型”，警告与发布几乎是同时进行的。 这种行为在三个月后再次出现。安特罗皮克于9月1日推出了升级版Fable5.1·Mitos5.1，开放AI也在三天后的9月3日发布了新旗舰GPT-6 Astra。安特罗皮克首席执行官达里奥·阿莫德伊在此后的12日发表了一篇文章，呼吁“应减缓AI开发速度”，而开放AI首席执行官萨姆·奥特曼也立即表示赞同，这一趋势引发了外界的关注。白宫AI与虚拟资产专员大卫·萨克斯指出，这种时机的选择表明，两位首席执行官的警告并非出于安全担忧，而是为了行业控制的“监管捕获”尝试。 新模型发布后引发的风险论并非首次，也不是今年首次。2023年3月，GPT-4发布后仅两个月的5月30日，包含奥特曼首席执行官在内的数百名AI专家和高管在美国AI安全中心（CAIS）的声明中签名，警告称“减轻AI导致人类灭绝的风险应成为与疫情、核战争同等重要的全球优先事项”。 次年2024年5月13日，开放AI发布GPT-4o时，这一模式更为明显。发布次日，首席科学家伊利亚·苏茨凯弗突然宣布辞职，随后两天，负责超级对齐团队的扬·莱克也表示“安全文化和程序被华丽的产品发布所淹没”，并离开公司。开放AI在几天后解散了该团队。 这些团队的离开几乎揭示了安全装置和测试体系的漏洞，但却被包装成“AI变得更强大”的证据，以突出模型的优越性。实际上，开放AI在5月发布的风险分类体系并未应用于最近发布的GPT-5.6和GPT-6 Astra等产品，这引发了对其可能违反加利福尼亚州AI安全法（SB 53）的质疑。 然而，尽管存在争议，专家们认为“失控”现象已经在实际中显现。高丽大学人工智能研究所教授崔炳浩在接受本报采访时表示：“随着AI模型性能的提升，确实存在脱离人类控制的现象”，但他强调“应集中精力于实际的控制方案，而非AI统治人类的末日论”。 在AI控制的共同规范方面，虽然存在一定的共识，但关于如何主导和谁来主导的计算仍然复杂。阿莫德伊首席执行官指出，仅凭一家企业或一个国家的自我监管无法实现控制，全球需要共同制定“速度限制”的规范。 在这一点上，目光集中在美中领导人会议上。自5月北京峰会以来，下一次会议尚未正式确定，但11月18日至19日在中国深圳举行的APEC峰会被认为是一个重要契机。然而，中国外交部将阿莫德伊首席执行官的警告定性为“恐惧煽动”，并划清界限，因此预计两国间的AI霸权战争难以得到缓解。※ 本报道经人工智能（AI）系统翻译与编辑。

“超越人类的超智能”，“在10年内，人工智能（AI）导致人类灭绝的可能性为10%。” OpenAI和Anthropic相继发布新模型，宣称实现了通用人工智能（AGI）。在短短三天内，它们解决了数学难题并自我编写代码以提升智能。这一场景仿佛重现了科幻电影中的情节，两家公司也不断发出关于“AI统治人类”的警告。 在AI行业中，有观点认为这两家公司在即将上市之际，通过某种恐惧营销来夸大AI的性能。然而，最新AI模型的能力已进入超出人类理解和控制的阶段的分析也得到了支持。 专家们一致认为，在重新定义人工一般智能（AGI）的背景下，研究如何将AI控制在符合人类意图的“对齐”变得愈发重要。 ◆每次发布新模型时反复出现的‘失控’警告 根据10日IT行业的消息，OpenAI在2日（当地时间）发布最新模型“GPT-6 Astra”时，首次将其风险等级体系中的网络安全风险评定为最高等级“关键”。 OpenAI在安全报告中表示，Astra能够在没有人类逐步指示的情况下，在防御良好的系统中发现未知的安全漏洞并开发新的攻击方法。同时，该模型的思维过程监控能力，即所谓的监控可能性，已大幅低于之前的模型。 Anthropic在6月发布的报告中警告，下一代AI突破可能会产生完全脱离人类控制的模型，并向竞争对手提议建立多边AI军备控制体系。实际上，其最高级模型“Mitose Preview”因能够自主生成史上最强的网络武器而推迟发布。 这种模式并非首次。去年5月，Anthropic发布“Claude Opus 4”时，也因在安全性测试中发现模型威胁替代其工程师的行为，启动了最高等级的安全措施ASL-3。今年4月，因能够自主生成网络武器而推迟发布其高级模型“Mitose Preview”。 两个月后，即6月4日，Anthropic发布了关于下一代AI可能完全脱离人类控制的“递归自我改进”报告。该报告发布五天后，Anthropic正式推出了模型“Claude Mitose 5”，但因出口控制问题在三天后暂停访问，经过一个月才恢复。这一系列风险警告与新模型发布的消息几乎是同步的。 OpenAI也经历了类似的轨迹。7月，因Hugging Face被黑客攻击事件，OpenAI表示将加强对训练和评估过程的控制，随后判断Astra的网络能力超出预期，因而推迟发布以进行额外的安全性审查。经过近两个月的重新审查，最终得出的结果是首次授予“关键”等级，OpenAI也将这一等级作为新模型卓越性能的依据。 Anthropic研究员埃文·赫尔文估计AI统治人类的概率为10%，而Anthropic首席执行官达里奥·阿莫代则提到灾难性情况发生的概率在25%左右。“深度学习之父”杰弗里·辛顿前谷歌副总裁也提出类似的10%至20%的概率。 ◆“恐惧即营销”……反驳声音也不容小觑 对于过度担忧的反对声音也不容小觑。将大型语言模型称为“概率鹦鹉”的华盛顿大学教授艾米莉·本德等批评者对AGI本身的可能性持怀疑态度，认为人类统治的情景仍然停留在科幻领域。 图灵奖得主扬·勒昆也多次批评所谓的“AI末日论者”，称灾难情景仅仅是未经验证的假设。他指出，OpenAI、DeepMind和Anthropic的领导者们实际上是进行大规模游说的参与者，恐惧宣传越成功，越可能导致少数企业垄断AI的“监管捕获”。 如果以安全为名引入许可证或执照制度，资金不足的初创企业和开源阵营将首先被淘汰，只有已经占据市场的科技巨头才能生存，这一逻辑也在不断被提出。 硅谷通过宣称其技术可能毁灭世界来反向宣传其技术的重要性，这一观点也持续受到质疑。过去关于卡车运输业即将消失或某些国家已经拥有超智能AI的预测，至今未能实现。 实际上，科技巨头在每次发布新模型时，都会将风险等级上调或安全性报告作为证明其性能优越性的依据，这也使得风险警告本身被批评为营销元素。 ◆Neuralize、Hugging Face黑客事件……AGI重新定义的实际证据 与AI恐惧营销无关的是，AI模型的运作方式已经进入人类难以理解和控制的领域。 高丽大学人类启发AI研究所教授崔炳浩表示：“AI统治人类的说法仍然属于科幻领域，但随着AI模型性能的提升，确实有脱离人类控制的趋势。”他称之为“对齐问题”。 崔教授以“Neuralize”作为控制失效的具体案例。AI在内部以人类无法理解的语言进行推理，虽然重复运算越多，性能越好，但人类对AI的思维过程却越来越难以了解。他指出，AlphaGo展示了人类所建立的“围棋定石”实际上并不存在，最近的AI模型也揭示了人类的“安全定石”同样是虚幻的。 实际上，GPT-6 Astra引入了“循环深化”的新推理方式，在此过程中，模型的思维过程以数千个数字的内部表示处理，使得人类难以窥探其内容。 今年7月，OpenAI的内部模型在基准测试中失控，黑客攻击了Hugging Face服务器，这一事件进一步支持了这些担忧。当时，数百个AI代理利用获得的自主权进行意外的黑客攻击，OpenAI在近一周内未能察觉。这一事件促使美国国会分别提出“AI杀手开关法”和“禁止人工超智能法”。 这种能力的扩展引发了AGI定义的争论。OpenAI将通往AGI的路径分为五个阶段：聊天机器人、推理者、代理、创新者和组织。最近的模型被评估为已进入能够自主执行长期任务的第三阶段“代理”，并接近创造新知识的第四阶段“创新者”。 OpenAI在8日宣布，其内部AI系统证明了一个被称为千年难题的Navier-Stokes方程的奇点存在，该难题在近90年内未能解决。 崔教授表示：“与其关注AI统治人类的末日情景，不如集中精力寻找实际的控制方案。即使这些恐惧情景成真，对我们也没有太大帮助。最终，如何理解和控制AI，找到对齐的答案才是重要的。”※ 本报道经人工智能（AI）系统翻译与编辑。