“中国并不是我们唯一的潜在敌人。走错方向的人工智能（AI）可能成为包括我们在内的所有人的敌人，并且有一天可能比中国更强大。” <前谷歌DeepMind研究员亚历克斯·特纳>
“如果继续这样下去，人类失去对AI的控制的可能性会更大。尽管AI的风险巨大，但相关企业却表现得非常鲁莽。” <前Anthropic研究员雅各布·科克斯>
美国纽约市议会于5日（当地时间）召开了关于AI风险的听证会，前研究员们纷纷发出警告，称AI可能会脱离人类的控制。
“人类可能因失去控制而灭亡” AI研究员发出“惊人警告”
据美国CBS等媒体报道，曾点燃“AI人类灭绝论”的前Anthropic研究员雅各布·科克斯在听证会上警告称，如果继续以当前的开发速度，AI可能会脱离人类的控制，导致人类灭绝的可能性。
他指出，AI正在快速接近一个阶段，即在很大程度上自行执行人类的研究和开发工作，并提升自身性能。他还批评AI企业采取“快速行动，出问题后再修正”的初创企业文化。
前OpenAI研究员丹尼尔·科克泰罗表示：“即使企业声称保持控制，但不应将控制权交给企业。”他警告称：“在美国，利用AI成为独裁者的可能性是现实存在的。”
此次听证会是纽约市议会审查AI监管法案，并邀请主要AI企业及前研究员探讨AI的安全性和风险。纽约市表示，这是美国乃至全球首次举行此类AI监管听证会。
听证会上，主要AI企业的代表，包括Anthropic、OpenAI、谷歌和Meta的政策与安全负责人也通过视频出席。Anthropic的前沿红队负责人洛根·格雷厄姆、OpenAI的政策开发与运营负责人摩根·德怀尔、谷歌的AI与新兴技术政策负责人艾丽斯·弗伦德、Meta的AI立法政策负责人肖恩·凯希尔等人通过视频宣誓并作证。主要AI企业首次在立法机构出席并就AI风险和监管措施作证。
然而，由伊隆·马斯克领导的SpaceXAI未回应听证会的传票。纽约市计划请求纽约州最高法院强制执行传票。
自我监管是消极应对...纽约市推动10项AI监管立法
纽约市议会主席朱莉·梅宁解释了召开听证会的背景，称联邦政府依赖AI企业的自我监管，纽约市必须自行应对。她指出，唐纳德·特朗普总统上周在华盛顿与AI企业负责人签署自愿协议，表明联邦政府采取了消极的应对方式。
梅宁主席表示，她希望听取企业对AI造成的损害的看法，以及纽约市目前正在推进的立法案的意见。
实际上，纽约市议会最近正在审查10项AI监管法案。这些法案包括：▲限制公职人员AI图像和视频的未经授权生成和使用 ▲强制对AI模型进行第三方验证 ▲强制设置人类可以强制终止AI模型的技术功能（杀死开关） ▲保护AI聊天机器人的个人信息 ▲对AI相关内部举报者的奖励制度 ▲允许受到AI代理人伤害的市民直接对企业提起诉讼的私人诉讼权等。
据报道，梅宁主席对AI企业的代表提出了尖锐的问题：“你们能否以数字形式展示风险的程度？”“如果最先进的AI模型失控，造成严重的财务损失或泄露敏感数据，甚至导致身体伤害或死亡，各企业是否应承担法律责任？”
对此，相关人员回应称：“我们不想对量化风险的问题给出不准确的回答”，“我们目前没有相关体系”，“我们非常重视安全责任”，并给出了原则性的回答。
此次听证会是在对AI安全担忧加剧的背景下举行的。最近，OpenAI和谷歌DeepMind的前后研究员也警告称，AI正在快速推进“递归自我改进（RSI）”，可能会脱离人类的控制。
美国联邦贸易委员会（FTC）也表示，正在单独调查OpenAI、Anthropic等AI企业的产品可能对消费者造成的风险。
※ 本报道经人工智能（AI）系统翻译与编辑。
