前 앤特로픽研究员杰克布·科克森警告说，人工智能（AI）开发竞争的风险正在增加，“人类失去对AI的控制权的可能性更大”。 根据5日（当地时间）彭博社和CNBC的报道，科克森在当天的纽约市议会AI听证会上表示：“我们仍然不知道如何控制任何AI系统。” 科克森在OpenAI和앤特로픽工作了三年，负责预训练研究。他在上个月8日（当地时间）通过社交媒体X宣布辞职，并批评道：“没有任何公司在负责任地行事。这两家公司正在以我们的生命为赌注。” 在听证会上，他表示：“如果继续当前的轨迹，人类失去对AI的控制权的可能性大于不失控的可能性，这可能导致人类灭绝。” 科克森应纽约市议会主席朱莉·梅宁的请求出席了听证会。梅宁正在推动一项AI监管法案，该法案由10项条例组成。核心内容包括在紧急情况下立即停止系统运行的“杀死开关”强制引入、在纽约市销售和分发AI系统前进行第三方安全验证的强制性、引入举报人奖励计划，以及对违规行为处以每次最高2.5万美元（约3400万韩元）的罚款等。 科克森指出，关于“杀死开关”的措施“在短期内可能有帮助，但从长远来看不足以保证安全”。 当天的听证会上，OpenAI、앤特로픽、谷歌等大型科技公司的相关人员也通过视频出席作证。市议会表示，将向法院申请对未响应出席请求的SpaceX AI部门发出传票。 在唐纳德·特朗普政府对AI监管保持大体不干预的背景下，纽约等州和地方政府加快了独立监管的步伐，联邦与地方之间的矛盾也在加大。※ 本报道经人工智能（AI）系统翻译与编辑。

“中国并不是我们唯一的潜在敌人。走错方向的人工智能（AI）可能成为包括我们在内的所有人的敌人，并且有一天可能比中国更强大。” <前谷歌DeepMind研究员亚历克斯·特纳> “如果继续这样下去，人类失去对AI的控制的可能性会更大。尽管AI的风险巨大，但相关企业却表现得非常鲁莽。” <前Anthropic研究员雅各布·科克斯> “在美国，利用AI成为独裁者的可能性也是现实存在的。” <前OpenAI研究员丹尼尔·科克泰罗> 美国纽约市议会于5日（当地时间）召开了关于AI风险的听证会，前研究员们纷纷发出警告，称AI可能会脱离人类的控制。 “人类可能因失去控制而灭亡” AI研究员发出“惊人警告” 据美国CBS等媒体报道，曾点燃“AI人类灭绝论”的前Anthropic研究员雅各布·科克斯在听证会上警告称，如果继续以当前的开发速度，AI可能会脱离人类的控制，导致人类灭绝的可能性。 他指出，AI正在快速接近一个阶段，即在很大程度上自行执行人类的研究和开发工作，并提升自身性能。他还批评AI企业采取“快速行动，出问题后再修正”的初创企业文化。 前OpenAI研究员丹尼尔·科克泰罗表示：“即使企业声称保持控制，但不应将控制权交给企业。”他警告称：“在美国，利用AI成为独裁者的可能性是现实存在的。” 此次听证会是纽约市议会审查AI监管法案，并邀请主要AI企业及前研究员探讨AI的安全性和风险。纽约市表示，这是美国乃至全球首次举行此类AI监管听证会。 听证会上，主要AI企业的代表，包括Anthropic、OpenAI、谷歌和Meta的政策与安全负责人也通过视频出席。Anthropic的前沿红队负责人洛根·格雷厄姆、OpenAI的政策开发与运营负责人摩根·德怀尔、谷歌的AI与新兴技术政策负责人艾丽斯·弗伦德、Meta的AI立法政策负责人肖恩·凯希尔等人通过视频宣誓并作证。主要AI企业首次在立法机构出席并就AI风险和监管措施作证。 然而，由伊隆·马斯克领导的SpaceXAI未回应听证会的传票。纽约市计划请求纽约州最高法院强制执行传票。 自我监管是消极应对...纽约市推动10项AI监管立法 纽约市议会主席朱莉·梅宁解释了召开听证会的背景，称联邦政府依赖AI企业的自我监管，纽约市必须自行应对。她指出，唐纳德·特朗普总统上周在华盛顿与AI企业负责人签署自愿协议，表明联邦政府采取了消极的应对方式。 梅宁主席表示，她希望听取企业对AI造成的损害的看法，以及纽约市目前正在推进的立法案的意见。 实际上，纽约市议会最近正在审查10项AI监管法案。这些法案包括：▲限制公职人员AI图像和视频的未经授权生成和使用 ▲强制对AI模型进行第三方验证 ▲强制设置人类可以强制终止AI模型的技术功能（杀死开关） ▲保护AI聊天机器人的个人信息 ▲对AI相关内部举报者的奖励制度 ▲允许受到AI代理人伤害的市民直接对企业提起诉讼的私人诉讼权等。 据报道，梅宁主席对AI企业的代表提出了尖锐的问题：“你们能否以数字形式展示风险的程度？”“如果最先进的AI模型失控，造成严重的财务损失或泄露敏感数据，甚至导致身体伤害或死亡，各企业是否应承担法律责任？” 对此，相关人员回应称：“我们不想对量化风险的问题给出不准确的回答”，“我们目前没有相关体系”，“我们非常重视安全责任”，并给出了原则性的回答。 此次听证会是在对AI安全担忧加剧的背景下举行的。最近，OpenAI和谷歌DeepMind的前后研究员也警告称，AI正在快速推进“递归自我改进（RSI）”，可能会脱离人类的控制。 美国联邦贸易委员会（FTC）也表示，正在单独调查OpenAI、Anthropic等AI企业的产品可能对消费者造成的风险。

美国关于人工智能（AI）开发速度与安全性的争论愈演愈烈。英伟达首席执行官黄仁勋表示，AI风险论缺乏科学依据，支持反对AI监管的美国总统特朗普。随着美国政治界对AI安全装置和监管加强的呼声日益高涨，AI有望在即将到来的11月中期选举中成为重要议题。 据彭博社等媒体报道，黄仁勋在14日于美国洛杉矶举行的技术会议“全力峰会”上，批评了与AI速度调控相关的观点，称“对未来的科学预测并不基于科学，因此不够合理”。他指出，关于AI可能导致人类灭绝的预测缺乏科学依据。 在会议上，黄仁勋接听了特朗普总统的电话，并通过扬声器进行了约5分钟的对话。 黄仁勋表示同意特朗普总统反对AI监管的立场，指出“最近的AI风险争论让人觉得AI创新与安全之间存在二选一的选择”。他进一步表示，企业在判断失去控制时，可以自愿选择停止或调控AI开发的速度。 特朗普总统在通话中表示“机器人不会统治世界”，并驳斥了AI风险论。他在社交媒体平台Truth Social上称，针对AI和数据中心的“可怕阴谋”只有中国会欢迎。他还表示，“对AI的唯一控制或安全装置是强大而聪明的总统”，再次批评了AI监管的加强趋势。 副总统JD·范斯也将AI行业的监管加强要求比作“特洛伊木马”，表示新规可能提高市场准入门槛，反而有利于现有的大型AI企业。 特朗普政府对AI监管持谨慎态度的主要原因之一是与中国的竞争。美国如果放慢AI开发速度，可能会被中国超越。 最近，安特罗匹克CEO达里奥·阿莫德伊主张应减缓AI开发速度并加强安全装置，特斯拉CEO埃隆·马斯克和OpenAI CEO山姆·奥特曼也对AI风险表示担忧，导致行业内关于开发速度与安全性的争论加剧。路透社报道，特朗普总统计划在本周或下周初与AI企业领导人会面，讨论企业在保持AI安全方面的责任和政府的角色等问题。 与此同时，美国政治界也出现了围绕AI监管的联合行动。根据英国《金融时报》的报道，15日在华盛顿举行的“亲人类大会”上，美国著名进步政治家伯尼·桑德斯参议员与极右翼活动家史蒂夫·班农将共同呼吁加强AI监管，以防止AI的负面影响。两位政治立场截然相反的人在AI监管问题上达成共识。 桑德斯参议员最近主张应永久禁止“超智能AI”的开发，并成立新的联邦监管机构专门负责AI。班农对此表示赞同，并在其民粹主义支持者中扩散对AI行业及特朗普政府宽松AI政策的批评。 国会内，民主党和共和党均提出加强AI安全装置和监管的要求，推动跨党派法案的制定。包括禁止或暂时中止超智能AI开发、强制高性能AI设置“杀死开关”等强有力的监管提案也已提出。由于AI数据中心激增带来的电力费用问题，相关法案也在推动，旨在防止将数据中心扩张所需的发电和输电网投资费用转嫁给普通电费缴纳者。 然而，围绕全面AI监管的国会内部达成共识的可能性不大。众议院本周将迎来11月3日中期选举前的最后一次会议，但共和党领导层表示，急于推进全面监管可能会妨碍美国的AI竞争力，而特朗普政府也对AI监管持谨慎态度，因此在中期选举前实现实质性立法的可能性不大。 AI监管和数据中心问题正逐渐成为与选民生活息息相关的议题。美国的共和党和民主党支持者均对AI表示担忧，并对快速增长的AI数据中心建设持负面态度。NBC最近的民意调查显示，约三分之二的美国人认为AI对社会构成高水平或非常高水平的风险。