美议员拟立法禁止 AI 递归自我改进，强制人类控制

据报道，加州民主党众议员罗·卡纳正准备提出一项人工智能法案，该法案将施加严格的责任规则，并在政府制定安全标准之前禁止“递归”自我改进的人工智能。

新法案旨在应对先进 AI 的潜在威胁

卡纳周一在接受 CNBC 采访时表示，存在“文明灭绝”的风险，以及“失控的安全风险，还有滥用风险”，这两者都必须被认真对待。

该法案名为《人类对 AI 控制法案》，其摘要已被该媒体看到。根据该法案，AI 模型将被禁止自我升级或更改自身的安全和关机设置。该限制将一直有效，直到联邦规则制定完成且政府机构批准该技术。

此外，该法案计划成立一个新的联邦机构，专门监管 OpenAI、Anthropic、Alphabet Inc 旗下 Google DeepMind 以及 Space Exploration Technologies Corp 旗下 SpaceXAI 等公司开发的先进 AI 模型。

这一新机构将负责制定安全规则、训练和发布模型的许可流程、前沿 AI 模型的审计，以及确保人类监督和持续测试的严格安全规则。

第三方审查人员还将直接派驻到每个先进 AI 实验室内，向该机构提供即时报告。该机构还将制定隔离离线测试区的指导方针、紧急切断机制，以及将模型限制在实验室内以防止其在线扩散的保障措施。此外，该机构还将监管顶级开发商使用的 AI 芯片，实施监管和监控其应用的方法。

AI 安全辩论升温

本月早些时候，Anthropic 的研究员埃文·胡宾格估计 AI 在十年内消灭人类的概率超过 10%，这发生在更广泛的行业安全辩论之中。上周，Anthropic 首席执行官达里奥·阿莫迪和 OpenAI 首席执行官山姆·奥特曼在联合国安理会警告了 AI 带来的潜在风险，呼吁加强国际合作以管理日益强大的 AI 系统。

与此同时，周日，《大空头》投资者迈克尔·伯里在社交媒体平台 X 上警告日益递归的 AI 生成内容所带来的后果。他认为，越来越多地使用 AI 生成的训练数据可能会放大错误，同时暴露出大语言模型在通往通用人工智能道路上的更深层局限。

上周，佛蒙特州独立参议员伯尼·桑德斯敦促总统唐纳德·特朗普和中国国家主席习近平谈判达成一项国际协议，暂停先进 AI 开发并禁止超级智能。

查看更多：

顶级成长股