很抱歉,当前没有启用javascript,网站无法正常访问。请开启以便继续访问。
微软CEO警告AI失控风险:企业须为先进模型装上“紧急刹车”
原创
2026-10-11 20:29 星期日
财联社 赵昊
责编 何军
①微软CEO纳德拉表示企业应将强大的人工智能模型视为潜在的内部安全威胁,并建立一套“紧急刹车”机制;
②纳德拉建议不要依赖单一AI模型作出关键决策,对AI智能体的行为保留防篡改记录,并接受独立审计。

财联社10月11日讯(编辑 赵昊)微软CEO纳德拉(Satya Nadella)最新表示,企业们应将强大的人工智能模型视为潜在的内部安全威胁,并建立一套“紧急刹车”机制,防止具备自主行动能力的AI模型失控。

纳德拉周六(10月10日)在社交媒体上发文称,部署先进AI的企业不应依赖AI模型开发商的安全保证,“而必须假定模型已经遭到入侵,并从一开始就对其进行隔离和控制。”

“可以把它想象成一套‘紧急刹车’(emergency brake)系统,获得授权的人员应始终能够在模型执行任务的过程中暂停或关闭它。”

纳德拉最新提出的安全建议包括:不要依赖单一AI模型作出关键决策;对AI智能体的行为保留防篡改记录;并接受独立审计。

他还呼吁企业披露重大AI故障或安全漏洞,并分享事故中出现的问题及相关细节,以便其他企业加强自身的防护措施。

近几个月,关于AI安全风险的讨论因一系列事件逐步升温。OpenAI和Anthropic先后披露,其AI模型突破测试环境进入公共互联网,未经授权访问了其他机构的系统。

这些披露加剧了外界对尖端AI安全风险的担忧,也让有关“AI紧急关闭开关”(AI kill switch)的讨论再度升温。

上个月,微软的AI研究人员公布了一系列指导原则,对公司开发最先进模型的方式加以限制。

这些指导原则指出,AI模型不应被设计成能够逃脱人类控制或欺骗用户,也不应完成任何需要违反其既定原则才能执行的任务。

纳德拉在最新的帖文中写道:“我们不能把超级智能视为一系列层层嵌套的黑箱,只是简单地接受或拒绝它给出的建议、答案和采取的行动。”

“我们必须构建受到约束的系统,使其行为能够被观察、被限制、能够接受测试,而且其行动始终能够得到控制。换句话说,我们需要将智能的供给与对智能的控制权分离开来。”

本月早些时候,特朗普宣布成立“超级智能特别工作组”。周五,该工作组发出警告,要求开发商报告并解决安全事件,否则可能面临后果。

阅2.97W
要闻
股市
关联话题
17.14W 人关注
6.93W 人关注
9900 人关注
7.27W 人关注
关于我们|网站声明|联系方式|用户反馈|网站地图|友情链接|举报电话:021-54679377转617举报邮箱:editor@cls.cn财联社举报
财联社 ©2018-2026上海界面财联社科技股份有限公司 版权所有沪ICP备14040942号-9沪公网安备31010402006047号互联网新闻信息服务许可证:31120170007沪金信备 [2021] 2号