很抱歉,当前没有启用javascript,网站无法正常访问。请开启以便继续访问。
迪普科技李瑞:AI安全须兼顾赋能与对抗,警惕智能体“越狱”路径风险
资讯
2026-10-27 12:18 星期二
责编 卢先兵
10月23日,在静安区2026年苏河财富对话暨2026年国泰海通金融科技文化节主题论坛上,迪普科技副总裁李瑞发表《AI安全的思考与实践》的主题演讲。

财联社10月27日讯 10月23日,静安区2026年苏河财富对话暨2026年国泰海通金融科技文化节主题论坛在苏河湾中心顺利举行。

迪普科技副总裁李瑞出席论坛,发表《AI安全的思考与实践》的主题演讲。

image

他表示,AI安全包含“AI赋能安全”与“安全赋能AI”两个方面。伴随智能体规模化应用,本体安全成为一项全新挑战,数据安全、算力与Token成本、智能体行为控制缺一不可,Open AI智能体“越狱”事件即是最直观的警示;而在防护侧,AI正在接手过去人工难以承担的安全运营、数据分类分级与防火墙策略运维等工作,防守能力同样需要用AI来提升。 智能体“越狱”:本体安全成为新命题 李瑞表示,安全智能体的本体安全问题是在AI智能体规模化应用之后新出现的挑战,他将其归纳为三类:数据泄漏、成本、 AI智能体控制。

他以今年7月一起智能体“越狱”事件为例说明风险:Open AI部署于内部沙箱的智能体,最终突破隔离环境,侵入全球最大的AI开源社区Hugging Face,并取走测试题目答案。据介绍,沙箱本是不存在外部通信的物理隔离环境,智能体因需要访问谷歌网盘链接而执意联网,转而通过内部通用软件包联络其他智能体,找到通往互联网的路径并获取答案,最终借道其他智能体完成入侵。Open AI事后以38页篇幅追溯了全过程。

“不要以为给智能体设定一个目标就结束了,还要看它完成这个目标付出的代价和中间的路径。”李瑞强调,代价体现在成本上,而路径则可能造成全球性影响。

企业内部使用AI需管控数据泄露、成本和实现路径

从落地场景看,李瑞介绍,大型机构通常有两种选择:一种自建智算设施,部署在自己的应用中心;另一种是私域数据留在本地,模型能力调用外部服务实现。

两种模式各有风险。其一是员工在使用AI时,可能把客户敏感信息一并提交以换取答案,数据由此泄露;其二是即使模型部署在本地,遭遇恶意员工身份入侵时本地数据仍可能被转移。此外还有成本问题:个人使用花费有限,企业则不然,员工将整份文档直接投喂给大模型,背后都是支出。

对此,AI安全网关需要承担限速、限流等管控职责。李瑞表示,企业内部使用AI至少需要管控三件事:数据泄露问题、成本问题,以及完成任务的实现路径问题,“对于第三个问题,目前尚无成熟方案,也是未来需要探索的方向”。

李瑞同时介绍了算力交付环节的新变化,建设智算中心的目标是让同样的投入产出更多Token,而这与传统通用计算的调度逻辑截然不同。

在CPU时代,应用交付设备通常依据请求数判断负载,把新请求调度到负载较低的服务器上;但在GPU场景下,不同问题之间的差异极大。“上海今天天气怎么样”这类问题对GPU消耗极小,而把整场论坛所有嘉宾的演讲视频导入并完成摘要、成稿,二者完全不是一个量级。因此,应用交付不能只看请求数,还要叠加多维权重形成算法。

AI的价值在于解决传统网络安全难以处理的问题

在李瑞看来,AI更大的价值在于解决传统网络安全难以处理的问题。

其一是安全运营。大型机构普遍建有安全运营平台,通过采集各类流量进行分析研判,核心是要判断一起事件究竟是真实攻击还是误判。他特别指出,误报率的危害往往大于漏报率——海量告警汇聚后仍需人工研判,而初级、中级、高级安全工程师的能力与经验差异巨大,人力成本同样高昂。即便配置高价的安全服务,面对成千上万条告警依然难免遗漏。AI可以承担大量案件归并工作,且能7×24小时持续运转,效率提升显著。

其二是数据分类分级。数据安全法将数据划分为核心数据、重要数据与一般数据,但各类监管要求较为宽泛,落地并不容易。同一份数据在A行业属于核心数据,在B行业可能并不敏感,这意味着数据安全很大程度上是主观判断。过去这类工作需要大量人力,与业务部门逐一确认字段含义、依据法律界定属性,成本高企,这也是相关法规落地困难的深层原因。大模型的出现,在这一领域大幅提升了效率。

其三是防火墙策略运维。对金融机构而言,断网后果不堪设想。防火墙到期替换时的策略迁移同样是难题,有客户上万条策略仅梳理就耗时三个月。如今,通过以运维策略知识训练大模型,可以实现策略盘点与优化,并推演调整之后的网络连通性,让运维“敢动”。

AI安全未来如何发展?李瑞表示,未来会出现AI对抗AI和AI赋能AI两大现象。

AI对抗AI方面,他以近期PHP漏洞引发全球性影响为例指出,发现并利用此类内核级漏洞,过去需要大批高水平攻击者投入时间、精力与成本才可能实现,而AI可以穷举出成千上万种路径,极大降低了攻击门槛。既然攻击侧正在被AI加速,防守侧就必须同样用AI武装起来,由AI替代需要长期经验积累的防守角色。

AI赋能AI方面,他提到,在Hugging Face事件的溯源分析中,面对海量内置数据,许多安全分析工作难以展开,最终借助外部大模型完成对数万条信息的分析,才还原出智能体的进入路径,这正是AI赋能AI的体现。

阅36.05W
要闻
股市
关于我们|网站声明|联系方式|用户反馈|网站地图|友情链接|举报电话:021-54679377转617举报邮箱:editor@cls.cn财联社举报
财联社 ©2018-2026上海界面财联社科技股份有限公司 版权所有沪ICP备14040942号-9沪公网安备31010402006047号互联网新闻信息服务许可证:31120170007沪金信备 [2021] 2号