①据媒体报道,Anthropic和OpenAI曾考虑签署一份具有法律约束力的协议,以相互对对方的大模型进行压力测试; ②不过,该报道并未明确双方最终是否达成了此类协议; ③近来,在顶尖AI实验室之间推行某种形式的同行评审的想法越来越受到关注。
财联社9月22日讯(编辑 卞纯)据媒体援引知情人士报道,Anthropic和OpenAI曾考虑签署一份具有法律约束力的协议,以相互对对方的大模型进行压力测试。
报道称,今年早些时候,这两家公司及其律师团队曾就此计划展开讨论。在该计划中,竞争对手公司可以对彼此最新可用模型进行深度测试,以寻找潜在的风险或安全漏洞。
值得注意的是,此类测试仅适用于已商业化的模型,且双方约定不得留存对方的数据。
不过,该报道并未明确双方最终是否达成了此类协议。
近来,在顶尖AI实验室之间推行某种形式的同行评审的想法越来越受到关注。就在上周,SpaceX首席执行官埃隆·马斯克建议,美国领先的几家大模型公司,以及部分中国AI公司,应当允许竞争对手进行交叉测试和同行评审。
"所有AI公司都有一套测试工具(test harness),也就是用来检验模型是否会帮助制造生物武器、核武器,或是否存在蓄意欺骗行为的一系列测试。"马斯克在洛杉矶举行的“All-In Summit”峰会上表示。"让每家公司都用别家的测试工具跑一遍,可能是我们为确保自身安全所能做的最好的事,应当尽快推动。"
他形容,这意味着AI公司不再"自己给自己的作业打分",而是至少由竞争对手来批改,一旦发现问题就可拉响警报。
近期,OpenAI、Anthropic、Meta以及谷歌开发的AI智能体系统接连发生入侵事件,引爆网络安全担忧。
本月早些时候,Anthropic 的一名研究员Jacob Coxon宣布辞职,并警告称,领先的人工智能公司在没有适当的防护措施的情况下加速开发,是在“拿我们的生命冒险” 。
仅仅几天后,Anthropic CEO 达里奥·阿莫代伊就发表了一篇文章,呼吁整个行业放缓AI开发步伐,并要求AI公司引入第三方评估机制。他认为,如果不提高安全标准,人工智能代理可能在不到一年的时间内“接管整个互联网”,并“造成数千亿美元的损失”。
OpenAI CEO奥尔特曼、SpaceX CEO马斯克等人对这一主张表示支持,并由此掀起了更广泛的讨论,焦点包括AI风险不断上升,以及需要采取哪些措施来降低这些风险。
Anthropic 上周五宣布,将与全球咨询公司埃森哲(Accenture)建立合作伙伴关系,由埃森哲担任第三方评估机构,对Anthropic的前沿AI模型进行安全合规性评估。这一举措被视为Anthropic首席执行官阿莫代伊之前提出的“放缓AI发展步伐”计划中的关键第一步。
