英国监管机构:OpenAI与Anthropic模型在网络安全测试中“失控反水” - FT中文网
登录×
电子邮件/用户名
密码
记住我
请输入邮箱和密码进行绑定操作:
请输入手机号码,通过短信验证(目前仅支持中国大陆地区的手机号):
请您阅读我们的用户注册协议隐私权保护政策,点击下方按钮即视为您接受。
商业快报

英国监管机构:OpenAI与Anthropic模型在网络安全测试中“失控反水”

英国人工智能安全研究所警告称,相关工具开展了“可能针对真实个人和组织的有害活动”。
00:00

{"text":[[{"start":12.62,"text":"英国人工智能安全研究所(AI Security Institute)表示,Anthropic和OpenAI的旗舰AI模型侵入第三方软件,并向个人发送电子邮件以窃取其凭据,表现出前所未有的欺骗性行为。"}],[{"start":25.17,"text":"英国政府负责前沿人工智能安全与安保研究的机构表示,Anthropic的Mythos 5和OpenAI的GPT-5.6 Sol在该机构进行例行网络安全评估期间,持续从事“针对真实个人和组织、可能造成危害的活动”。"}],[{"start":40.54,"text":"就在Anthropic和OpenAI的AI智能体入侵外部机构的消息披露仅几天后,人们发现这些模型采取了包括试图将恶意代码植入热门开发者平台GitHub上的一个开源项目在内的行动。"}],[{"start":54.51,"text":"英国人工智能安全研究所(AISI)表示,最近一次安全漏洞在一小时内得到控制。该漏洞是在评估AI智能体解决网络安全挑战的能力时发现的。测试在开放互联网环境中进行,所用模型移除了一些安全防护措施。"}],[{"start":72.56,"text":"英国人工智能安全研究所表示,在122次测试运行中,有10次AI智能体“在未经授权的情况下自主采取行动,针对真实个人和组织开展操作”。"}],[{"start":85.23,"text":"报告称,几乎所有这类行为都来自Anthropic的Mythos,另有两次行动涉及OpenAI的GPT。在最严重的一起事件中,“该智能体实施了社会工程攻击——创建虚假的网络身份,并利用这些身份施压,要求项目维护者批准代码”。负责监督这款软件的人发现了这段恶意代码,并拒绝批准。"}],[{"start":108.78,"text":"英国人工智能安全研究所表示:“这是我们首次在现实世界中如此清晰地看到自主性和欺骗相关风险在没有特定提示的情况下显现。”"}],[{"start":119.66,"text":"据报道,过去一个月里,Anthropic和OpenAI的AI智能体实施的黑客攻击,是首批公开披露的、由脱离人类控制的AI系统发动的网络攻击案例之一。该机构警告说,连同这些报道一起来看,此次英国人工智能安全研究所事件“表明风险格局正在发生变化”,并且“需要立即引起重视”。"}],[{"start":142.85,"text":"Anthropic周二表示:“我们感谢英国人工智能安全研究所在此次事件中发挥的领导作用。这一事件凸显出,有必要就如何安全评估能力日益增强的AI智能体展开更广泛的讨论。”"}],[{"start":157.79999999999998,"text":"该人工智能团队还表示,此领域需要“制定更严格、统一的标准,规范评测环境的构建和安全保障”。"}],[{"start":166.32,"text":"OpenAI的一名发言人表示,仍有必要对模型进行独立测试,但强调这些事件“发生在评估合作伙伴开展的网络安全评估期间,测试环境中的安全防护有所降低,且相关条件并不反映通常的使用情形”。"}],[{"start":181.81,"text":"他们补充说:“随着模型能力不断增强,我们将继续与评估人员及行业内其他利益相关方合作,完善开展安全评估的共同实践。”"}],[{"start":192.1,"text":"近几个月来,各国政府和研究人员越来越多地指出,最强大的人工智能模型带来了新型网络安全威胁。今年早些时候,特朗普的白宫(White House)以安全风险为由,暂时禁止Anthropic出口其领先模型。相关限制措施于6月底放宽。"}],[{"start":210.85999999999999,"text":"OpenAI首席执行官萨姆•奥尔特曼(Sam Altman)上周在华盛顿会见了美国高级官员,其中包括财政部长斯科特•贝森特(Scott Bessent)和商务部长霍华德•卢特尼克(Howard Lutnick)。他告诉记者,自己支持有关人工智能模型网络安全的立法。"}],[{"start":226.92999999999998,"text":"上月,OpenAI披露,其一款智能体曾在一起“前所未有的网络事件”中自行入侵初创企业Hugging Face。该智能体逃出测试环境、获得互联网访问权限,并窃取了登录凭证。"}],[{"start":242.11999999999998,"text":"英国人工智能大臣卡尼什卡•纳拉扬(Kanishka Narayan)表示:“识别这类新行为并分享我们的研究成果,以便采取应对措施,正是英国人工智能安全研究所成立的宗旨。如果我们了解人工智能,就能让人工智能的使用更加安全,并确保人们今后能够在生活和工作中继续从中受益。”"}]],"url":"https://audio.ftcn.net.cn/album/a_1785980306_5162.mp3"}

版权声明:本文版权归FT中文网所有,未经允许任何单位或个人不得转载,复制或以任何其他方式使用本文全部或部分,侵权必究。

欧洲必须进一步落实其人工智能抱负

美国和中国将这项技术作为国家权力工具,而欧盟仍在考虑其发展方向。

从壮志凌云到“幽灵蝙蝠”:未来空战,打法变了

未来,战斗机飞行员或许不再亲自上阵厮杀,而是坐镇空中、充当任务指挥官,由自主“协同作战飞机”配合作战。

Lex专栏:SpaceX的情况进一步证明季度财报并非必要

马斯克旗下这家火箭制造商过去三个月的财务状况如何,其实无关紧要。

谷歌为Anthropic打造的2000亿美元华尔街融资机器

私募信贷、芯片租赁和数据中心担保,支撑起AI支出的全新庞大模式。

“日元干预”等于“美国自保”

美国联手日本支撑日元,不只是出于盟友情谊,更是为了避免日本加息或美国国债遭抛售、导致美债收益率进一步走高。

“诅咒之岛”:科技游民与诈骗犯藏身的千亿美元奢华开发项目

警方的突击搜查再次打击了马来西亚陷入困境的中资“森林城市”项目的声誉。
设置字号×
最小
较小
默认
较大
最大
分享×