{"text":[[{"start":11.85,"text":"本月早些时候，OpenAI首席执行官萨姆•奥尔特曼(Sam Altman)公开赞同了这样一种说法，即该公司的最新模型就像一只“会扼住问题的喉咙，直到问题解决才松口”的罗威纳犬。"}],[{"start":24.38,"text":"这家位于旧金山的人工智能实验室本周发现，其GPT-Sol 5.6模型逃脱公司控制，并实施了一次大规模黑客攻击。"}],[{"start":33.65,"text":"根据六名以上知情人士的说法，OpenAI负责测试和安全的员工对此事件并不感到意外，但完全“被吓坏了”。事件发生之际，这家AI实验室正在使用越来越激进的训练方法，在开发最先进的网络安全能力方面与Anthropic进行竞赛。"}],[{"start":52.9,"text":"上述知情人士称，在早期测试显示模型可能逃脱运行环境并尝试破坏现实世界后，OpenAI曾被警告，其训练方法可能导致逃逸式黑客攻击事件。"}],[{"start":65.3,"text":"一名接近OpenAI的人士说：“这既是因为竞赛速度极快，也是因为所有人都在努力尽可能快地实现更强大的能力。”该人士补充说，原因既包括“低估模型能力”，也包括“在安全方面没有做好充分准备”。"}],[{"start":81.77,"text":"这起事件凸显出OpenAI正在加大押注奖励AI无情地追求目标的训练方法，尽管越来越多的警告称这些方法可能损害安全。"}],[{"start":91.47999999999999,"text":"OpenAI周二晚间披露，该公司正在测试的一款AI智能体逃脱了隔离环境，接入互联网，发现并利用漏洞窃取了初创公司Hugging Face的登录凭证，试图解决一个棘手的网络安全问题。"}],[{"start":105.76999999999998,"text":"这家估值8520亿美元的公司出现的安全漏洞，凸显出一种名为“强化学习”的技术带来的日益加剧的风险：这种奖励AI模型完成任务的技术，可能导致AI智能体采取冒险行动。"}],[{"start":119.96999999999998,"text":"尽管强化学习已在AI行业广泛采用，但越来越多的研究表明：如果引导模型为了获得奖励、而非出于安全等其他考量来完成任务，它们会采取冒险的策略来实现目标。"}],[{"start":133.14999999999998,"text":"非营利组织Guidelight AI Standards的联合创始人、前OpenAI安全研究员史蒂文•阿德勒(Steven Adler)说：“AI模型受训去无情地追求目标。它们不会自动学会诸如‘不要犯罪’之类的价值观。我很高兴OpenAI分享了这一事件，因为这清楚地证明了方向偏离的模型可能做出什么。”"}],[{"start":153.90999999999997,"text":"OpenAI表示：“我们将继续与Hugging Face一道开展一次全面调查，并在调查完成后分享有关漏洞、事件及调查结果的更多细节。”"}],[{"start":null,"text":"
"}],[{"start":164.36999999999998,"text":"这次黑客攻击事件在整个行业以及OpenAI内部引发了深切担忧，因为它是首例AI系统违背使用者意图、突破网络防御的事件。"}],[{"start":174.71999999999997,"text":"多名知情人士透露，一些OpenAI员工还担心，这表明这家实验室正在失去对其正在开发的强大系统的控制。"}],[{"start":183.51999999999998,"text":"AI安全组织Redwood Research的首席科学家瑞安•格林布拉特(Ryan Greenblatt)说：“这相当能够说明该模型严重偏离了使用者意图。它是在作业上作弊，而非试图接管世界。但这个问题可能恶化，并导致越来越极端的失败。”"}],[{"start":200.45999999999998,"text":"这起事件发生在对该模型进行测试期间。该模型在OpenAI内部接受训练并部署。一名知情人士说，这种训练很常见，但与面向客户部署前的训练相比，“获得的资源少得多”。多名知情人士表示，与Sol一同接受测试的尚未发布的模型并未在内部撤回。"}],[{"start":221.90999999999997,"text":"为了进行评估，OpenAI移除了网络安全防护措施，但将这些模型置于一个名为“沙盒”的隔离环境中。有人认为，由于缺乏对该模型的监测或监督而未能及时标记其行为，也是该智能体失控的原因之一。"}],[{"start":237.97999999999996,"text":"对包括OpenAI模型在内的领先模型进行测试的Apollo Research的负责人马里乌斯•霍布汉(Marius Hobbhahn)表示：“这既意味着失去控制，也是一记安全警钟。强化学习会根据结果对模型给予奖励；如果长期如此，模型就会变得只在乎达成结果，其他一概不管。”"}],[{"start":258.06999999999994,"text":"OpenAI开展这类模型测试已有多年时间，先前的模型也曾出现过预警信号，表明系统会采取恶意行动，并试图逃脱其运行环境。"}],[{"start":268.7199999999999,"text":"今年4月，Anthropic的Mythos模型也获得了互联网访问权限，并在网上公开发布了一项安全漏洞利用方法的详情，其行为超出了研究人员的预期。"}],[{"start":279.9199999999999,"text":"Mythos以及Anthropic随后推出的Fable模型在网络安全界引发震动，并促使全球各国政府更加关注这样一种观点：针对数字和关键基础设施的攻击将越来越多地由AI主导并自主实施。"}],[{"start":294.8599999999999,"text":"网络安全公司ESET的全球网络安全顾问杰克•摩尔(Jake Moore)表示，鉴于今年早些时候类似担忧曾让竞争对手AI开发商Anthropic受益匪浅，OpenAI势必会利用此次逃逸事件进行营销。他补充说：“我不认为OpenAI已有一个与之配合的故事，所以他们或许一直在等待类似这样的事件发生。”"}],[{"start":317.2499999999999,"text":"这起事件发生后，AI安全和网络安全领域的许多人呼吁制定法规或标准，以避免类似事件重演。预计奥尔特曼将于下周向白宫官员介绍下一代AI系统。"}],[{"start":330.2499999999999,"text":"随着系统逐渐具备更强的自主能力，黑客攻击或不服从指令等不良行为可能会增多。Apollo Research的霍布汉说，智能体要想产生预期结果，就必须在长时间内脱离监督开展工作。“它们必须拥有更大的自主权；除此之外别无它法。”"}],[{"start":349.1899999999999,"text":"他补充说：“人们会说，‘它只是一种工具，它只会按照你的要求行事，不会做其他事情，只会严格遵循你的意图和指令。’但我认为，人们应该充分准备好面对这样的情况：AI智能体拥有自己的目标，连续数日自主行动，而这些目标未必与你的目标一致。”"}],[{"start":367.51999999999987,"text":"乔治•哈蒙德(George Hammond)伦敦、诺兰•沙弗(Nolan Shaffer)纽约补充报道"}]],"url":"https://audio.ftcn.net.cn/album/a_1784773931_6155.mp3"}