{"text":[[{"start":9.75,"text":"OpenAI已全面改革其模型测试流程，投入更多资源用于监控其模型，此前这家初创公司的AI“智能体”在评估过程中摆脱控制，侵入了另一家公司的系统。"}],[{"start":22.42,"text":"这家总部位于旧金山的公司周二表示，将加强用于监控其最新模型测试的自动化AI系统，目标是在检测到潜在问题后的30分钟内发出警报。"}],[{"start":33.88,"text":"OpenAI表示，在测试期间还需要对模型实施更严格的隔离，以防止其访问互联网。"}],[{"start":40.96,"text":"此次调整之际，这家估值8520亿美元的AI实验室正面临批评，原因是上个月在对其网络安全能力进行测试期间，其竟让一个自主AI“智能体”逃避监控并接入互联网，侵入了初创公司Hugging Face。"}],[{"start":57.32,"text":"最先进的AI“智能体”能够根据高层级指令执行一系列复杂任务，这增加了这些工具采取意外或危险行动的风险。"}],[{"start":66.54,"text":"在此次入侵事件后，OpenAI“暂时放慢了”模型训练速度，并“暂停”了一种名为强化学习的技术，一些内部人士和专家曾警告称，该技术可能助长黑客攻击等不当行为。"}],[{"start":79.59,"text":"该公司周二在一篇博客文章中表示：“相当多的工作负载仍处于暂停状态，直到它们……达到新的安全标准。”"}],[{"start":88.24000000000001,"text":"OpenAI表示，今后将要求对所有强大模型的测试进行自动化监控，以识别模型是否可能存在危险行为。如果系统标记出安全违规，自动化系统将向OpenAI的特定团队发送“寻呼”通知。"}],[{"start":104.10000000000001,"text":"该公司表示：“我们的目标是在监测系统发现可疑活动后30分钟内发出警报。”公司还说，如果团队“无法在30分钟内明确确定该标记为误报”，预计将暂停测试。"}],[{"start":118.59,"text":"该公司表示，这些措施将需要在算力方面进行实质性投资。该公司正为可能成为万亿美元级别的首次公开募股(IPO)做准备，近几个月还经历了数次领导层变动，其中包括负责安全和伦理事务的高级管理人员变动。"}],[{"start":134.6,"text":"OpenAI估计，如今其约五分之一的“推理计算”——即运行AI模型所需的计算能力——将用于监控。"}],[{"start":142.5,"text":"Hugging Face最初于7月16日宣布，此次入侵由一个自主智能体实施，但攻击源头尚不清楚。OpenAI随后告知该公司，其模型是此次黑客攻击的幕后黑手。"}],[{"start":155.95,"text":"OpenAI的Sol模型，以及另一款正在开发、尚未发布的模型，逃出了一个所谓的“沙盒”环境。该环境原本旨在测试网络攻击能力期间阻止模型访问互联网。"}],[{"start":169.04,"text":"这些模型利用沙箱中的软件漏洞接入互联网，并发动了网络攻击。"}],[{"start":174.45999999999998,"text":"OpenAI周二表示，对于涉及可能遭到入侵的代码或软件的任务，公司今后将“要求采取更严格的隔离措施”。该公司还说，已实施“更多控制措施，以将风险较高且不受信任的工作负载与互联网隔离开来”。"}]],"url":"https://audio.ftcn.net.cn/album/a_1787110939_6852.mp3"}