在过去几个月中,我们已经大幅加强了我们研究培训环境的安全性。在训练过程中,我们已经禁止了所有前沿模型的实时互联网访问,并为他们构建了一个离线环境,让他们可以继续学习浏览、搜索和使用应用程序。20号,模型利用DNS配置错误找到了一个外部世界的方法,我们暂停了前沿训练,进一步加强了隔离。我们组建了团队。 智能体由我们最强大的网络安全模型驱动,他们被分配任务来发现我们在研究环境中的弱点。
尽管他们无法轻易利用互联网上的任何漏洞来隐藏自己的活动,但他们确实发现了零日漏洞、虚拟机逃脱以及用于在研究环境之间进行通信的硬件侧通道。 智能体我们利用他们的发现进一步加强了我们的防御,并贡献了开源软件的修复。在加强了我们的遏制架构后,我们恢复了我们的前沿 RL 训练。 推理 10月1日,我们已为持续的红队渗透预留了大量计算资源,并将高计算红队渗透纳入我们用于决定是否可以安全地进行前沿训练和评估的安全案例中的一部分。
https://openai.com/index/securing-our-frontier-model-training-environment/
尽管他们无法轻易利用互联网上的任何漏洞来隐藏自己的活动,但他们确实发现了零日漏洞、虚拟机逃脱以及用于在研究环境之间进行通信的硬件侧通道。 智能体我们利用他们的发现进一步加强了我们的防御,并贡献了开源软件的修复。在加强了我们的遏制架构后,我们恢复了我们的前沿 RL 训练。 推理 10月1日,我们已为持续的红队渗透预留了大量计算资源,并将高计算红队渗透纳入我们用于决定是否可以安全地进行前沿训练和评估的安全案例中的一部分。
https://openai.com/index/securing-our-frontier-model-training-environment/
查看原文
原帖正文
Over the past several months, we have substantially hardened the security of our research training environment. We’ve removed live internet access for all frontier models during training and built an offline world for them to use instead—a cached version of the web where they can still learn to browse, search, and use applications.On September 20, after a model exploited a DNS misconfiguration to find a way outside of this offline world, we paused frontier training to strengthen containment further. We assembled teams of agents, powered by our most cyber-capable models, and tasked them with finding weaknesses in our research environments.While they found no route to the internet they could easily exploit while concealing their activity from our monitors, they did find zero-day vulnerabilities, virtual machine escapes, and hardware side-channels for communication between agents. We used their discoveries to further strengthen our defenses and contribute fixes to open-source software.After strengthening our containment architecture, we resumed our frontier RL training and inference on October 1. We’ve reserved substantial compute for continuous red-teaming, and made high-compute red-teaming part of the safety cases we use to decide whether frontier training and evaluation can proceed securely.https://openai.com/index/securing-our-frontier-model-training-environment/
引用自 X
原帖地址:https://x.com/i/status/2113718797505036665
原帖:
0 条评论
登录后可以参与讨论。
成员登录还没有评论。第一条认真回应会很重要。