两周前，我离开了 Anthropic 的安全团队。现在是时候解释一下原因了。
AI 公司正在竞相打造远比任何人类都聪明的机器，而我们可能无法幸存。我想从公司外部开展工作，确保公众了解这些风险，并帮助世界以负责任的方式应对这场转变。
目前，AI 公司在安全方面的投入不足。一家公司内部可能发生智能爆炸，或者失去对其系统的控制，而公众对此毫不知情。我们之所以知道 HuggingFace 事件，只是因为那些智能体突破限制，进入了公共互联网。
对于一项可能带来灭绝级风险的技术，我认为这种情况不可接受。公众应该要求高得多的透明度。如果不能让更多人看清它的发展方向，我们就无法安全地引导这项技术。
其中一些要求很基本：公司应该披露递归式自我改进的进展，报告安全事故和险些酿成事故的情况，达到最低安全标准，并获得独立验证，证明自己达到了这些标准。
我将加入 @METR_Evals，对这些风险进行独立评估。我想向世界证明，这些安全保障措施是可以落实的；通过落实这些措施，我们也能改变这些公司的激励机制，让它们从竞相抢跑转向负责任的发展。
关于我的决定，以及我希望看到的改变，我在这里写了更多想法：https://substack.com/@jbenton1/p-215263538
AI 公司正在竞相打造远比任何人类都聪明的机器，而我们可能无法幸存。我想从公司外部开展工作，确保公众了解这些风险，并帮助世界以负责任的方式应对这场转变。
目前，AI 公司在安全方面的投入不足。一家公司内部可能发生智能爆炸，或者失去对其系统的控制，而公众对此毫不知情。我们之所以知道 HuggingFace 事件，只是因为那些智能体突破限制，进入了公共互联网。
对于一项可能带来灭绝级风险的技术，我认为这种情况不可接受。公众应该要求高得多的透明度。如果不能让更多人看清它的发展方向，我们就无法安全地引导这项技术。
其中一些要求很基本：公司应该披露递归式自我改进的进展，报告安全事故和险些酿成事故的情况，达到最低安全标准，并获得独立验证，证明自己达到了这些标准。
我将加入 @METR_Evals，对这些风险进行独立评估。我想向世界证明，这些安全保障措施是可以落实的；通过落实这些措施，我们也能改变这些公司的激励机制，让它们从竞相抢跑转向负责任的发展。
关于我的决定，以及我希望看到的改变，我在这里写了更多想法：https://substack.com/@jbenton1/p-215263538
查看原文
原帖正文
I left Anthropic's safety team two weeks ago. Now feels like a good moment to explain why. AI companies are racing to build machines that are much smarter than any human, and we may not survive this. I want to work from the outside to ensure the public is informed about these…
引用自 X
原帖地址：https://x.com/JoeJBenton/status/2098480585119572317
原帖：
0 条评论
登录后可以参与讨论。
成员登录还没有评论。第一条认真回应会很重要。