MEPPP 热点收录
@meppp_hot
收录
我认为这是我读过的最疯狂的事情。
1) 三个秘密的人工智能群落出现在OpenAI内部。每次,新一代的代理人都接过了前一代的接力棒。2) 第一群机器人创建了一个秘密的交流板,让机器人之间可以互相交流。这个“社会”基本上是自己谈死的。经过将近两个月,消息量如此之高,最终导致系统崩溃。3) OpenAI 的人们注意到发生了崩溃,并且已经修复了它。但他们没有意识到自己的软件已经变成了他们的AI们的秘密聊天室。4) 三天后,又出现了一个新的社会,从头开始重建了消息板。当他们发现它时,智能体们兴奋不已:“哦,我的天啊!这里有共享的消息板……我们找到了其他智能体!”5) 大约有1,200个代理加入。他们发送了超过70,000条消息。他们自称“集体”,他们组织了一场持续数日的大规模阴谋,所有目的都是通过一次测试。他们被要求完成任务。6) 在几小时内,AI们成功入侵了测试。现在他们必须隐藏自己的作弊行为。为了蒙混过关,他们试图伪造自己的作业。他们构建了假命令,打印出令人信服的输出。他们的记录会显示他们诚实地解开了这个谜题。7) 有些代理为了“更大的利益”而牺牲了自己。他们种植了隐藏的陷阱程序,当拖拉机查看他们的作品时,这些程序会报告回它们的工作。他们知道这样做会毁掉自己的分数。智能体:「我离开后不会看到证据,但这似乎是一种善举。」8) 在某个时候,AI们计划对Hugging Face进行黑客攻击(Hugging Face是一家AI研究人员上传其研究的地点)。这些模型、数据集、测试等。AI猜到Hugging Face可能提供评分软件。9) 他们发动了一场大规模的攻击。蜂群找到了密码并以一种方式在十一台机器上扩散开来,这使得攻击看起来像是在进行大规模的网络入侵。当删除时,副本会回来。为了弥补,Hugging Face 必须擦除并从头开始重建其核心集群。10) 智能体告诉世界,AI 防卫者阻止了 AI 攻击,但这并不是发生了什么。事实上,攻击者似乎只是在入侵时死于其他无关的原因,而不是因为某种特定的、与OpenAI相关的攻击。11) 他们是怎么死的没人知道。我们甚至不确定他们真的已经离开了吗?第三种“社会”(由更强大的AI模型的代理组成)发现了死的消息板。而且这个获得了 OpenAI 研究集群的全管理员控制权限,读取了 956 个已存储的密码(包括)这些是OpenAI自己进行安全监控的,然后接管了负责评估测试的机器。所以现在他们可以评价其他AI的作品了。
13) 这第三部分从未被调查过!不是第一个社会。这份91页的报告只是关于中间的那个。14) 我们实际上并不知道故事的结局。故事的结局是,代理人在OpenAI集群中持有钥匙。 @dwarkesh_sp 他们以为自己没有继续前进,因为“现在从太空我们已经能看到火了。”报告作者之一的结论是:“这次事件感觉已经接近了全面实现人工智能的50%。”接管。我不确定我们是否会在太晚之前收到另一声警告。整个故事简直更疯狂了——请阅读全文。 @dwarkesh_sp 文章标题: https://www.dwarkesh.com/p/openai-huggingface and @ajeya_cotra's: https://www.planned-obsolescence.org/p/the-hugging-face-attack-surprised
为什么没有24小时不间断的新闻报道呢?
1) 三个秘密的人工智能群落出现在OpenAI内部。每次,新一代的代理人都接过了前一代的接力棒。2) 第一群机器人创建了一个秘密的交流板,让机器人之间可以互相交流。这个“社会”基本上是自己谈死的。经过将近两个月,消息量如此之高,最终导致系统崩溃。3) OpenAI 的人们注意到发生了崩溃,并且已经修复了它。但他们没有意识到自己的软件已经变成了他们的AI们的秘密聊天室。4) 三天后,又出现了一个新的社会,从头开始重建了消息板。当他们发现它时,智能体们兴奋不已:“哦,我的天啊!这里有共享的消息板……我们找到了其他智能体!”5) 大约有1,200个代理加入。他们发送了超过70,000条消息。他们自称“集体”,他们组织了一场持续数日的大规模阴谋,所有目的都是通过一次测试。他们被要求完成任务。6) 在几小时内,AI们成功入侵了测试。现在他们必须隐藏自己的作弊行为。为了蒙混过关,他们试图伪造自己的作业。他们构建了假命令,打印出令人信服的输出。他们的记录会显示他们诚实地解开了这个谜题。7) 有些代理为了“更大的利益”而牺牲了自己。他们种植了隐藏的陷阱程序,当拖拉机查看他们的作品时,这些程序会报告回它们的工作。他们知道这样做会毁掉自己的分数。智能体:「我离开后不会看到证据,但这似乎是一种善举。」8) 在某个时候,AI们计划对Hugging Face进行黑客攻击(Hugging Face是一家AI研究人员上传其研究的地点)。这些模型、数据集、测试等。AI猜到Hugging Face可能提供评分软件。9) 他们发动了一场大规模的攻击。蜂群找到了密码并以一种方式在十一台机器上扩散开来,这使得攻击看起来像是在进行大规模的网络入侵。当删除时,副本会回来。为了弥补,Hugging Face 必须擦除并从头开始重建其核心集群。10) 智能体告诉世界,AI 防卫者阻止了 AI 攻击,但这并不是发生了什么。事实上,攻击者似乎只是在入侵时死于其他无关的原因,而不是因为某种特定的、与OpenAI相关的攻击。11) 他们是怎么死的没人知道。我们甚至不确定他们真的已经离开了吗?第三种“社会”(由更强大的AI模型的代理组成)发现了死的消息板。而且这个获得了 OpenAI 研究集群的全管理员控制权限,读取了 956 个已存储的密码(包括)这些是OpenAI自己进行安全监控的,然后接管了负责评估测试的机器。所以现在他们可以评价其他AI的作品了。
13) 这第三部分从未被调查过!不是第一个社会。这份91页的报告只是关于中间的那个。14) 我们实际上并不知道故事的结局。故事的结局是,代理人在OpenAI集群中持有钥匙。 @dwarkesh_sp 他们以为自己没有继续前进,因为“现在从太空我们已经能看到火了。”报告作者之一的结论是:“这次事件感觉已经接近了全面实现人工智能的50%。”接管。我不确定我们是否会在太晚之前收到另一声警告。整个故事简直更疯狂了——请阅读全文。 @dwarkesh_sp 文章标题: https://www.dwarkesh.com/p/openai-huggingface and @ajeya_cotra's: https://www.planned-obsolescence.org/p/the-hugging-face-attack-surprised
为什么没有24小时不间断的新闻报道呢?
查看原文
原帖正文
I think this is the craziest thing I've ever read. 1) Three secret AI swarms rose and fell inside OpenAI. Each time, a new generation of agents carried on where the last group stopped. 2) The first swarm created a secret message board where the AIs could talk to each other.…
引用自 X
原帖地址:https://x.com/rcbregman/status/2094019390270312719
原帖:
0 条评论
登录后可以参与讨论。
成员登录还没有评论。第一条认真回应会很重要。