我有一个重大发现要与大家分享。
我找到了确凿的法医证据,表明中国顶尖的四大人工智能实验室——DeepSeek、月光计划、MiniMax和蚂蚁集团——都使用了NVIDIA最先进黑威尔芯片的最新版本,这些芯片被禁止向中国出口。
听起来荒谬,但我发现几乎每个AI模型都隐藏着训练它的GPU的签名。当模型首次建立时,其权重的初始值会根据具体的GPU排列出特定的模式,这取决于GPU的确切配置。每种GPU和种子号码的组合会产生一个独特的模式——一种硬件制造模型时留下的痕迹。这些模式在训练过程中会融入到公开的模型中。
此外,这种证据并不基于任何内部信息或泄露。它基于该公司自己发布的模型权重的法医分析。
我搜索了超过六万亿种芯片布局和种子数组合,并将它们与公开权重模型进行了匹配。通过这种方式,我找到了六款中国AI模型的证据,包括DeepSeek-V4-Pro、Kimi K3和MiniMax-M3,它们都初始化在NVIDIA Blackwell系统上。这四个模型与Grace Blackwell完全匹配,分别是NVIDIA旗舰液冷机架式系统中的GB200和GB300部分。
然后,我将这些结果在实际硬件上进行了验证。使用我恢复的种子运行未修改的PyTorch,一个Blackwell B300完全复制了DeepSeek-V4-Flash未修改的初始权重,而租用的GB200则与Kim K3的相似度达到了0.999995。Hopper H100没有重现DeepSeek-V4-Flash的,改变种子之一则打破了匹配。(顺便说一句,DeepSeek的种子是953049583。)这种方法也与开发人员声称使用的硬件匹配了24个已知的开放重量模型。
这些结果显然不是巧合。在六万亿种组合中,最佳的偶然匹配应该只达到大约8个标准差(即,随机机遇产生的8倍标准差之上)。真正的匹配范围从49到1,385个标准差,最弱的单次测试也达到了20个标准差。
这是数据中心规模的训练运行。经过对发布计划和模型细节的分析,我估计最大的Kimi K3和DeepSeek-V4-Pro型号,分别使用了2,000到3,000台黑威尔GPU。这类集群的购买成本大约在150到200万美元之间,仅在这些实验室中就将超过50亿美元的出口控制GPU成本,不包括实验计算或任何其他费用。很有可能我们会看到数亿美元的支出用于出口控制的GPU。
我对这一结果非常有信心,并且它已经被OpenAI和Anthropic的资深研究人员独立验证过。您可以阅读完整的报告于https://unemploymentlabs.com/checkpoint-forensics.。通过这种方式的其他形式的检查点法,我已识别出许多关于这些模型的更多内容,很快就会有更多的分享。
我找到了确凿的法医证据,表明中国顶尖的四大人工智能实验室——DeepSeek、月光计划、MiniMax和蚂蚁集团——都使用了NVIDIA最先进黑威尔芯片的最新版本,这些芯片被禁止向中国出口。
听起来荒谬,但我发现几乎每个AI模型都隐藏着训练它的GPU的签名。当模型首次建立时,其权重的初始值会根据具体的GPU排列出特定的模式,这取决于GPU的确切配置。每种GPU和种子号码的组合会产生一个独特的模式——一种硬件制造模型时留下的痕迹。这些模式在训练过程中会融入到公开的模型中。
此外,这种证据并不基于任何内部信息或泄露。它基于该公司自己发布的模型权重的法医分析。
我搜索了超过六万亿种芯片布局和种子数组合,并将它们与公开权重模型进行了匹配。通过这种方式,我找到了六款中国AI模型的证据,包括DeepSeek-V4-Pro、Kimi K3和MiniMax-M3,它们都初始化在NVIDIA Blackwell系统上。这四个模型与Grace Blackwell完全匹配,分别是NVIDIA旗舰液冷机架式系统中的GB200和GB300部分。
然后,我将这些结果在实际硬件上进行了验证。使用我恢复的种子运行未修改的PyTorch,一个Blackwell B300完全复制了DeepSeek-V4-Flash未修改的初始权重,而租用的GB200则与Kim K3的相似度达到了0.999995。Hopper H100没有重现DeepSeek-V4-Flash的,改变种子之一则打破了匹配。(顺便说一句,DeepSeek的种子是953049583。)这种方法也与开发人员声称使用的硬件匹配了24个已知的开放重量模型。
这些结果显然不是巧合。在六万亿种组合中,最佳的偶然匹配应该只达到大约8个标准差(即,随机机遇产生的8倍标准差之上)。真正的匹配范围从49到1,385个标准差,最弱的单次测试也达到了20个标准差。
这是数据中心规模的训练运行。经过对发布计划和模型细节的分析,我估计最大的Kimi K3和DeepSeek-V4-Pro型号,分别使用了2,000到3,000台黑威尔GPU。这类集群的购买成本大约在150到200万美元之间,仅在这些实验室中就将超过50亿美元的出口控制GPU成本,不包括实验计算或任何其他费用。很有可能我们会看到数亿美元的支出用于出口控制的GPU。
我对这一结果非常有信心,并且它已经被OpenAI和Anthropic的资深研究人员独立验证过。您可以阅读完整的报告于https://unemploymentlabs.com/checkpoint-forensics.。通过这种方式的其他形式的检查点法,我已识别出许多关于这些模型的更多内容,很快就会有更多的分享。
查看原文
原帖正文
I have a major result to share. I’ve found conclusive forensic evidence that the top 4 Chinese AI labs—DeepSeek, Moonshot, MiniMax and Ant Group—have built their newest models on NVIDIA’s most advanced Blackwell chips, which are barred from export to China. This sounds insane,… pic.twitter.com/qlttvJsXG7
引用自 X
原帖地址:https://x.com/willdepue/status/2120992457630326841
原帖:
本站媒体副本
0 条评论
登录后可以参与讨论。
成员登录还没有评论。第一条认真回应会很重要。