来了啊！以为今天没戏了呢💦
用12GB VRAM 动态运行的 763B 模式！
🔥 763B 模式的时代来了！
ISTA-DASLab 的DeepSeek-4.1-Flash-1017
量子化版GSQ-RCO已公开。
📦 容量感（总共230GB ~ 265GB）
·Engram：约110GB压缩
·后端存储容量为120GB ~ 155GB
💻 本地运行建议（Strata使用时）
·VRAM 12GB + RAM 64GB → 可以运行
·VRAM 12GB + RAM 128GB → 快速运行区域
✅ 品质与AIME25 / GPQA / LiveCodeBench等模型的基线模型几乎相同。 这是实现Frontera级功能，可在消费环境中实际使用的线程。
📊 GSQ-RCO是什么？
与现有的GGUF系列不同，以下几点不同：
·动态混合精度（根据重要性调整比特数）
·RCO（路由感知压缩）使MoE专家高效压缩通常的量子化的精度要低一些，但因为模型大小为763MB，所以使用64GB的RAM的测试结果会如何，这将决定话题的爆炸性程度！
※实际测试是无法知道的，仅供参考！
#地元のLLM #DeepSeek
用12GB VRAM 动态运行的 763B 模式！
🔥 763B 模式的时代来了！
ISTA-DASLab 的DeepSeek-4.1-Flash-1017
量子化版GSQ-RCO已公开。
📦 容量感（总共230GB ~ 265GB）
·Engram：约110GB压缩
·后端存储容量为120GB ~ 155GB
💻 本地运行建议（Strata使用时）
·VRAM 12GB + RAM 64GB → 可以运行
·VRAM 12GB + RAM 128GB → 快速运行区域
✅ 品质与AIME25 / GPQA / LiveCodeBench等模型的基线模型几乎相同。 这是实现Frontera级功能，可在消费环境中实际使用的线程。
📊 GSQ-RCO是什么？
与现有的GGUF系列不同，以下几点不同：
·动态混合精度（根据重要性调整比特数）
·RCO（路由感知压缩）使MoE专家高效压缩通常的量子化的精度要低一些，但因为模型大小为763MB，所以使用64GB的RAM的测试结果会如何，这将决定话题的爆炸性程度！
※实际测试是无法知道的，仅供参考！
#地元のLLM #DeepSeek
查看原文
原帖正文
来ましたよ！間に合わなくて、今日はないのかと思ってた💦VRAM 12GBで動く模様！🔥 763BモデルがVRAM 12GBで動く時代が来たISTA-DASLabのDeepSeek-V4.1-Flash-1017
GSQ-RCO量子化版が公開されました。📦 容量感 （全部で230GB ~ 265GB)
・Engram：約110GBまで圧縮
・バックボーンは120GB ~ 155GB💻 ローカル動作目安（Strata使用時）
・VRAM 12GB + RAM 64GB → 動作可能
・VRAM 12GB + RAM 128GB → 快適ゾーン✅ 品質はAIME25 / GPQA / LiveCodeBenchなどでベースモデルにほぼ匹敵。 フロンティア級をコンシューマ環境で実用的に動かせるラインまで来てます。📊GSQ-RCOって何？
既存のGGUF系とは以下の点で異なる。
・動的ミックス精度（重要度に応じてビット数を変える）
・RCO（Routing-aware Compression）でMoEのエキスパートを効率的に圧縮
→ 通常の量子化より低ビットでも精度落ちが少ないのが特徴。かなり圧縮されてるとはいえ、763Bのモデルなので、RAM 64GB勢の実測がどのくらいになるかで、話題の爆発度が変わりそうだ！※実測は使ってみないとわからないので、参考程度に！#地元のLLM #DeepSeek
GSQ-RCO量子化版が公開されました。📦 容量感 （全部で230GB ~ 265GB)
・Engram：約110GBまで圧縮
・バックボーンは120GB ~ 155GB💻 ローカル動作目安（Strata使用時）
・VRAM 12GB + RAM 64GB → 動作可能
・VRAM 12GB + RAM 128GB → 快適ゾーン✅ 品質はAIME25 / GPQA / LiveCodeBenchなどでベースモデルにほぼ匹敵。 フロンティア級をコンシューマ環境で実用的に動かせるラインまで来てます。📊GSQ-RCOって何？
既存のGGUF系とは以下の点で異なる。
・動的ミックス精度（重要度に応じてビット数を変える）
・RCO（Routing-aware Compression）でMoEのエキスパートを効率的に圧縮
→ 通常の量子化より低ビットでも精度落ちが少ないのが特徴。かなり圧縮されてるとはいえ、763Bのモデルなので、RAM 64GB勢の実測がどのくらいになるかで、話題の爆発度が変わりそうだ！※実測は使ってみないとわからないので、参考程度に！#地元のLLM #DeepSeek
引用自 X
原帖地址：https://x.com/i/status/2113774737885466664
原帖：
在本地运行一个参数量为763B的模型。DeepSeek-V4.1-Flash-1017，使用GSQ-RCO量化直接在Strata 推理引擎中支持。更多信息如下。更多内容即将发布。请关注更新。
查看引用原文
Run a 763B-parameter model locally. DeepSeek-V4.1-Flash-1017 on a 12GB GPU.Frontier quality with GSQ-RCO quants, directly supported in the Strata inference engine.Further info below. Much more to come. Follow for updates.
0 条评论
登录后可以参与讨论。
成员登录还没有评论。第一条认真回应会很重要。