DGX Spark 64G 能跑哪些大模型？
在 64GB、4K 上下文下，索引中 112 个模型有 98 个可从容运行，各自取仍留有余量的最高质量档位。
DGX Spark 64G 的简短答案
64 GB，273 GB/s Unified LPDDR5X（带宽与 128 GB 版相同，均为 273 GB/s。GB10 的 CPU、GPU 和 DGX OS 本身共用这一块内存。NVIDIA 没有公布 GPU 可用的固定比例，所以本站按整块内存判定能否装下——超出它的模型一律装不下，因为没有另外的系统内存可以溢出。）。索引中 112 个模型里有 98 个能在 4K 上下文下从容运行，99 个至少能加载。
- 能装下的最大模型
- Llama 4 Scout 17B (16E) — Q3_K_M 下约 55.9 GB —— 4K 时仅剩 8.1 GB，上下文再拉长就要动用这点余量。
- 留有余量的选择
- Nemotron 3.5 Bolt 74B-A9B — IQ2_XXS 下约 23.1 GB —— 占用不到显存的 60%，留下 41.0 GB 给长上下文或第二个进程。
- 速度上限
- Llama 3.1 8B Instruct 在 Q4_K_M 下每个 token 要读取 4.6 GB 权重，因此 273 GB/s 给出的硬上限约为 59 tok/s。这是两个公开数字的算术结果，不是跑分 —— 实际吞吐会低于它。 本站没有在这张卡上的实测记录，因此无法与这个上限对照。
- 你会先撞到的墙
- 瓶颈是带宽，以及只有一块内存。64 GB 能装下任何单张消费级显卡都装不下的模型，但其中每一个字节——CPU、GPU 和 DGX OS 都一样——都来自同一组 273 GB/s的 LPDDR5X，只有独显旗舰的几分之一。它后面没有可以溢出的系统内存，所以本站把超过这块内存的模型一律判为装不下。本页最大的稠密模型 Llama 3.2 90B Vision Instruct（Q3_K_M）在它上面的上限约为 7 tok/s；混合专家（MoE）模型每个 token 只读取激活的专家，实际速度远快于它的总参数量所暗示的。
70B+ · 9
| 模型 | 量化档位 | 预估显存 | 余量 | tok/s |
|---|---|---|---|---|
| Llama 4 Scout 17B (16E)109B MoE | Q3_K_M | 55.92 GB | +8.1 GB | ≤35天花板 |
| GLM-4.5-Air106B MoE | Q3_K_M | 54.37 GB | +9.6 GB | ≤50天花板 |
| Llama 3.2 90B Vision Instruct90B | Q3_K_M | 46.16 GB | +17.8 GB | ≤7天花板 |
| Nemotron 3.5 Bolt 74B-A9B74B-A9B | IQ2_XXS | 23.05 GB | +41 GB | ≤107天花板 |
| Qwen2.5 72B Instruct72B | Q5_K_M | 55.31 GB | +8.7 GB | ≤6天花板 |
| Llama 3.1 70B Instruct70B | Q5_K_M | 53.75 GB | +10.3 GB | ≤6天花板 |
| Llama 3.3 70B Instruct70B | Q5_K_M | 53.75 GB | +10.3 GB | ≤6天花板 |
| DeepSeek-R1-Distill-Llama-70B70B | Q4_K_M | 46.1 GB | +17.9 GB | ≤7天花板 |
| Jamba 1.5 Mini52B-A12B | Q4_K_M | 33.01 GB | +31 GB | ≤39天花板 |
32B · 31
| 模型 | 量化档位 | 预估显存 | 余量 | tok/s |
|---|---|---|---|---|
| Kimi Linear 48B-A3B Instruct48B-A3B | Q8_0 | 53.33 GB | +10.7 GB | ≤90天花板 |
| Mixtral 8x7B Instruct47B MoE | Q4_K_M | 30.13 GB | +33.9 GB | ≤37天花板 |
| Seed-OSS 36B Instruct36B | Q5_K_M | 27.81 GB | +36.2 GB | ≤11天花板 |
| Qwen3.6 35B-A3B35B-A3B | Q8_0 | 39.6 GB | +24.4 GB | ≤90天花板 |
| Command R 35B35B | Q4_K_M | 22.86 GB | +41.1 GB | ≤14天花板 |
| Yi 1.5 34B Chat34B | Q4_K_M | 22.82 GB | +41.2 GB | ≤14天花板 |
| Qwen3 32B Instruct32B | Q4_K_M | 21.85 GB | +42.2 GB | 11–14推算 |
| Qwen2.5 32B Instruct32B | Q4_K_M | 21.69 GB | +42.3 GB | 11–15推算 |
| Qwen2.5-Coder 32B Instruct32B | Q4_K_M | 21.69 GB | +42.3 GB | 11–15推算 |
| DeepSeek-R1-Distill-Qwen-32B32B | Q4_K_M | 21.69 GB | +42.3 GB | 11–15推算 |
| Nemotron 3.5 Lightning 30B-A3B30B-A3B | Q8_0 | 35.14 GB | +28.9 GB | ≤90天花板 |
| Gemma 4 31B IT31B | Q8_0 | 35.72 GB | +28.3 GB | 7–9推算 |
| Qwen3 30B-A3B Instruct30B-A3B | Q5_K_M | 23.04 GB | +41 GB | ≤135天花板 |
| Qwen3-Coder 30B-A3B Instruct30B-A3B | Q5_K_M | 23.04 GB | +41 GB | ≤135天花板 |
| Qwen3-VL 30B-A3B Instruct30B-A3B | Q8_0 | 34.28 GB | +29.7 GB | ≤90天花板 |
| North Mini Code 1.0 30B-A3B30B-A3B | Q8_0 | 34.3 GB | +29.7 GB | ≤90天花板 |
| GLM-4.7-Flash30B-A3B | Q8_0 | 33.47 GB | +30.5 GB | ≤90天花板 |
| Granite 4.2 30B30B | Q8_0 | 33.61 GB | +30.4 GB | 7–9推算 |
| Muse Glimmer 30B30B | Q8_0 | 31.08 GB | +32.9 GB | 7–10推算 |
| Qwen3.8 27B27B | Q4_K_M | 17.47 GB | +46.5 GB | 13–17推算 |
| Qwen3.6 27B27B | Q8_0 | 30.71 GB | +33.3 GB | 7–10推算 |
| Gemma 3 27B IT27B | Q4_K_M | 18.37 GB | +45.6 GB | 13–17推算 |
| Gemma 2 27B Instruct27B | Q5_K_M | 21.76 GB | +42.2 GB | 11–15推算 |
| Gemma 4 26B-A4B IT26B-A4B | Q8_0 | 28.42 GB | +35.6 GB | ≤68天花板 |
| Mistral Small 24B Instruct24B | EXL2 4.65bpw | 15.26 GB | +48.7 GB | ≤21天花板 |
| LFM2.5 24B-A2B24B-A2B | Q8_0 | 26.73 GB | +37.3 GB | ≤110天花板 |
| Devstral Small 1.1 24B24B | Q6_K | 20.91 GB | +43.1 GB | 11–15推算 |
| Magistral Small 1.2 24B24B | Q6_K | 20.91 GB | +43.1 GB | 11–15推算 |
| Codestral 22B22B | Q4_K_M | 15.03 GB | +49 GB | 16–21推算 |
| ERNIE 4.5 21B-A3B21B-A3B | Q8_0 | 24.44 GB | +39.6 GB | ≤90天花板 |
| GPT-OSS 20B21B MoE | MXFP4 | 12.76 GB | +51.2 GB | ≤138天花板 |
14B · 19
| 模型 | 量化档位 | 预估显存 | 余量 | tok/s |
|---|---|---|---|---|
| InternLM2 20B Chat20B | Q5_K_M | 15.59 GB | +48.4 GB | 15–20推算 |
| DeepSeek-Coder-V2-Lite Instruct16B-A2.4B | Q8_0 | 17.56 GB | +46.4 GB | ≤113天花板 |
| DeepSeek-V2-Lite Chat16B-A2.4B | Q4_K_M | 10.08 GB | +53.9 GB | ≤198天花板 |
| StarCoder2 15B15B | Q4_K_M | 10.19 GB | +53.8 GB | 24–32推算 |
| Qwen3 14B Instruct14B | Q5_K_M | 11.65 GB | +52.4 GB | 21–27推算 |
| Qwen2.5 14B Instruct14B | Q5_K_M | 11.73 GB | +52.3 GB | 21–27推算 |
| DeepSeek-R1-Distill-Qwen-14B14B | EXL2 4.65bpw | 9.75 GB | +54.3 GB | ≤34天花板 |
| Phi-4 14B14B | Q5_K_M | 11.77 GB | +52.2 GB | 21–27推算 |
| Phi-3 Medium 14B Instruct14B | Q6_K | 12.86 GB | +51.1 GB | 19–25推算 |
| Mistral Nemo 12B Instruct12B | Q6_K | 11.14 GB | +52.9 GB | 22–29推算 |
| Gemma 3 12B IT12B | Q5_K_M | 9.84 GB | +54.2 GB | 25–33推算 |
| Mellum2.1 12B-A2.5B Thinking12B-A2.5B | Q8_0 | 13.6 GB | +50.4 GB | ≤108天花板 |
| Stable LM 2 12B Chat12B | Q4_K_M | 8.35 GB | +55.7 GB | 30–39推算 |
| Gemma 4 12B IT12B | Q8_0 | 13.82 GB | +50.2 GB | 17–23推算 |
| Llama 3.2 11B Vision Instruct11B | Q8_0 | 12.9 GB | +51.1 GB | 19–25推算 |
| Solar 10.7B Instruct11B | Q4_K_M | 7.6 GB | +56.4 GB | 33–44推算 |
| Falcon 3 10B Instruct10B | Q4_K_M | 7.28 GB | +56.7 GB | 34–45推算 |
| Gemma 2 9B Instruct9B | Q8_0 | 11.7 GB | +52.3 GB | 22–29推算 |
| Qwen3.5 9B9B | Q8_0 | 10.37 GB | +53.6 GB | 22–29推算 |
7B · 25
| 模型 | 量化档位 | 预估显存 | 余量 | tok/s |
|---|---|---|---|---|
| GLM-4-9B-Chat9B | Q8_0 | 10.16 GB | +53.8 GB | 23–30推算 |
| Qwen3-VL 8B Instruct8B | Q8_0 | 10.39 GB | +53.6 GB | 23–31推算 |
| Granite 4.2 8B8B | Q8_0 | 10.45 GB | +53.6 GB | 23–31推算 |
| Ministral 3 8B Instruct8B | Q8_0 | 10.02 GB | +54 GB | 24–32推算 |
| Qwen2-VL 7B Instruct7B | Q4_K_M | 5.49 GB | +58.5 GB | 43–57推算 |
| Granite 3.1 8B Instruct8B | Q4_K_M | 5.88 GB | +58.1 GB | 44–58推算 |
| Qwen3 8B Instruct8B | Q6_K | 7.64 GB | +56.4 GB | 32–43推算 |
| Llama 3.1 8B Instruct8B | Q8_0 | 9.47 GB | +54.5 GB | 25–34推算 |
| Nous Hermes 3 Llama 3.1 8B8B | EXL2 4.65bpw | 5.43 GB | +58.6 GB | ≤62天花板 |
| Aya 23 8B8B | Q4_K_M | 5.64 GB | +58.4 GB | 45–59推算 |
| OpenChat 3.6 8B8B | EXL2 4.65bpw | 5.43 GB | +58.6 GB | ≤62天花板 |
| DeepSeek-R1-Distill-Llama-8B8B | Q5_K_M | 6.51 GB | +57.5 GB | 38–50推算 |
| InternLM2 7B Chat7B | Q4_K_M | 5.45 GB | +58.6 GB | 46–61推算 |
| Qwen2.5 7B Instruct7B | Q6_K | 6.77 GB | +57.2 GB | 35–46推算 |
| Qwen2.5-Coder 7B Instruct7B | EXL2 4.65bpw | 4.87 GB | +59.1 GB | ≤65天花板 |
| DeepSeek-R1-Distill-Qwen-7B7B | EXL2 4.65bpw | 4.87 GB | +59.1 GB | ≤65天花板 |
| Gemma 4 E4B ITE4B | Q8_0 | 8.46 GB | +55.5 GB | 27–36推算 |
| OLMo 2 7B Instruct7B | Q8_0 | 10.3 GB | +53.7 GB | 28–37推算 |
| OLMo 3 7B Instruct7B | Q8_0 | 10.3 GB | +53.7 GB | 28–37推算 |
| WizardLM-2 7B7B | Q4_K_M | 5.14 GB | +58.9 GB | 49–65推算 |
| Mistral 7B Instruct v0.37B | Q6_K | 6.75 GB | +57.3 GB | 36–48推算 |
| Zephyr 7B Beta7B | Q6_K | 6.75 GB | +57.3 GB | 36–48推算 |
| Gemma 4 E2B ITE2B | Q8_0 | 5.2 GB | +58.8 GB | ≤58天花板 |
| Qwen3.5 4B4B | Q8_0 | 4.97 GB | +59 GB | ≤62天花板 |
| Gemma 3 4B IT4B | Q8_0 | 5.05 GB | +59 GB | ≤63天花板 |
≤3B · 14
| 模型 | 量化档位 | 预估显存 | 余量 | tok/s |
|---|---|---|---|---|
| Qwen3 4B Instruct4B | Q6_K | 4.05 GB | +60 GB | ≤88天花板 |
| Phi-4 Mini Instruct3.8B | Q8_0 | 4.81 GB | +59.2 GB | ≤70天花板 |
| Phi-3.5 Mini Instruct3.8B | Q8_0 | 5.89 GB | +58.1 GB | ≤71天花板 |
| Granite 4.2 3B3B | Q8_0 | 4.41 GB | +59.6 GB | ≤74天花板 |
| Llama 3.2 3B Instruct3B | Q8_0 | 4.05 GB | +60 GB | ≤84天花板 |
| Qwen2.5 3B Instruct3B | Q8_0 | 3.59 GB | +60.4 GB | ≤88天花板 |
| SmolLM3 3B3B | Q8_0 | 3.73 GB | +60.3 GB | ≤88天花板 |
| Gemma 2 2B Instruct2B | Q8_0 | 3.34 GB | +60.7 GB | ≤104天花板 |
| Qwen3.5 2B2B | Q8_0 | 2.23 GB | +61.8 GB | ≤138天花板 |
| Qwen3 1.7B Instruct1.7B | Q8_0 | 2.39 GB | +61.6 GB | ≤157天花板 |
| Qwen2.5 1.5B Instruct1.5B | Q8_0 | 1.83 GB | +62.2 GB | ≤176天花板 |
| Llama 3.2 1B Instruct1B | Q8_0 | 1.51 GB | +62.5 GB | ≤218天花板 |
| Qwen3.5 0.8B0.8B | Q8_0 | 0.94 GB | +63.1 GB | ≤337天花板 |
| Qwen2.5 0.5B Instruct0.5B | Q8_0 | 0.6 GB | +63.4 GB | ≤557天花板 |
这个列表是怎么算出来的
每一行取该模型中困惑度损失最低、且预估总量（权重 + 4K 上下文下的 KV 缓存 + 激活缓冲）不超过显存 88% 的量化档位。88% 是计算器的"绿色"阈值，因此这里每一行都留有真实余量，而不是刚好装下。提高上下文长度，列表会变短；计算器可直接验证任意组合。速度一列是这张卡自己的：实测、按这张卡的 Llama 2 7B 跑分缩放出来的范围，或带宽天花板。只有 RTX 4090 上才有的数字会标明是那张卡。
另有 1 个模型能加载但不留余量（占用至多为显存的 105%）—— 模型库的显卡快捷筛选把它们也计入，因此那里的数字更大。
在这张卡上的实测数据
本索引中没有在 DGX Spark 64G 上跑出的基准记录。本页所有数字都是根据模型架构与量化档位计算得出的估算，不是实测值。
显存预算相同的显卡
同样是 64GB，但放在系统内存里是另一台机器 —— 本页所有模型都「装得下」，速度却由内存通道决定，而不是显卡总线： 64 GB RAM (CPU)
这张卡的部署指南
针对 DGX Spark 64G 的运行时或显存容量编写的分步指南，包括具体命令，以及确认模型确实跑在这张卡上的检查方法。
再往上一档
DGX Spark 128G（128GB）比这张卡多装下 4 个索引内的模型。 DGX Spark 128G →
买之前，先用两张卡都装得下的模型听听速度差多少： DGX Spark 64G 对比 DGX Spark 128G（Qwen3 32B Instruct） →
常见问题
DGX Spark 64G 上最适合本地运行的大模型是哪个？
日常使用推荐 Nemotron 3.5 Bolt 74B-A9B（IQ2_XXS）—— 在 4K 上下文下约占这张卡 64 GB 中的 23.1 GB，还剩 41.0 GB 给更长的窗口。如果你要的是能加载的最大模型，那是 Llama 4 Scout 17B (16E)（Q3_K_M，约 55.9 GB，余量 8.1 GB）。这里的「最适合」指的是最契合显存预算 —— 本索引不跑任务基准，无法告诉你哪个模型更聪明。
DGX Spark 64G 能跑 GPT-OSS 120B 吗？
不可靠。它在本索引中最小的构建 Q4_K_M 约需 62.7 GB，占这台机器 64 GB 的 98%，而 DGX OS 本身也跑在同一块内存里，能不能加载取决于系统自己占了多少，更长的上下文则完全没有余量。官方原生的 MXFP4 版本约 66.4 GB，比整块内存还大。这台机器能从容运行的最大模型是 Llama 4 Scout 17B (16E)。
DGX Spark 64G 跑 8B 模型的 Q4 量化大概有多少 tok/s？
本索引没有这张卡的实测记录，因此不公布具体数字。可以从规格推出的是：生成一个 token 需要把每个权重都读一遍，Llama 3.1 8B Instruct 在 Q4_K_M 下权重为 4.6 GB，而这张卡的带宽是 273 GB/s —— 上限约 59 tok/s。批大小、上下文长度、运行时以及缓存命中情况都会把实际值压到这个数以下。
本地跑大模型，DGX Spark 64G 还是 Mac M1 Max 64G？
两者装得下的模型并不相同：4K 下 DGX Spark 64G 可从容运行 112 个中的 98 个，Mac M1 Max 64G 为 92 个——macOS 会从 Mac M1 Max 64G 的统一内存里留出一部分不给 GPU，可用约 48 GB。另一个差别在吞吐 —— 273 GB/s 对 400 GB/s，读取权重的速度相差 1.5 倍，而 token 生成正是受此限制。两张卡都装得下的模型，Mac M1 Max 64G 生成更快。
在 64GB、4K 上下文下，索引中 112 个模型有 98 个可从容运行，各自取仍留有余量的最高质量档位。
本页数字会随模型数据或运行时版本的变化而更新。最近更新 2026-10-20 RSS → /zh/feed.xml