DGX Spark 128G 能跑哪些大模型？

DGX Spark 128G 的简短答案

128 GB，273 GB/s Unified LPDDR5X（GB10 的 CPU、GPU 和 DGX OS 本身共用这一块内存。NVIDIA 没有公布 GPU 可用的固定比例，所以本站按整块内存判定能否装下——超出它的模型一律装不下，因为没有另外的系统内存可以溢出。）。索引中 112 个模型里有 102 个能在 4K 上下文下从容运行，103 个至少能加载。

能装下的最大模型

DBRX Instruct — Q4_K_M 下约 84.3 GB —— 4K 时仅剩 43.7 GB，上下文再拉长就要动用这点余量。

留有余量的选择

Nemotron 3.5 Super VL 120B-A12B — Q4_0 下约 75.1 GB —— 占用不到显存的 60%，留下 52.9 GB 给长上下文或第二个进程。

速度上限

Llama 3.1 8B Instruct 在 Q4_K_M 下每个 token 要读取 4.6 GB 权重，因此 273 GB/s 给出的硬上限约为 59 tok/s。这是两个公开数字的算术结果，不是跑分 —— 实际吞吐会低于它。 本站没有在这张卡上的实测记录，因此无法与这个上限对照。

你会先撞到的墙

瓶颈是带宽，以及只有一块内存。128 GB 能装下任何单张消费级显卡都装不下的模型，但其中每一个字节——CPU、GPU 和 DGX OS 都一样——都来自同一组 273 GB/s的 LPDDR5X，只有独显旗舰的几分之一。它后面没有可以溢出的系统内存，所以本站把超过这块内存的模型一律判为装不下。本页最大的稠密模型 Llama 3.2 90B Vision Instruct（Q4_K_M）在它上面的上限约为 5 tok/s；混合专家（MoE）模型每个 token 只读取激活的专家，实际速度远快于它的总参数量所暗示的。