Apple 芯片能跑的最好的本地大模型

结论：通用场景选 Nemotron 3.5 Bolt 74B-A9B（IQ2_XXS）—— Apple 芯片中占 23.1 GB，剩 3.9 GB。另外：。

这里的「最好」指的是：在留有余量的前提下，本类别中能装进这张卡的最大模型，并取仍装得下的最高质量档位。本索引衡量的是显存占用与已公开的困惑度，不是任务质量 —— 它无法告诉你哪个模型答得更好，也不会假装可以。

用途	模型	量化档位	预估显存	余量	损失	理由
通用 · 写代码 · 图像	Nemotron 3.5 Bolt 74B-A9B74B-A9B	IQ2_XXS	23.1 GB	3.9 GB	—	这个显存预算下能装进的最大模型（不分类别）。该量化版本没有公开困惑度数据，因此这里不给数字。在 32K 上下文下依然装得下 —— 余量就是留给这个的。

适用于这些显卡

能不能装下完全由容量决定，所以这里每张卡返回的清单都一样。不同的是读取权重的速度 —— 每张卡自己的页面标注了带宽以及它意味着什么。

最接近的是 Mixtral 8x7B Instruct。它在本索引中最小的构建 Q4_K_M 约需 30.1 GB —— 比 Apple 芯片超出 3.1 GB，而且这还没算 4K 以外的上下文。卸载到系统内存确实能加载，但速度将由内存决定 —— 那是另一台机器，不是换个更小的量化档位。

在 4K 上下文下有 88 个模型能从容装下，16K 时是 85 个，32K 时是 78 个。权重没变 —— 涨的是 KV 缓存。

Apple 芯片覆盖的容量跨度比任何一档显卡都大，用一个数字描述不了它。下面是每种配置能装下的最大模型和可运行总数 —— 记住 macOS 会保留一部分内存，并限制单个进程能锁定的量，所以请按低于标称的容量来规划。

内存	能装下的最大模型	可运行
16 GB	DeepSeek-Coder-V2-Lite Instruct · 10.1 GB	57
24 GB	Qwen3-VL 30B-A3B Instruct · 15.8 GB	67
36 GB	Nemotron 3.5 Bolt 74B-A9B · 23.1 GB	88
48 GB	Nemotron 3.5 Bolt 74B-A9B · 23.1 GB	90
64 GB	GLM-4.5-Air · 37.2 GB	92
128 GB	DBRX Instruct · 84.3 GB	102

通用场景选 Nemotron 3.5 Bolt 74B-A9B（IQ2_XXS）—— 36 GB 中占 23.1 GB，剩 3.9 GB。。这里的「最好」指的是本类别中能留有余量装进这张卡的最大模型 —— 本索引衡量的是显存与已公开的困惑度，不是任务质量，因此无法就「答得好不好」给模型排名。

本索引 112 个模型中有 88 个能在 4K 上下文下从容装下 —— 「从容」指估算占用不超过显存的 88%，给显示输出和运行时留出余量。到 16K 时降到 85 个，32K 时是 78 个：变化的是 KV 缓存，不是权重。

最接近的是 Mixtral 8x7B Instruct：它在本站最小的构建 Q4_K_M 约需 30.1 GB —— 超出 3.1 GB，而且这还没算 4K 以外的上下文。把一部分权重卸载到系统内存确实能加载，但速度将由内存决定而不是由你的芯片决定；那是另一台机器，不是换个更小的量化档位。

装得下的模型是一样的 —— 能不能装下完全由容量决定，所以这一档的 24 张卡返回的是同一份清单。不同的是读取权重的速度：每生成一个 token 都要把整套权重读一遍，所以显存带宽决定了上限，而显存相同的两张卡在这一项上可以相差 2.5 倍以上。每张卡自己的页面都标注了带宽及其含义。