按硬件选本地大模型
每个显存档位给一个推荐,由驱动计算器的同一份索引算出 —— 不是把装得下的都列一遍。选你的容量,每页会给出通用、写代码、看图三种用途各自的模型,附显存计算过程,以及上下文拉长后哪一个会先撑不住。
- 8GB 能跑的最好的本地大模型44 个模型装得下,通用场景首选 Falcon 3 10B Instruct(GPTQ INT4,约 6.1 GB)。9 · RTX 5060 Ti 8G, RTX 5060, RTX 5050…
- 12GB 能跑的最好的本地大模型57 个模型装得下,通用场景首选 DeepSeek-V2-Lite Chat(Q4_K_M,约 10.1 GB)。10 · RTX 5070, RTX 4070 Ti, RTX 4070 Super…
- 16GB 能跑的最好的本地大模型64 个模型装得下,通用场景首选 Mistral Small 24B Instruct(AWQ INT4,约 13.2 GB)。16 · RTX 5080, RTX 5070 Ti, RTX 5060 Ti 16G…
- 24GB 能跑的最好的本地大模型86 个模型装得下,通用场景首选 Seed-OSS 36B Instruct(AWQ INT4,约 19.9 GB)。4 · RTX 4090, RTX 3090, Tesla P40 24G…
- 32GB 能跑的最好的本地大模型90 个模型装得下,通用场景首选 Nemotron 3.5 Bolt 74B-A9B(IQ2_XXS,约 23.1 GB)。4 · RTX 5090, Radeon AI PRO R9700 32G, Instinct MI100 32G…
- Apple 芯片 能跑的最好的本地大模型88 个模型装得下,通用场景首选 Nemotron 3.5 Bolt 74B-A9B(IQ2_XXS,约 23.1 GB)。24 Apple 芯片 · Mac M5 Ultra 512G, Mac M5 Ultra 256G, Mac M5 Max 128G…