https://quantized.uk/zh/ LLM 量化情报：新模型、数据节奏与站点更新。 zh-Hans Tue, 20 Oct 2026 12:00:00 GMT https://quantized.uk/zh/changelog/ changelog-zh-2026-10-20-The AMD ROCm guide now covers the Radeon Tue, 20 Oct 2026 12:00:00 GMT AMD ROCm 指南现在覆盖 Radeon RX 9000 系列和 AMD 核显。RX 9070 系列已在 AMD 官方 ROCm 支持列表中，需要 ROCm 7；指南给出了它们的编译目标，并说明 Ryzen AI 和较老的核显如何用系统内存跑模型。编译命令已按 llama.cpp 当前文档重新核对，没有变化。 https://quantized.uk/zh/changelog/ changelog-zh-2026-10-20-Gemma 4 12B is now sized from its publis Tue, 20 Oct 2026 12:00:00 GMT Gemma 4 12B 现在按已发布的 GGUF 文件计算体积，不再用通用比特率。Q4_K_M 在 32K 上下文下约需 8.5 GB；各显卡的判定都没有变化。页面也注明了 bartowski 的 Q4_K_M 文件比 unsloth 的大约 0.5 GB。 https://quantized.uk/zh/changelog/ changelog-zh-2026-10-20-Added North Mini Code 1.0, Cohere's open Tue, 20 Oct 2026 12:00:00 GMT 新增 North Mini Code 1.0——Cohere 的开源编程模型。它是 30B 混合专家，每个 token 约激活 3B 参数，49 层中只有 13 层的缓存随上下文增长：Q4_K_M 在 4K 下约需 20 GB，32K 约 21 GB，24 GB 显卡很从容。16 GB 显卡可以跑 Q3_K_M，但只是勉强装下。 https://quantized.uk/zh/changelog/ changelog-zh-2026-10-20-The whole index is now downloadable as J Tue, 20 Oct 2026 12:00:00 GMT 整个索引现在可以 JSON 形式下载。所有模型及其架构、量化档位和文件体积在 /data/v1/models.json，所有显卡及其可用显存和带宽在 /data/v1/gpus.json——每次更新时重新生成，与其他数据一样采用 CC BY 4.0 许可。 https://quantized.uk/zh/changelog/ changelog-zh-2026-10-20-The model comparison now goes up to 256K Tue, 20 Oct 2026 12:00:00 GMT 模型对比现在支持到 256K 上下文，并按 Mac 实际可用的内存判定。上下文档位为 4K 到 256K，可以看到混合注意力模型在长上下文下反超常规模型；超出模型自身窗口时会直接说明，而不是给出一个体积。"能否装进显卡"一行现在按 Mac 实际可用的内存来算（以前 16 GB 的 Mac 按满 16 GB 判定），每个模型也按它自己模型页所用的档位计算。 https://quantized.uk/zh/changelog/ changelog-zh-2026-10-19-Filtering the Chinese model library no l Mon, 19 Oct 2026 12:00:00 GMT 在中文模型库里筛选不会再跳到英文版了。以前在中文模型库点显卡、尺寸或格式筛选，整页会切成英文；现在会留在中文页。模型卡片的速度数字下方也直接标明是 RTX 4090 的数据；手机上卡片不再显示硬件标签，列表更短。 https://quantized.uk/zh/changelog/ changelog-zh-2026-10-19-The memory calculator now draws its esti Mon, 19 Oct 2026 12:00:00 GMT 显存计算器现在把估算画成一根铺满你显卡的条：模型权重、KV 缓存和激活缓冲各占一段，剩下的是空闲，虚线标出判定变黄的位置，拉长上下文时能直接看到它吃掉多少显存。超出显卡的部分用斜纹标出，并注明是溢出到系统内存还是装不下。 https://quantized.uk/zh/changelog/ changelog-zh-2026-10-19-Added Gemma 4 12B, Google's mid-sized Ge Mon, 19 Oct 2026 12:00:00 GMT 新增 Gemma 4 12B——Google 6 月发布、本站此前漏收的中等尺寸 Gemma 4。它是 12B 稠密模型，256K 上下文，文本、图像、音频都不需要单独的编码器；48 层中只有 8 层的缓存随上下文增长，所以 Q4 下 32K 约 8.6 GB，12 GB 显卡很从容，16 GB 显卡能加载完整窗口。在核对到 GGUF 文件大小之前，体积为估算值。 https://quantized.uk/zh/changelog/ changelog-zh-2026-10-19-Runtime versions updated: llama.cpp b117 Mon, 19 Oct 2026 12:00:00 GMT 运行时版本更新：llama.cpp b11721、vLLM v0.32.0。vLLM 现在要求 Python 3.11 及以上（本站的安装命令本来就建 3.12 环境），并且默认不再允许其他来源的浏览器请求，除非传 --allowed-origins。 https://quantized.uk/zh/changelog/ changelog-zh-2026-10-18-The Muse Spark Open page now states its Sun, 18 Oct 2026 12:00:00 GMT Muse Spark Open 页面现在写明了它的许可证条款：Meta 的仓库需要申请访问，基于它的产品须注明"Built with Muse Spark Open"，大公司要把它作为 API 提供须另签协议。 https://quantized.uk/zh/changelog/ changelog-zh-2026-10-18-Nous Hermes 3 Llama 3.1 8B no longer sho Sun, 18 Oct 2026 12:00:00 GMT Nous Hermes 3 Llama 3.1 8B 不再显示 Llama 3.1 8B 的实测速度。两者名字里有相同的片段，但本站从未实测过 Hermes 3；它在显卡页上的速度现在和其他未实测的模型一样，按每张卡的校准范围给出。 https://quantized.uk/zh/changelog/ changelog-zh-2026-10-18-You can now hear a speed before you buy. Sun, 18 Oct 2026 12:00:00 GMT 现在可以在买之前先"听"速度了。计算器的每个结果都能直接跳到速度播放页，带上同样的模型、档位、上下文和显卡；显卡页也能和同显存档位的卡、以及升级一档的卡并排播放，用的是这张卡能从容运行的最大模型。只有两张卡都有实测或校准过的速度时才会出现这个链接。 https://quantized.uk/zh/quant-hub/north-mini-code-1.0/ https://quantized.uk/zh/quant-hub/north-mini-code-1.0/ Tue, 20 Oct 2026 12:00:00 GMT Cohere 6 月发布的开源编程模型：30B 混合专家，每个 token 约激活 3B 参数，面向代码生成、智能体式软件开发和终端任务，纯文本。49 层中只有 13 层的缓存随上下文增长，所以长会话也负担得起：Q4_K_M（bartowski 的 18.7 GB 文件）在 4K 下约需 20.0 GB，32K 约 20.8 GB，128K 约 23.5 GB——24 GB 显卡到 32K 都很从容，128K 偏紧。16 GB 显卡需要用 Q3_K_M（bartowski 的 14.2 GB 文件）：4K 下约 15.3 GB，偏紧，超过 32K 就装不下。模型卡写的是 256K 上下文，配置文件允许 500K，本页按 256K 计算。体积按已发布的 GGUF 文件计算；各档位的质量损失未公布，基准成绩是 Cohere 自己报的。 https://quantized.uk/zh/quant-hub/gemma-4-12b/ https://quantized.uk/zh/quant-hub/gemma-4-12b/ Mon, 19 Oct 2026 12:00:00 GMT Google 6 月发布的中等尺寸 Gemma 4：12B 稠密模型，256K 上下文，文本、图像、音频都不需要单独的编码器，原始输入直接进入同一个解码器。48 层中只有 8 层缓存完整上下文，每层只有一个宽 KV 头，所以缓存很小：32K 约 1 GB，用满 256K 也只要约 4.5 GB。Q4_K_M（unsloth 的 7.1 GB 文件）在 32K 下约 8.5 GB、128K 约 10.2 GB，12 GB 显卡都很从容；16 GB 显卡能从容加载完整窗口，8 GB 显卡即使 4K 也偏紧。bartowski 的 Q4_K_M 文件更大（7.7 GB），用它的话再加约 0.5 GB。体积按已发布的 GGUF 文件计算；图像和音频嵌入层在单独的 mmproj 文件里，各档位的质量损失未公布。 https://quantized.uk/zh/quant-hub/ling-3.1-flash/ https://quantized.uk/zh/quant-hub/ling-3.1-flash/ Sat, 17 Oct 2026 12:00:00 GMT inclusionAI（蚂蚁集团）的 Ling-3.1-flash，10 月以 MIT 许可发布：560B 混合专家推理模型，每个 token 激活 25B 参数。它面向智能体、编程和长时间的办公任务。72 层中只有 9 层保留会增长的缓存，而且存的是 MLA 压缩向量，所以即使用满 256K 窗口，缓存也只多约 3 GB——决定它能在什么硬件上跑的是权重。Q4_K_M 在 4K 上下文下约需 371 GB，超过本索引里任何一张单卡。512 GB 的 Mac Studio 能分给 GPU 约 384 GB，按本站规则只能算「勉强」装下；服务器上，官方的参考配置是 8 张 H200 或 4 张 GB300 跑 FP8。Q8_0 约需 628 GB。官方称上下文窗口为 100 万 token，但发布的 config 设定为 262,144 个位置且没有缩放配置，所以这里按这个上限计算。llama.cpp 从 b11571 版起以 `bailingmoe3` 架构运行它。体积按已公布的 GGUF 文件计算，制作者给出的是 KL 散度而非困惑度，所以不显示质量损失。 https://quantized.uk/zh/quant-hub/beam-1.0-501b-a23b/ https://quantized.uk/zh/quant-hub/beam-1.0-501b-a23b/ Sat, 17 Oct 2026 12:00:00 GMT Reflection AI 的首个开放权重模型，10 月以 Apache 2.0 发布：501B 纯文本混合专家模型，每个 token 约激活 23B 参数，面向编程和智能体任务。上下文窗口 100 万 token；52 层中只有 9 层的缓存随上下文增长，所以上下文很便宜：Q2_K（DevQuasar 发布的 182 GB 文件）在 4K 下约需 191 GB，128K 约 196 GB，用满 100 万上下文约 230 GB。512 GB 的 Mac Studio 在任何上下文下都能从容运行，256 GB 的到 128K 为止偏紧。Unsloth 的动态 4-bit 文件 UD-Q4_K_XL（307 GB）在 4K 下约需 321 GB，512 GB 的 Mac 仍然装得下；Q8_0（533 GB）在本站收录的任何单台机器上都装不下。体积按已发布的 GGUF 文件计算；基准成绩是 Reflection 自己报的，各档位的质量损失未公布。 https://quantized.uk/zh/quant-hub/granite-4.2-30b/ https://quantized.uk/zh/quant-hub/granite-4.2-30b/ Fri, 16 Oct 2026 12:00:00 GMT IBM Granite 4.2 系列中最大的模型，8 月以 Apache 2.0 发布。和 8B 一样是普通的稠密 Transformer，不是 Granite 4.0 的混合架构，64 层全部保留完整缓存，所以上下文并不便宜：Q4_K_M 在 4K 下约需 19.6 GB，32K 约 27.3 GB，用满 128K 窗口约 53.7 GB。24 GB 显卡到 8K 都很宽裕，16K 偏紧；32K 需要 32 GB 显卡，用满窗口需要 80 GB 显卡或 96 GB 的 Mac。Q8_0（4K 下约 33.6 GB）需要 48 GB 显卡或 64 GB 的 Mac。体积按 IBM 官方 GGUF 文件计算；IBM 没有公布各量化档位的困惑度，所以不显示质量损失。 https://quantized.uk/zh/quant-hub/granite-4.2-3b/ https://quantized.uk/zh/quant-hub/granite-4.2-3b/ Fri, 16 Oct 2026 12:00:00 GMT IBM Granite 4.2 系列中最小的模型，8 月以 Apache 2.0 发布：3.7B 稠密 Transformer，面向笔记本、小显存显卡和 CPU 服务器。Q4_K_M 在 4K 上下文下约需 2.7 GB，32K 约 5.1 GB，用满 128K 窗口约 13.3 GB，所以 8 GB 显卡到 32K 都很宽裕，64K 偏紧。Q8_0 在 4K 下也只要 4.4 GB，在显卡上几乎没有理由再往下压。体积按 IBM 官方 GGUF 文件计算；IBM 没有公布各量化档位的困惑度，所以不显示质量损失。 https://quantized.uk/zh/quant-hub/muse-spark-open-816b-a42b/ https://quantized.uk/zh/quant-hub/muse-spark-open-816b-a42b/ Fri, 16 Oct 2026 12:00:00 GMT Meta 目前最大的开放权重模型，10 月以 Muse Model License 发布：816B 混合专家模型，每个 token 约激活 42B 参数，面向编程和智能体任务，支持图像和音频输入。只有最小的量化版本能在单台机器上运行。Q2_K（ggml-org 发布的 304 GB 文件）在 4K 上下文下约需 319 GB，到 128K 也只要 327 GB，因为 62 层中只有 16 层的缓存会随上下文增长——512 GB 的 Mac Studio 可以从容运行，四张 80 GB 的 H100 则偏紧。用满 100 万上下文约需 389 GB。Q4_K_S（470 GB）和 Q8_0（872 GB）在本站收录的任何单台机器上都装不下。视觉和音频编码器是另外 2–4 GB 的文件，未计入。体积按已发布的 GGUF 文件计算；基准成绩是 Meta 自己报的，各档位的质量损失未公布。它的许可证不是常规开源许可：Meta 的仓库需要申请访问才能下载；基于它的产品须注明"Built with Muse Spark Open"；年收入超过 2000 万美元的公司若要把它作为 API 服务提供，须先与 Meta 另签协议。 https://quantized.uk/zh/quant-hub/nemotron-3.5-bolt-74b-a9b/ https://quantized.uk/zh/quant-hub/nemotron-3.5-bolt-74b-a9b/ Fri, 16 Oct 2026 12:00:00 GMT NVIDIA 的 Nemotron 3.5 Bolt 是 74B 混合专家模型，每个 token 约激活 9B 参数，目标是装进 24 GB 显卡。它由 Nemotron 3.5 Super VL 压缩而来，只有一个版本，即 NVIDIA 官方原生 2-bit 文件，22.0 GB。88 层中只有 8 层的缓存随上下文增长，所以上下文很便宜：4K 约 23.1 GB，128K 约 24.1 GB，用满 256K 约 25.2 GB。这正是 NVIDIA 设计的 24 GB，但超过了本站的宽裕线，所以 24 GB 显卡判定为偏紧；32 GB 显卡或 48 GB 的 Mac 可以从容运行。图像编码器是另外 1.7 GB 的文件。基准成绩是 NVIDIA 自己报的，2-bit 版本的质量损失未公布。 https://quantized.uk/zh/quant-hub/nemotron-3.5-super-vl-120b-a12b/ https://quantized.uk/zh/quant-hub/nemotron-3.5-super-vl-120b-a12b/ Fri, 16 Oct 2026 12:00:00 GMT NVIDIA 的 Nemotron 3.5 Super VL 是 120B 混合专家视觉语言模型，每个 token 约激活 12B 参数，面向编程、工具调用和文档处理，上下文最长 100 万 token。88 层中只有 8 层的缓存随上下文增长，所以即使用满窗口也不贵：Q4_0（ggml-org 发布的 71.8 GB 文件）在 4K 下约需 75 GB，100 万上下文约 84 GB。128 GB 的 Mac 或 DGX Spark 128G 可以从容运行，单张 80 GB 显卡偏紧。Q8_0（128 GB）需要 256 GB 的 Mac。视觉编码器是另外 1–1.7 GB 的文件。体积按已发布的 GGUF 文件计算；基准成绩是 NVIDIA 自己报的，各档位的质量损失未公布。 https://quantized.uk/zh/quant-hub/nemotron-3.5-lightning-30b-a3b/ https://quantized.uk/zh/quant-hub/nemotron-3.5-lightning-30b-a3b/ Fri, 16 Oct 2026 12:00:00 GMT NVIDIA Nemotron 3.5 系列中的小尺寸成员：30B 纯文本混合专家模型，每个 token 约激活 3B 参数，生成速度大致相当于 3B 模型。52 层中只有 6 层的缓存随上下文增长，所以长上下文几乎不占额外显存：Q4_0（ggml-org 发布的 18.9 GB 文件）在 4K 下约需 19.8 GB，128K 约 20.6 GB，用满 256K 约 21.4 GB。24 GB 显卡到 128K 都很宽裕，只有用满窗口时偏紧；16 GB 显卡装不下。Q8_0（约 35 GB）需要 48 GB 显卡或 64 GB 的 Mac。另有一个可选的 1.2 GB 草稿文件用于投机解码，单独下载。体积按已发布的 GGUF 文件计算；基准成绩是 NVIDIA 自己报的，各档位的质量损失未公布。 https://quantized.uk/zh/quant-hub/granite-4.2-8b/ https://quantized.uk/zh/quant-hub/granite-4.2-8b/ Wed, 14 Oct 2026 12:00:00 GMT IBM Granite 4.2 系列（3B、8B、30B）中的 8B 稠密推理模型，8 月以 Apache 2.0 发布。默认开启思考，可通过聊天模板切换为不思考或低强度模式。它不是 Granite 4.0 那种混合架构，而是普通 Transformer，llama.cpp 以 `granite` 架构运行，40 层全部保留完整缓存：Q4_K_M 在 4K 上下文下约 6.3 GB，32K 约 11.1 GB，用满 128K 窗口约 27.6 GB。所以短上下文用 8 GB 显卡就够，处理长文档需要 16 GB。Q4_K_M 体积按已发布的 GGUF 文件计算；IBM 没有公布各量化档位的困惑度，所以不显示质量损失。 https://quantized.uk/zh/quant-hub/lfm2-5-24b-a2b/ https://quantized.uk/zh/quant-hub/lfm2-5-24b-a2b/ Wed, 14 Oct 2026 12:00:00 GMT Liquid AI 在 10 月发布的 LFM2.5 系列中最大的模型：24B 混合专家推理模型，每个 token 约激活 2.45B 参数，面向端侧智能体和工具调用，回答前总会先思考。40 层中只有 10 层保留会增长的 KV 缓存，所以长上下文很便宜：Q4_K_M 在 4K 下约需 15.3 GB，32K 约 15.9 GB，用满 128K 窗口约 17.9 GB。在 16 GB 显卡上偏紧，24 GB 显卡在任何上下文下都很宽裕；Q8_0（约 26.7 GB）需要 32 GB 显卡。仅支持文本。体积按 Liquid 官方发布的 GGUF 文件计算，各档位的质量损失未公布。 https://quantized.uk/zh/quant-hub/mellum2-1-12b-a2-5b/ https://quantized.uk/zh/quant-hub/mellum2-1-12b-a2-5b/ Tue, 13 Oct 2026 12:00:00 GMT JetBrains 面向编程智能体和快速子智能体的开源代码模型，10 月以 Apache 2.0 发布。它是 12B 的混合专家模型，每个 token 约激活 2.5B 参数，生成速度大致相当于 3B 模型。Q4_K_M 在 4K 上下文下约需 8.6 GB，用满 128K 窗口也只要 10.5 GB，因为 28 层中只有 7 层保留会增长的缓存。10 GB 或 12 GB 显卡可以从容运行，8 GB 显卡装不下；Q8_0 适合 16 GB 显卡。llama.cpp 以 `mellum` 架构支持它。体积按 JetBrains 官方 GGUF 文件计算；官方公布的是 KL 散度而不是困惑度，所以不显示质量损失。 https://quantized.uk/zh/quant-hub/mimo-v2-6-pro/ https://quantized.uk/zh/quant-hub/mimo-v2-6-pro/ Mon, 12 Oct 2026 12:00:00 GMT 小米的开放权重旗舰，今年秋天位列开源模型排行榜前列：约 1.02 万亿参数，每个 token 激活约 42B，MIT 许可。发布的权重本身就是 4 比特（专家层为 MXFP4），GGUF 版本只是重新打包、没有再次量化。在这个档位下 4K 上下文约需 604 GB，超过本索引里任何一台单机：最大的 Mac Studio 给 GPU 的约 384 GB，四张 80 GB 的 H100 合计 320 GB。八张 80 GB 显卡（640 GB）大约是能装下它的最小服务器，按本站规则也只算「勉强」。收录它是为了让计算器能把这一点说清楚。70 层中只有 10 层保留会增长的缓存，所以即使 100 万 token 也只多约 50 GB。llama.cpp 以 `mimo2` 架构运行它，视觉通过单独的编码器加载。体积按已公布的 GGUF 文件计算，各档位的质量损失未公布。 https://quantized.uk/zh/quant-hub/qwen3-5-4b/ https://quantized.uk/zh/quant-hub/qwen3-5-4b/ Sun, 11 Oct 2026 12:00:00 GMT Qwen3.5 的 4B 尺寸，适合 4 到 8 GB 显卡、基础款 Mac 和纯 CPU 机器。32 层中只有 8 层保留会增长的 KV 缓存。Q4_K_M 在 4K 上下文下约需 3.3 GB，32K 下约 4.3 GB，所以 6 GB 显卡就够长对话使用；用满 256K 窗口约需 12 GB。Qwen3.5 的小尺寸默认关闭推理模式；它通过单独的视觉编码器读取图像。体积按已公布的 GGUF 文件大小计算，各档位的质量损失未公布。 https://quantized.uk/zh/quant-hub/qwen3-5-2b/ https://quantized.uk/zh/quant-hub/qwen3-5-2b/ Sun, 11 Oct 2026 12:00:00 GMT Qwen3.5 的 2B 尺寸，几乎什么硬件都能跑：老显卡、基础款 Mac、迷你主机和纯 CPU 服务器。24 层中只有 6 层保留会增长的 KV 缓存，每层只有 2 个 KV 头。Q4_K_M 在 4K 上下文下约需 1.5 GB，32K 下约 1.9 GB，用满 256K 窗口约 4.8 GB；即使 Q8_0，4K 下也只要约 2.2 GB。Qwen3.5 的小尺寸默认关闭推理模式。体积按已公布的 GGUF 文件大小计算，各档位的质量损失未公布。 https://quantized.uk/zh/quant-hub/qwen3-5-0.8b/ https://quantized.uk/zh/quant-hub/qwen3-5-0.8b/ Sun, 11 Oct 2026 12:00:00 GMT 最小的 Qwen3.5，适合手机、单板电脑，或者在大模型旁边当快速草稿/路由模型。Q4_K_M 在 4K 上下文下约需 0.6 GB，32K 下不到 1 GB。用满 256K 窗口约需 3.8 GB，几乎全是缓存，所以在这里超长上下文比权重本身更占内存。下方体积使用计算器的通用比特率，因为未能核对到 GGUF 文件大小，各档位的质量损失也未公布。 https://quantized.uk/zh/quant-hub/qwen3-8-flash-next/ https://quantized.uk/zh/quant-hub/qwen3-8-flash-next/ Sat, 10 Oct 2026 12:00:00 GMT Qwen 下一代架构的预览版，8 月发布：125B 的混合专家模型，每个 token 约激活 6B 参数，另带一张 51B 的 n-gram 查找表。llama.cpp 从内存或磁盘按需读取这张表，它从不占用显存，但要占磁盘空间，而且打包在 GGUF 文件里，所以文件比下面的数字大得多。48 层中只有 12 层保留会增长的 KV 缓存，即使用满 256K 窗口也只多约 7.5 GB。Q4_K_M 在 4K 上下文下约需 79 GB，256K 下约 87 GB，128 GB 的 Mac 或 DGX Spark 能从容运行。单张 24 或 32 GB 显卡只有把专家卸载到系统内存才能跑。llama.cpp 以 `qwen4exp` 架构支持它。下方体积使用计算器的通用比特率（没有哪个文件大小能把模型本身和查找表分开），各档位的质量损失也未公布。 https://quantized.uk/zh/quant-hub/qwen3-6-35b-a3b/ https://quantized.uk/zh/quant-hub/qwen3-6-35b-a3b/ Sat, 10 Oct 2026 12:00:00 GMT 今年被推荐最多的 24 GB 显卡模型之一：总参数 35.6B，每个 token 约激活 3B，每个 token 读取的数据量和 3B 模型差不多。40 层中只有 10 层保留会增长的 KV 缓存，所以上下文很便宜：Q4_K_M 在 4K 下约需 23.4 GB，32K 下约 24.0 GB。按本站的规则，这在 24 GB 显卡上属于「勉强」而不是「宽裕」，因为本站计入了多数指南忽略的运行缓冲；32 GB 显卡，或 48 GB 的 Mac（靠 GPU 可用的那部分统一内存）才有真正的余量。它通过单独的视觉编码器读取图像。体积按已公布的 GGUF 文件大小计算，各档位的质量损失未公布。 https://quantized.uk/zh/quant-hub/qwen3-6-27b/ https://quantized.uk/zh/quant-hub/qwen3-6-27b/ Sat, 10 Oct 2026 12:00:00 GMT Qwen3.6 这一代的稠密模型，也是很受欢迎的本地写代码模型。它和更新的 Qwen3.8 27B 结构相同：64 层中只有 16 层保留会增长的 KV 缓存。Q4_K_M 在 4K 上下文下约需 19.1 GB，32K 下约 21.0 GB，两种情况在 24 GB 显卡上都很宽裕。Q5_K_M 在 24 GB 上偏紧；16 GB 显卡在这里列出的任何档位都装不下。体积按 bartowski 发布的 GGUF 文件计算，Unsloth 的同档位文件约小 1 GB。各档位的质量损失未公布。