AWQ 详解

AWQ 是什么、哪些运行时能读它、显存开销如何，以及本索引 112 个模型中提供该格式的全部 53 个。

AWQ 是什么

激活感知权重量化：在掌握激活统计的前提下把权重量化到 4-bit，主要由 vLLM 在 NVIDIA 以及 vLLM ROCm 版本支持的 AMD 显卡上运行。在本索引中同时提供两者的每一个模型上，AWQ INT4 文件都比 GGUF Q4_K_M 小（中位数小 18%），公布的质量损失则更高（中位数多 1.1 个百分点）。大多数 AWQ 版本所用的 AutoAWQ 已被弃用，改由 vLLM 的 llm-compressor 接替；已有的 AWQ 权重仍可正常加载。 本索引的 112 个模型中有 53 个提供该格式，共 1 个量化档位 —— INT4。

什么运行时能读它

vLLM · AutoAWQ · TGI。硬件要求：NVIDIA 显卡（CUDA 11.8+），或通过 vLLM ROCm 使用 AMD。最擅长的场景：高吞吐 API 服务端。强项：在本站每个可配对模型上都比 GGUF Q4_K_M 小；由 vLLM 以连续批处理方式提供服务；实测 218 tok/s（Llama 3.1 8B，RTX 4090，vLLM）。短板：在本站每个可配对模型上公布的损失都高于 Q4_K_M；只能用 GPU —— 没有 CPU 或 Apple 路径；AutoAWQ 已弃用（由 llm-compressor 接替）。

它要多少显存

Llama 3.1 8B Instruct 在 AWQ INT4 下为每权重 4 比特，折合权重 3.8 GB，加上 4K 上下文的 KV 缓存 0.5 GB 与激活缓冲 0.4 GB —— 合计 4.8 GB；本索引中能从容装下它的最小显卡是 RTX 5060 Ti 8G（8 GB）。 在本站有该档位公开困惑度数据的 53 个模型中，相对 FP16 的损失中位数为 4.0%。

本索引收录的 AWQ 档位

档位每权重比特模型数损失中位数
INT44534.0%53 个样本的中位数

每权重比特取自模型自己的数据行，因此出现区间说明不同模型在同一档位下的实际大小略有差异。损失中位数只统计该档位有公开困惑度数据的模型，样本量标在旁边。

本索引中提供 AWQ 的模型

112 个中的 53 个，按参数量从大到小排列，各自标出最小的 AWQ 档位，以及该档位已公开的困惑度损失（若有）。

浏览 AWQ 模型

常见问题

AWQ 是什么？

激活感知权重量化：在掌握激活统计的前提下把权重量化到 4-bit，主要由 vLLM 在 NVIDIA 以及 vLLM ROCm 版本支持的 AMD 显卡上运行。在本索引中同时提供两者的每一个模型上，AWQ INT4 文件都比 GGUF Q4_K_M 小（中位数小 18%），公布的质量损失则更高（中位数多 1.1 个百分点）。大多数 AWQ 版本所用的 AutoAWQ 已被弃用，改由 vLLM 的 llm-compressor 接替；已有的 AWQ 权重仍可正常加载。 它由 vLLM · AutoAWQ · TGI 读取，硬件要求为 NVIDIA 显卡（CUDA 11.8+），或通过 vLLM ROCm 使用 AMD，本索引 112 个模型中有 53 个提供该格式。

Llama 3.1 8B Instruct 用 AWQ 需要多少显存？

在 AWQ INT4、4K 上下文下约 4.8 GB，其中权重本身占 3.8 GB，因此 8 GB 的显卡可以从容运行。上下文更长会额外增加 KV 缓存；计算器可以算任意组合。

该用 AWQ 还是别的格式？

取决于你用什么来跑：这个格式的位置是「高吞吐 API 服务端」。本站把它与 GGUF、EXL2 做了直接对比，且只用同时提供两种格式的模型 —— 只有那里的对比是可测量的，而不是编辑观点。

AWQ 与其他格式的对比