工具
五个计算与生成工具,以及它们背后的两个索引。这些工具给出的每一个数字都由本站模型索引计算得出,不是手写的。
- 显存计算器
估算任意量化大模型(或 Hugging Face 上任意模型)的显存占用,并给出你的显卡或混搭多卡能否装下、速度上限、首字等待时间、能同时服务几个人,以及微调所需显存。
- 脚本生成器
为索引内任意模型生成可直接运行的 llama.cpp、Ollama、vLLM 与 ExLlamaV2 命令,含 Docker 与 Compose 版本。
- 格式向导
回答三个关于硬件与优先级的问题,得到一组真正能协同工作的量化格式、运行时与量化档位。
- 模型对比
将两个量化模型并排对比:参数量、上下文、在你选定上下文下的显存、速度与质量损失。
- 感受速度
按一张卡的实测或缩放后的 token 速度把一句话流出来,并和另一张卡并排。带宽天花板只标注,不拿来当速度播放。