显存与部署规模估算
按参数量、量化精度、上下文长度与并发数估算权重与 KV Cache 显存，给出单卡与多卡部署建议。
模型与硬件参数
不确定层数 / KV 头数时选一个模型预设即可自动填好；自定义模型请按官方 config 填写。
显存占用与部署建议
用于容量规划
以框架实测为准
以框架实测为准
| 权重精度 | 权重 | KV Cache | 合计占用 | 在所选加速卡上 |
|---|
KV Cache 按 MHA / GQA 通用公式估算；MLA、滑窗注意力等结构的实际占用更低，下载模型前建议用推理框架实测一遍。