数据
| 模型系列 | 参数量 | 发布者 | 量化方式 | 最大GPU加载 | 速度 |
|---|---|---|---|---|---|
| Qwen-3.5 | 35B-A3B | lmstudio-community | Q4_K_M | 28/40 | 12 |
| Qwen-3.5 | 35B-A3B | unsloth | UD-IQ3_XXS | max | 35 |
| Qwen-3.5 | 27B | unsloth | Q3_K_M | max | 9 |
| Qwen-3.5 | 9B | lmstudio-community | Q8_0 | max | 26 |
| GPT-OSS | 20B | unsloth | UD-Q8_K_XL | max | 55 |
| GLM-4.7 Flash | 30B-A3B | lmstudio-community | Q4_K_M | 42/47 | 27 |
| GLM-4.7 Flash | 30B-A3B | unsloth | UD-Q3_K_XL | max | 36 |
| GLM-4.7 Flash REAP | 23B-A3B | unsloth | UD-Q4_K_XL | max | 38 |
注意
- unsloth/GLM-4.7-Flash-REAP-23B-A3B 需要启动参数
--jinja。
- unsloth的GLM-4.7-Flash系列有概率出问题。