7.89GB装下27B：2-bit量化模型实测，工具调用反超54GB原版，但有三个坑

Conway Research（Underdog）10 月上旬发布了一个 7.89GB 的 GGUF 文件 Saluki 27B——底层是阿里 Qwen3.8-27B，原版 BF16 权重 54GB，这个 2-bit 混合量化版本（IQ2-mix）体积砍了近 7 倍。官方宣称"九项基准平均保留 96% 能力"，发布后登上多家科技媒体。

这类数字对想在自己电脑上跑模型的开发者有个直接诱惑：我的内存到底够不够？牺牲了什么？我们在一台 Apple M5 Max（128GB 统一内存）上用原版 llama.cpp 跑了 8 项测试，并补测了同底座 4-bit 版做同机对照。结论先说：工具调用确实强，数学确实掉，另有两个媒体没讲清的事实。

官方基准拆开看：96% 是平均数，不是保底数

先看官方在 Hugging Face 发布页给出的数据。Underdog Bench 是 120 道工具调用题（题目取自 Berkeley BFCL v4，思考关、温度 0）：

“96% 保留率"是九项基准的算术平均。拆开是三档：工具调用和指令遵循打平或反超；编程小掉；数学和多步长推理只保留 82-85%。官方自己在 Limitations 里也写明：竞赛数学保留 82-85%，最弱的是字母级指令题（回文、元音规则、字母排序），约五分之一的并行调用回复有小格式瑕疵。这是一笔明码标价的交易，不是免费午餐。官方也提醒：原版的公开分数来自另一套测试装置，120 道题规模有限，几个题的差距在运行波动范围内。

看基准报告先看判分口径，这一条在 2-bit 量化模型里格外重要。

实测：加载、吞吐与内存的账本

测试机：Apple M5 Max，128GB 统一内存。运行时原版 llama.cpp llama-server，零补丁零魔改——这是 Saluki 的卖点之一。启动命令就是官方 README 那条：

llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --mmproj mmproj-Underdog-Saluki-27B-1.0-Q8_0.gguf --jinja -ngl 99 -fa on -c 32768

实测基础指标（长文本生成场景）：吞吐 8.1 tokens/s（424 token 输出耗时 52 秒）。文件 7.89GB 不等于 8GB 内存的机器能跑——权重之外还有 KV cache、激活值和视觉件，内存要按文件体积加 KV cache 预留，按 12GB 以上预留稳妥。

一个值得记录的现象：同一道数学题，Saluki 关思考模式反而比开思考更慢（68 秒 vs 34.8 秒）——非思考模式下它逐字写公式渲染，token 用得多，长输出题目上耗时成倍增加。

工具调用：核心卖点经受住了验证

工具调用是 Saluki 精度预算的主要投向，实测四项：

单工具调用（思考关、温度 0）：10.5 秒正确返回 get_weather(city="Tokyo")，参数干净无冗余。

并行工具调用：11.4 秒一次返回两个调用——get_weather 和 get_stock_price 全对，无格式瑕疵。

多轮 Agent 闭环（调用 → 喂回结果 → 最终回答）：第一轮 4.6 秒发起调用，喂回"东京 18°C 有雨"后 6.2 秒回答"需要带伞”，完整闭环。

同机对照（同底座 Qwen3.8:27b 4-bit 版，17GB，经 Ollama 运行）：单工具 11.7 秒、并行双调用 7.7 秒。Saluki 工具调用速度与 4-bit 版打平，没有因更激进的量化付出延迟代价。对照官方 42 vs 35 的并行调用数据，实测体感一致：这个文件在"选对工具、填对参数"上不像个 2-bit 模型。

视觉能力：官方有，部分媒体说没了

不少报道直接写"Saluki 纯文本、不支持图像"。查 Hugging Face 仓库 README 会发现官方明确提供两个视觉 add-on 文件（F16 版 928MB / Q8_0 版 629MB），并写了 --mmproj 用法。

需要说清一个容易混淆的点：Saluki 的主文件是纯文本的，但官方明确提供两个可选视觉 add-on 文件（F16 版 928MB / Q8_0 版 629MB），README 里写了 --mmproj 用法。也就是说：主文件纯文本，挂上视觉件后可以看图。挂 Q8_0 版实测：7.2 秒全部读对——三行文字、三种颜色、算式 7+8=15 一个不漏。

数学：2-bit 的代价在这里

行程应用题（火车先跑 120 公里耗时 1.5 小时，问跑完 360 公里全程多久）：最终答对了 4.5 小时，但过程有个坑——默认思考模式 + 2048 token 上限时，推理把预算烧光返回空答案（印证官方 Limitations 里"思考开启时会在回答前长篇推理"）。关思考后 68 秒算对；开思考加预算到 4096 后 34.8 秒算对。同机 4-bit 对照组开思考 41.6 秒答对。

如果你的场景是数学重度或多步长推理，这个模型的官方保留率 82-85% 加上实测的思考预算坑，不建议选。

装不装：一张表决策

装：本地跑 Agent（MCP、函数调用、自动化流程）的人——小内存的机器跑 27B 级工具调用，此前做不到。日常问答、写作、代码补全也值：7.89GB 换 96% 平均性能。

不装：数学重度场景；内存紧张的机器还要挂视觉件跑（体积之外预算要给足）；对并行调用格式零容忍的生产环境——严格判分下五分之一回复有格式瑕疵，要么用宽松解析器兜底，要么等下一版。

一句话总结：这是一个把"压缩什么"看得比"压缩多少"更重的开源量化版本。它不做全能优等生，做本地打工人——但打工人也有干不了的活，数学题是其中一件。

测试环境：Apple M5 Max 128GB / 原版 llama.cpp / 全 GPU offload / 工具调用参数与官方对齐（思考关、t=0）。模型与基准数据来源：huggingface.co/ConwayResearch/Underdog-Saluki-27B-1.0（2026-10-15 核验）。实测数据采于 2026-10-15。

本文面向技术选型参考，模型能力结论仅覆盖本文测试项目。