Mac 本地跑 Qwen2.5-3B 实测 54 tok/s

V2EX 用户 daniel2493468168 称，在 M1 Pro 32GB 上用 llama.cpp 运行 Qwen2.5-3B 的 Q4_K_M 量化版（约 2GB），生成速度 54 tok/s，prompt 解析 551 t/s，内存占用 3.2GB。他称这次实测是为公司做推理成本优化，一年省下的 API 费用约等于一台 Mac mini。 他给出的部署步骤是：用 brew 安装 llama.cpp，用 curl 从 hf-mirror.com 镜像下载 gguf 文件（-C - 断点续传），再用 llama-cli 指定模型路径和提示词运行。若供团队使用，可用 llama-server 起 OpenAI 兼容 API，现有代码改 base_url 即可。上述速度与节省金额均为作者自述，未提供对比账单。

AI 根据报道生成 · 3 小时前更新