V2EX· daniel2493468168·· 4 小时前AI 评分58
Mac 本地跑 Qwen2.5-3B 实测 54 tok/s，一年省下约一台 Mac mini 的 API 费
[问与答] [分享] Mac 本地跑大模型实测： 54 tok/s，一年省下 API 费 ≈ 一台 Mac mini
AI 导读
作者在 M1 Pro 32GB 上用 llama.cpp 跑 Qwen2.5-3B Q4_K_M（2GB），生成速度 54 tok/s，prompt 解析 551 t/s，内存占用 3.2GB。
来源：V2EX · v2ex.com