V2EX· heybenben·· 2 小时前精选AI 评分75
RigCheck：查显卡或 Mac 能否本地跑新开源模型
[分享创造] RigCheck：查你的显卡 / Mac 能不能本地跑新出的开源模型，数字都有来源，还自己租卡实测了 24 次
AI 导读
作者做了 localrigcheck.com，用来查显卡或 Mac 能否本地跑新出的开源模型。它按仓库真实文件大小和 llama.cpp 的分配方式逐层计算 KV cache，每个数字标注官方、社区报告、本站估算或本站实测来源，并区分“放得下”与“支持”。
推荐理由
作者用仓库真实文件大小和 llama.cpp 分配方式逐层算 KV cache，并自租显卡实测，给出可核对来源的本地推理容量估算。
来源：V2EX · v2ex.com