跳到正文
小众软件· 青小蛙·· 3 天前精选AI 评分78

Strata 让 8GB 显存普通电脑本地运行千亿参数大模型

8GB显存就够,Strata 让普通电脑也能运行千亿参数大模型

AI 导读

开源项目 Strata 通过把模型部分放到系统内存和 SSD,让 8GB 显存、16GB 内存的普通电脑有机会本地运行 1250 亿参数的 Qwen3.8-Flash-Next。

推荐理由

作者实测多款显卡在 8GB 显存下运行千亿参数模型的速度,并给出内存档位建议,可作本地部署参考。

来源:小众软件 · appinn.com