Strata 让 8GB 显存普通电脑本地运行千亿参数大模型
开源项目 Strata 通过把模型部分放到系统内存和 SSD,让 8GB 显存、16GB 内存的普通电脑有机会本地运行 1250 亿参数的 Qwen3.8-Flash-Next。
推荐理由:作者实测多款显卡在 8GB 显存下运行千亿参数模型的速度,并给出内存档位建议,可作本地部署参考。
开源项目 Strata 通过把模型部分放到系统内存和 SSD,让 8GB 显存、16GB 内存的普通电脑有机会本地运行 1250 亿参数的 Qwen3.8-Flash-Next。
推荐理由:作者实测多款显卡在 8GB 显存下运行千亿参数模型的速度,并给出内存档位建议,可作本地部署参考。