跳到正文
V2EX· TGOcc·· 2 小时前精选AI 评分80

RTX 3080 Ti 12G 跑 125B MoE Qwen3.8-Flash-Next:Strata 安装与实测

[Local LLM] RTX 3080 Ti 12G 跑 125B MoE Qwen3.8-Flash-Next — Strata 安装跟实测

AI 导读

作者在 RTX 3080 Ti 12G、64GB DDR4 四通道、PCIe 3.0、Win11 上,用 Strata 0.1.43 跑 Qwen3.8-Flash-Next Q2_0(37.6GB),decode 从默认约 32 tok/s 调到 76 tok/s。

推荐理由

作者在 12G 显存机器上实测 125B MoE 模型,给出安装坑位、调参方法和可迁移的硬件优先级判断。

来源:V2EX · v2ex.com