3080 Ti 12G 实测跑 125B MoE 模型
热点事件持续更新
3080 Ti 12G 实测跑 125B MoE 模型
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
V2EX 用户 TGOcc 称,在 RTX 3080 Ti 12G、64GB DDR4 四通道、PCIe 3.0、Win11 的机器上,用 Strata 0.1.43 运行 Qwen3.8-Flash-Next Q2_0(37.6GB),decode 速度从默认约 32 tok/s 调至 76 tok/s。 该方案要求 RTX 20 系以上(驱动 580+)、64GB 内存、80GB 空闲盘,系统为 Win10+ 或 Linux;作者称 64GB 内存是硬门槛,32GB 装不下。输入加 max_tokens 需不超过 32768,超出会返回 400 且不截断。 以上为作者自述的实测结果与安装条件,未获独立验证。
AI 根据报道生成 · 1 小时前更新
最新进展10月13日 10:16
RTX 3080 Ti 12G 跑 125B MoE Qwen3.8-Flash-Next:Strata 安装与实测报道时间线
沿着报道,了解事件的不同侧面。
10月13日
- V2EX精选RTX 3080 Ti 12G 跑 125B MoE Qwen3.8-Flash-Next:Strata 安装与实测
作者在 RTX 3080 Ti 12G、64GB DDR4 四通道、PCIe 3.0、Win11 上,用 Strata 0.1.43 跑 Qwen3.8-Flash-Next Q2_0(37.6GB),decode 从默认约 32 tok/s 调到 76 tok/s。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。