跳到正文
热点事件持续更新

3080 Ti 12G 实测跑 125B MoE 模型

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

V2EX 用户 TGOcc 称,在 RTX 3080 Ti 12G、64GB DDR4 四通道、PCIe 3.0、Win11 的机器上,用 Strata 0.1.43 运行 Qwen3.8-Flash-Next Q2_0(37.6GB),decode 速度从默认约 32 tok/s 调至 76 tok/s。 该方案要求 RTX 20 系以上(驱动 580+)、64GB 内存、80GB 空闲盘,系统为 Win10+ 或 Linux;作者称 64GB 内存是硬门槛,32GB 装不下。输入加 max_tokens 需不超过 32768,超出会返回 400 且不截断。 以上为作者自述的实测结果与安装条件,未获独立验证。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月13日
  1. V2EX精选
    RTX 3080 Ti 12G 跑 125B MoE Qwen3.8-Flash-Next:Strata 安装与实测

    作者在 RTX 3080 Ti 12G、64GB DDR4 四通道、PCIe 3.0、Win11 上,用 Strata 0.1.43 跑 Qwen3.8-Flash-Next Q2_0(37.6GB),decode 从默认约 32 tok/s 调到 76 tok/s。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。