Strata 跑 NVFP4 量化模型实测性能

用户 sentinelK 在 V2EX 分享：用 Strata 0.1.44.1 在 RTX Pro 5000 48GB 显存加 64GB 内存的机器上运行 Qwen3.8-Flash-Next NVFP4 量化模型，实测 decode 130t/s、prefill 2600t/s。 该配置下，sentinelK 称瓶颈来自专家变大，显存只能容纳 13500 个专家，专家命中率从 99.7% 降至约 97.x%~99%；同时因内存紧张，Conversation cache 只能维持在 8GB、4slot。 以上为 sentinelK 公布的配置与实测数据，仅对应 64GB 内存加 RTX Pro 5000 48GB 这一硬件组合。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。