V2EX· sentinelK·· 3 小时前AI 评分30
Strata 0.1.44.1 跑 Qwen3.8-Flash-Next NVFP4:RTX Pro 5000 48GB + 64GB RAM 实测 decode 130t/s、prefill 2600t/s
[Local LLM] 你好 NVFP4: strata-0.1.44.1, qwen3.8-flash-next, rtx pro 5000 48GB + 64GB RAM, decode 130t/s, prefill2600 t/s
AI 导读
Strata 0.1.44.1 在 RTX Pro 5000 48GB + 64GB RAM 上跑 Qwen3.8-Flash-Next NVFP4 量化模型,实测 decode 130t/s、prefill 2600t/s。
来源:V2EX · v2ex.com