跳到正文
V2EX· sentinelK·· 3 小时前AI 评分30

Strata 0.1.44.1 跑 Qwen3.8-Flash-Next NVFP4:RTX Pro 5000 48GB + 64GB RAM 实测 decode 130t/s、prefill 2600t/s

[Local LLM] 你好 NVFP4: strata-0.1.44.1, qwen3.8-flash-next, rtx pro 5000 48GB + 64GB RAM, decode 130t/s, prefill2600 t/s

AI 导读

Strata 0.1.44.1 在 RTX Pro 5000 48GB + 64GB RAM 上跑 Qwen3.8-Flash-Next NVFP4 量化模型,实测 decode 130t/s、prefill 2600t/s。

来源:V2EX · v2ex.com