果核剥壳 · 绿色纯净软件· ghxb2·2026-10-19 11:50· 3 小时前AI 评分62

英伟达上游 vLLM 优化让 Kimi K3 推理速度提升 1.68 倍

英伟达vLLM优化让Kimi K3推理速度提升1.68倍达423 tok/s/user

AI 导读

调研机构 SemiAnalysis 发文称，英伟达通过一项上游 vLLM 优化，让 2.8 万亿参数的 Kimi K3 在 GB300 NVL72 上达到 423 tok/s/user，相同硬件性能提升 1.68 倍。