V2EX· mumu157·· 1 小时前精选AI 评分67
作者开源 1600 行大模型推理引擎 LiteMoE，称固定批次吞吐达 vLLM 的 105～109%
[开源软件] 开源了一个 1600 行的大模型推理引擎，能跑真实模型，测试场景吞吐超过 vLLM
AI 导读
作者开源了约 1600 行 Python 的大模型推理引擎 LiteMoE，可跑真实的 Granite 模型，定位是学习和实验。在固定批次的测试场景下，其吞吐是 vLLM 的 105～109%，脚本可复现；算子沿用 vLLM，提升来自算子外的执行层。项目提供交互演示和从 KV Cache、MoE 讲到 DeepSeek、Kimi、Qwen 新设计的教程，作者表示后续会做多卡、CPU 版本。
推荐理由
作者开源约 1600 行的推理引擎 LiteMoE，并给出与 vLLM 在固定批次下的吞吐对比和可复现脚本。
来源：V2EX · v2ex.com