V2EX· hjdhduyeh·· 3 小时前AI 评分58
决策推理引擎 Flide 开源,称 Jev 模型最高加速 9.5 倍
[分享创造] 让你的 Jev 模型最高加速 9 倍,决策推理引擎 Flide 开源
AI 导读
Flide 是面向本地部署决策模型的推理引擎,作者称其在决策任务上相比 vLLM 和 SGLang 等 LLM 框架最高加速 9.5 倍。目前已支持三十多款 Jev 模型,更多模型还在接入中。代码已开源,可通过 pip install flide 安装,文档、GitHub 仓库和 PyPI 地址均在正文给出。
来源:V2EX · v2ex.com