跳到正文
V2EX· btpanel·· 2 小时前AI 评分52

开源 LLM 私有化部署平台 LLMPod 招募 GPU 用户测试

[推广] 做了一个开源的 LLM 私有化部署平台 LLMPod,想找一些有 GPU 的朋友参与测试

AI 导读

LLMPod 是一个开源的私有化 LLM 推理服务平台,目前处于早期阶段,正招募有 GPU 服务器或多模型 API 管理需求的用户参与测试。平台提供 GPU 节点接入与管理、可视化模型部署、支持 vLLM / SGLang 推理引擎、发布 OpenAI 兼容 API,以及 API Key、配额、用量与调用日志管理、路由权重和 Failover。

来源:V2EX · v2ex.com