V2EX 网友求推荐私有化大模型开源网关

有 V2EX 网友发帖，为私有化部署的大模型产品寻求开源大模型网关推荐。其需求包括模型负载均衡、模型切换平滑过渡、APIKEY 管理，以及支持 LLM、embedding、rerank 和多来源使用统计。 该网友列出的加分项为轻量低资源占用、负载均衡兼顾 KV cache、提示词审计或黑名单，以及按关键词区分业务统计。帖子目前尚无回复。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。