V2EX 网友求推荐：私有化大模型场景下的开源大模型网关

有 V2EX 网友为私有化部署的大模型产品寻求开源大模型网关推荐，需求包括模型负载均衡、模型切换平滑过渡、APIKEY 管理，以及 LLM、embedding、rerank 支持与多来源使用统计。加分项为轻量低资源占用、负载均衡兼顾 KV cache、提示词审计或黑名单，以及按关键词区分业务统计。该帖目前尚无回复。