跳到正文
V2EX· ota·· 3 小时前AI 评分18

V2EX 网友求一个完全解耦的 AI infra 基础设施,难点在 GPU 资源租赁

[问与答] 求一個完全解耦的 ai infra 基礎設施。難點在 gpu 資源租賃

AI 导读

V2EX 网友发帖求一套完全解耦的 AI infra 架构:code 跑在 VPS、data 放 S3、GPU 用云端资源,三者分处不同机房、国家和线路,仅走公网。核心难点是 GPU 资源租赁与调用方式,希望用完即焚、闲置停机以压低 dev 阶段开销,而非长期保活。目前最优解是 GPU 提供商附带可保活的数据盘,但 GPU 与数据盘绑定同一供应商会限制多机集群等架构自由度。

来源:V2EX · v2ex.com