V2EX 讨论本地大模型 UMA 与分层卸载路线

V2EX 网友讨论本地大模型的两条内存路线：UMA 统一内存让 GPU 直接访问共享内存池，硬件层面消除显式拷贝，无需软件层手动搬数据；独立显卡则采用 VRAM 加系统内存的分层卸载，模型权重与 KV Cache 按需在显存和内存间动态搬运。 发帖者认为 UMA 才是普通用户的未来，分层卸载只会留在发烧友、工作站和专业推理场景。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。