V2EX· jinsongzhaocn·· 2 小时前AI 评分22
本地大模型:统一内存 UMA 与显存+内存分层卸载,UMA 才是普通用户的未来?
[Local LLM] 本地大模型:统一内存(UMA)和显存+内存(分层卸载), 统一内存 UMA 才是普通用户的未来!
AI 导读
V2EX 网友讨论本地大模型的两条内存路线:UMA 统一内存让 GPU 直接访问共享内存池,硬件层面消除显式拷贝,无需软件层手动搬数据;独立显卡则是 VRAM + 系统内存分层卸载,模型权重与 KV Cache 按需在显存和内存间动态搬运。发帖者认为 UMA 才是普通用户的未来,分层卸载只会留在发烧友、工作站和专业推理场景。
来源:V2EX · v2ex.com