本地大模型部署指南
从零在本地跑起大模型:Ollama + Open WebUI,含显卡选型、量化说明、显存不足时的降级方案。
本地大模型部署指南
2026.11—Windows / Linux / macOS
适合谁
想要数据不出本机、或者单纯不想为 API 付费的同学。8GB 显存就能跑 7B 级别的模型。
步骤
1. 安装 Ollama,ollama run qwen2.5:7b 先确认能跑
2. 用 Docker 起 Open WebUI,连到本机 11434 端口
3. 按显存选量化等级:Q4_K_M 是性价比最高的档位
常见问题
显存不足会退回 CPU 推理,速度掉到每秒几个字;长上下文很吃显存,把上下文长度从 32k 降到 8k 往往就够了。
下载地址
资源来自互联网公开渠道,如链接失效请在「投稿与纠错」页反馈。
图文教程
本站不存储任何资源文件,仅提供公开链接的整理与索引。资源版权归原作者所有,请于下载后 24 小时内删除,商用请购买正版授权。