🌟 为什么选择Ollama？

特性 Ollama本地部署 云端AI服务
​隐私性​ 🔒 数据完全本地处理 ☁️ 数据需上传云端
​可用性​ 🌐 完全离线可用 📶 依赖网络连接
​成本​ 💰 免费开源 💸 订阅制付费
​自定义程度​ 🛠️ 可完全自定义模型 ⚙️ 有限定制

💡 适合场景：敏感数据处理/网络不稳定环境/长期使用成本考量

🛠️ 准备工作

硬件要求

  • ​最低配置​：

    • CPU：4核 (推荐Intel/AMD 64位)
    • 内存：16GB
    • 显存：8GB (NVIDIA/AMD)
    • 存储：40GB可用空间

  • ​推荐配置​：

    • CPU：8核以上
    • 内存：32GB+
    • 显存：12GB+ (RTX 3060及以上)
    • 存储：NVMe SSD

软件依赖

  1. Ollama官方客户端
  2. Docker Desktop
  3. Git (可选，用于源码部署)

📥 安装指南

第一步：安装Ollama核心

1
2
3
4
# Linux/macOS一键安装
curl -fsSL https://ollama.com/install.sh | sh

# Windows用户请下载exe安装包

第二步：验证安装

下载完成后打开安装包，点击Install进行安装。

1
2
ollama --version
# 预期输出：ollama version 0.1.xx

至此Ollama安装完毕，但要跟Ollama进行互动，事实上还需要一个操作界面“Open WebUI”
而Open WebUI必须要在Docker的环境中才能运行，Docker 安装全平台指南

第三步：部署Open WebUI (Docker方式)

确保拥有Docker容器并处在运行的状态后就可以进行Open WebUI的部署。
首先进入Open WebUI的官网https://docs.openwebui.com
根据官方文档描述来进行对应的安装。

1
2
3
4
5
6
7
8
9
10
11
12
13
# 示例以官方文档为准
# 创建专用网络
docker network create ollama-net

# 启动Open WebUI容器
docker run -d \
  --name open-webui \
  --network ollama-net \
  -p 3000:8080 \
  -v open-webui:/app/backend/data \
  -e OLLAMA_BASE_URL=http://ollama:11434 \
  --restart always \
  ghcr.io/open-webui/open-webui:main

等待安装完成后在Docker中会多出一个Open WebUI的项目。

第四步：初始化配置

访问 http://localhost:3000
创建管理员账户（首个账户自动获得管理员权限）
接下来就会来到一个跟ChatGPT非常类似的界面，这里可以点击左下角将语言改成中文。
还有一些参数可以自行调整
在设置中：
切换语言为中文
调整”最大上下文长度”为4096
启用”流式响应”

🤖 模型部署实战

接下来就是模型的选择
Ollama有整理出当前最受欢迎的开源语言模型，这里我们选择qwen2.5（通义千问）。
根据本地物理设备的能力选择合适的训练数据集模型。
8g显存可以使用7B的训练量。

模型下载示例

1
2
3
4
5
6
7
8
# 在cmd命令行中输入：
ollama run qwen-2.5-7B

## 查看已安装模型
ollama list

# 删除模型
ollama rm qwen-2.5-7B

性能优化技巧

1
2
3
4
5
# 启用GPU加速（NVIDIA）
export CUDA_VISIBLE_DEVICES=0

# 限制显存使用（8GB显存示例）
ollama run qwen2:7b --num-gpu-layers 35 --ctx-size 4096

🔍 常见问题排查

1. 下载中断

1
2
3
# 清除缓存后重试
ollama rm qwen2:7b
ollama run qwen2:7b

2. 显存不足

  1. 改用更小参数的模型（如从7B降到4B）
  2. 增加交换空间（Linux）：
    1
    2
    3
    4
    sudo fallocate -l 16G /swapfile
    sudo chmod 600 /swapfile
    sudo mkswap /swapfile
    sudo swapon /swapfile

3. WebUI无法连接

1
2
3
4
5
6
7
8
# 检查容器状态
docker ps -a

# 查看日志
docker logs open-webui

# 重启服务
docker restart open-webui

🚀 进阶配置

自定义模型微调

1.创建Modelfile：

1
2
3
4
5
FROM qwen2:7b
PARAMETER num_ctx 4096
SYSTEM """
你是一个专业的中文AI助手，回答请使用礼貌用语。
"""

2.构建自定义模型：

1
ollama create my-ai -f Modelfile

外部访问配置

1
2
3
4
5
# 启用远程访问（生产环境需配置SSL）
docker run -d \
    -p 3000:8080 \
    -e OPEN_WEBUI_API=http://your-server-ip:11434 \
    ghcr.io/open-webui/open-webui:main

📚 ​延伸阅读

  1. Ollama
  2. OpenWebUI
  3. ChatGPT
  4. 模型微调指南