使用Ollama配置本地Ai

发表于

2026年5月30日将原来的GTX 1660s 升级为GTX 5060 Ti 16G， 于是本机具备了本地运行Ai的能力。今天配置成功了 Ollama, 于是此篇博客正式记录这一配置过程。

安装 Ollama

我的电脑是 ArchLinux, 于是直接使用命令安装即可：

Nvidia 显卡安装ollama-cuda

1
sudo pacman -S ollama-cuda

Amd 显卡安装ollama-rocm

1
sudo pacman -S ollama-rocm

如果直接安装ollama ， 默认使用 cpu 工作，所以需要安装 ollama-cuda 版本。

安装大模型: deepseek-r1:7b

1
ollama pull deepseek-r1:7b

运行大模型: deepseek-r1:7b

1
ollama run deepseek-r1:7b

至上此可以在终端下运动大模型了，但是当涉及到一些 LaTeX 公式时，在终端下无法显示公式，只能显示源码，因此需要下面的配置open webui， 使得浏览器可以使用本地的大模型。

配置open webui

安装 docker

1
sudo pacman -S docker

配置docker国内源

/etc/docker/daemon.json
1
2
3
4
5
6
7
8
{
  "registry-mirrors": [
    "https://docker.xuanyuan.me",
    "https://docker.1ms.run",
    "https://docker.mirrors.ustc.edu.cn",
    "https://docker.m.daocloud.io"
  ]
}

重新加载Docker 配置并重启动

1
2
sudo systemctl daemon-reload
sudo systemctl restart docker

验证配置是否生效

1
docker info | grep -A 1 "Registry Mirrors"

如果成功，输出中会显示您配置的其他镜像地址。

使用国内镜像源安装Open WebUI

配置好镜像加速器后，拉取镜像时已无需特殊前缀，Docker 会自动从国内镜像源获取官方镜像。但如果您的网络环境较为特殊，也可以直接指定国内镜像源的完整地址进行拉取。

例如南京大学镜像：

1
docker pull ghcr.nju.edu.cn/open-webui/open-webui:latest

拉取完成后，验证镜像是否已经成功下载：

1
docker images | grep open-webui

看到类似ghcr.nju.edu.cn/open-webui/open-webui:latest的输出即表示成功。

启动 Open WebUI 容器

拉取成功后，启动 Open WebUI 容器。启动前请确认您的 Ollama 服务已正常运行。

1
2
3
4
5
6
docker run -d --network=host \
  -v open-webui:/app/backend/data \
  -e OLLAMA_BASE_URL=http://127.0.0.1:11434 \
  -e WEBUI_PORT=3000 \
  --name open-webui --restart always \
  ghcr.nju.edu.cn/open-webui/open-webui:latest