Local Ai With Ollama Open Webui MCP On Windows

🚀 本地AI：在Windows上集成Ollama、WebUI与MCP

这是一个自托管的AI堆栈，结合了用于运行语言模型的Ollama、提供友好聊天交互的Open WebUI，以及用于集中式模型管理的MCP。它让你无需依赖云端，就能完全掌控、保障隐私并拥有灵活的使用体验。

本示例项目提供了一个基于MCP的工具服务器，用于管理员工的休假余额、申请和历史记录。它通过OpenAPI使用mcpo进行暴露，便于与Open WebUI或其他兼容OpenAPI的客户端集成。

✨ 主要特性

• ✅ 查看员工休假余额
• 📆 申请特定日期的休假
• 📜 查看休假历史记录
• 🙋 个性化问候功能

📁 项目结构

leave-manager/
├── main.py                  # 用于休假管理的MCP服务器逻辑
├── requirements.txt         # MCP服务器的Python依赖项
├── Dockerfile               # 休假管理工具的Docker镜像配置
├── docker-compose.yml       # 运行休假管理工具和Open WebUI的Docker Compose文件
└── README.md                # 项目文档（即本文档）

📋 前提条件

1. Windows 10或更高版本（Ollama运行必需）
2. 适用于Windows的Docker Desktop（Open WebUI和MCP运行必需）
   • 从适用于Windows的Docker Desktop进行安装。

🛠️ 工作流程

1. 在Windows上安装Ollama
2. 拉取deepseek-r1模型
3. 克隆仓库并进入项目目录
4. 运行docker-compose.yml文件以启动服务

📦 安装Ollama

➤ Windows

1. 下载安装程序：
   • 访问Ollama下载页面，点击Download for Windows下载OllamaSetup.exe。
   • 也可从Ollama GitHub发布页面下载。
2. 运行安装程序：
   • 执行OllamaSetup.exe并按照安装提示操作。
   • 安装完成后，Ollama将作为后台服务运行，可通过http://localhost:11434访问。
   • 在浏览器中验证，你应该看到：

Ollama is running

3. 启动Ollama服务器（若尚未运行）：

ollama serve

• 可通过http://localhost:11434访问服务器。

验证安装

检查已安装的Ollama版本：

ollama --version

预期输出：

ollama version 0.7.1

拉取deepseek-r1模型

1. 拉取默认模型（7B）

使用PowerShell

ollama pull deepseek-r1

拉取特定版本：

ollama run deepseek-r1:1.5b
ollama run deepseek-r1:671b

2. 列出已安装的模型

ollama list

预期输出：

NAME                    ID              SIZE
deepseek-r1:latest      xxxxxxxxxxxx    X.X GB

3. 通过API进行替代检查

curl http://localhost:11434/api/tags

预期输出： 一个JSON响应，列出已安装的模型，包括deepseek-r1:latest。

4. 通过PowerShell测试API

Invoke-RestMethod -Uri http://localhost:11434/api/generate -Method Post -Body '{"model": "deepseek-r1", "prompt": "Hello, world!", "stream": false}' -ContentType "application/json"

预期响应： 一个JSON对象，包含模型对“Hello, world!”提示的响应。

5. 通过PowerShell运行并与模型聊天

ollama run deepseek-r1

• 这将打开与deepseek-r1模型的交互式聊天会话。
• 输入/bye并按Enter键退出聊天会话。

🐳 使用Docker Compose运行Open WebUI和MCP服务器

1. 克隆仓库：

git clone https://github.com/ahmad-act/Local-AI-with-Ollama-Open-WebUI-MCP-on-Windows.git
cd Local-AI-with-Ollama-Open-WebUI-MCP-on-Windows

2. 在本地（在Docker Desktop上）启动MCP工具和Open WebUI：

docker-compose up --build

这将：

• 在端口8000上启动休假管理工具（MCP服务器）
• 在http://localhost:3000启动Open WebUI

🌐 将MCP工具添加到Open WebUI

MCP工具通过OpenAPI规范在http://localhost:8000/openapi.json进行暴露。

1. 在浏览器中打开http://localhost:3000。
2. 点击个人资料图标，然后导航到设置。
3. 选择工具菜单，然后点击添加 (+) 按钮。
4. 通过输入URL http://localhost:8000/添加新工具。

💻 使用示例

基础用法

在Open WebUI中使用以下提示与休假管理工具进行交互：

• 查看休假余额：

Check how many leave days are left for employee E001

• 申请休假：

Apply

• 查看休假历史记录：

What's the leave history of E001?

• 个性化问候：

Greet me as Alice

🛠️ 故障排除

• Ollama未运行：确保服务已启动（ollama serve），并检查http://localhost:11434。
• Docker问题：验证Docker Desktop是否正在运行，并且你有足够的磁盘空间。
• 未找到模型：使用ollama list确认deepseek-r1模型已列出。
• 端口冲突：确保端口11434、3000和8000可用。

📚 额外资源

• Ollama文档
• Open WebUI文档
• Docker Desktop文档
• MCP文档
• OpenAPI工具服务器
• mcpo - 适用于OpenAPI工具、SDK和UI