Local Ai With Ollama Open Webui MCP On Windows

🚀 在Windows上使用Ollama、WebUI和MCP搭建本地AI環境

這是一個自託管的AI堆棧，結合了用於運行語言模型的Ollama、提供友好聊天交互的Open WebUI，以及用於集中管理模型的MCP。它讓你無需依賴雲端，即可實現完全的控制、隱私保護和高度的靈活性。

本示例項目提供了一個基於MCP的工具服務器，用於管理員工的休假餘額、申請和歷史記錄。該服務器通過OpenAPI使用mcpo進行暴露，方便與Open WebUI或其他兼容OpenAPI的客戶端集成。

🚀 快速開始

本項目的使用流程如下：

1. 安裝Ollama on Windows
2. 拉取deepseek-r1模型
3. 克隆倉庫並進入項目目錄
4. 運行docker-compose.yml文件以啟動服務

✨ 主要特性

• ✅ 查看員工休假餘額
• 📆 申請特定日期的休假
• 📜 查看休假歷史記錄
• 🙋 個性化問候功能

📦 安裝指南

📋 前提條件

1. Windows 10或更高版本（Ollama所需）
2. 適用於Windows的Docker Desktop（Open WebUI和MCP所需）
   • 從適用於Windows的Docker Desktop進行安裝。

安裝Ollama

➤ Windows

1. 下載安裝程序：
   • 訪問Ollama下載，點擊Download for Windows下載OllamaSetup.exe。
   • 也可以從Ollama GitHub版本發佈頁下載。
2. 運行安裝程序：
   • 執行OllamaSetup.exe，並按照安裝提示進行操作。
   • 安裝完成後，Ollama將作為後臺服務運行，可通過http://localhost:11434訪問。
   • 在瀏覽器中驗證，你應該看到：

     Ollama is running
     

3. 啟動Ollama服務器（如果尚未運行）：

   ollama serve
   

   • 通過http://localhost:11434訪問服務器。

驗證安裝

檢查已安裝的Ollama版本：

ollama --version

預期輸出：

ollama version 0.7.1

拉取deepseek-r1模型

1. 拉取默認模型（7B）

使用PowerShell

ollama pull deepseek-r1

拉取特定版本：

ollama run deepseek-r1:1.5b
ollama run deepseek-r1:671b

2. 列出已安裝的模型

ollama list

預期輸出：

NAME                    ID              SIZE
deepseek-r1:latest      xxxxxxxxxxxx    X.X GB

3. 通過API進行替代檢查

curl http://localhost:11434/api/tags

預期輸出： 一個JSON響應，列出已安裝的模型，包括deepseek-r1:latest。

4. 通過PowerShell測試API

Invoke-RestMethod -Uri http://localhost:11434/api/generate -Method Post -Body '{"model": "deepseek-r1", "prompt": "Hello, world!", "stream": false}' -ContentType "application/json"

預期響應： 一個JSON對象，包含模型對“Hello, world!”提示的響應。

5. 通過PowerShell運行並與模型聊天

ollama run deepseek-r1

• 這將打開一個與deepseek-r1模型的交互式聊天會話。
• 輸入/bye並按Enter鍵退出聊天會話。

🐳 使用Docker Compose運行Open WebUI和MCP服務器

1. 克隆倉庫：

   git clone https://github.com/ahmad-act/Local-AI-with-Ollama-Open-WebUI-MCP-on-Windows.git
   cd Local-AI-with-Ollama-Open-WebUI-MCP-on-Windows
   

2. 在本地（在Docker Desktop上）啟動MCP工具和Open WebUI：

   docker-compose up --build
   

這將：

• 在端口8000上啟動休假管理器（MCP服務器）工具。
• 在http://localhost:3000啟動Open WebUI。

💻 使用示例

基礎用法

在Open WebUI中使用以下提示與休假管理器工具進行交互：

查看休假餘額

Check how many leave days are left for employee E001

申請休假

Apply

查看休假歷史記錄

What's the leave history of E001?

個性化問候

Greet me as Alice

📚 詳細文檔

🌐 將MCP工具添加到Open WebUI

MCP工具通過OpenAPI規範在http://localhost:8000/openapi.json上暴露。

1. 在瀏覽器中打開http://localhost:3000。
2. 點擊個人資料圖標，然後導航到設置。
3. 選擇工具菜單，然後點擊添加 (+) 按鈕。
4. 通過輸入URL http://localhost:8000/添加新工具。

🔧 技術細節

📁 項目結構

leave-manager/
├── main.py                  # 用於休假管理的MCP服務器邏輯
├── requirements.txt         # MCP服務器的Python依賴項
├── Dockerfile               # 休假管理器的Docker鏡像配置
├── docker-compose.yml       # 用於運行休假管理器和Open WebUI的Docker Compose文件
└── README.md                # 項目文檔（本文件）

🛠️ 故障排除

• Ollama未運行：確保服務處於活動狀態（ollama serve），並檢查http://localhost:11434。
• Docker問題：驗證Docker Desktop正在運行，並且你有足夠的磁盤空間。
• 未找到模型：使用ollama list確認deepseek-r1模型已列出。
• 端口衝突：確保端口11434、3000和8000可用。

📚 額外資源

• Ollama文檔
• Open WebUI文檔
• Docker Desktop文檔
• MCP文檔
• OpenAPI工具服務器
• mcpo - 適用於OpenAPI工具、SDK和UI