Ollama Chat With MCP

🚀 🔍 🤖 🌐 Ollama 聊天與 MCP 集成

本項目是一個強大的演示，展示瞭如何將本地大語言模型（LLM）與即時網絡搜索功能相結合，通過模型上下文協議（MCP）實現。藉助此集成，可極大擴展本地語言模型的能力。

🚀 快速開始

先決條件

• Python 3.11+ 版本
• 已安裝並運行的 Ollama
• 一個 Serper.dev API 密鑰（免費層可用）
• 網絡連接以進行搜索

安裝步驟

1. 克隆倉庫：

   git clone https://github.com/redbuilding/ollama-chat-with-mcp.git
   cd ollama-chat-with-mcp
   

2. 安裝依賴項：

   pip install -r requirements.txt
   

3. 在項目根目錄中創建一個 .env 文件，並添加您的 Serper.dev API 密鑰：

   SERPER_API_KEY=your_serper_api_key_here
   

4. 確保 Ollama 已安裝並且預設模型可用（默認為 qwen2.5:14b）：

   ollama pull qwen2.5:14b
   

使用方法

啟動網頁界面

要使用基於網頁的界面，執行以下命令：

python chat_frontend.py

這將啟動 Gradio 網頁界面，默認訪問地址為 http://localhost:7860

使用終端客戶端

要使用命令行界面，執行以下命令：

python chat_client.py

搜索命令

在兩個界面中，您可以使用特殊命令來觸發網絡搜索：

• 搜索並總結：#search for "金融市場2025年4月展望"
• 搜索並回答問題：#search for "這周的實境電視節目" 以及最近發生了什麼？

其他命令

• 清除對話歷史記錄：clear
• 顯示可用命令列表：help

✨ 主要特性

• 🔎 網絡增強聊天：在對話過程中即時獲取網絡搜索結果
• 🧠 本地模型執行：使用 Ollama 在您自己的硬件上運行模型
• 🔌 MCP 集成：展示 MCP 實際應用的實現
• 🌐 雙界面：選擇終端 CLI 或網頁 GUI
• 📊 結構化搜索結果：以清晰格式呈現網絡搜索數據，便於理解
• 🔄 對話記憶：在整個聊天會話中保持上下文

📚 詳細文檔

概述

Ollama 聊天與 MCP 展示瞭如何通過工具使用擴展本地語言模型的功能。此應用程序結合了本地運行的 LLM 通過 Ollama 提供的強大功能，以及通過 MCP 服務器提供的即時網絡搜索功能。

該項目由三個主要組件組成：

• MCP 網絡搜索服務器：使用 Serper.dev API 提供網絡搜索功能
• 終端客戶端：用於聊天和搜索交互的命令行界面（CLI）
• 網頁前端：基於 Gradio 的用戶友好型網絡界面

通過這種架構，應用程序展示了 MCP 如何使本地模型訪問外部工具和數據源，顯著增強其能力。

工作原理

1. MCP 網絡搜索服務器接收來自客戶端的搜索請求。
2. 使用 Serper.dev API 執行實際的網絡搜索。
3. 結果被格式化並返回給客戶端，供用戶查看和分析。
4. 客戶端通過 Ollama 進行進一步處理，生成相關響應。

文件結構

• MCP 網絡搜索服務器：負責接收和處理搜索請求。
• 終端客戶端：提供命令行界面以與 MCP 交互。
• 網頁前端：基於 Gradio 的用戶友好型界面，便於直觀操作。

自定義

可以根據具體需求自定義多個方面：

• 修改搜索範圍和參數
• 更換網絡爬取工具
• 定製輸出格式和樣式

🤝 貢獻

我們歡迎社區貢獻！請參考 Contributing.md 瞭解如何參與。

📄 許可證

項目在 LICENSE 下發布，詳細許可信息請查閱相關文件。