Ollama MCP Bridge

🚀 MCP-LLM 橋接器

本項目使用 TypeScript 開發，旨在將本地大語言模型（藉助 Ollama）與模型上下文協議（MCP）服務器連接起來。通過此橋接器，開源模型能像 Claude 一樣運用相同的工具和功能，進而打造強大的本地 AI 助手。

🚀 快速開始

該項目可將本地大型語言模型與 MCP 服務器相連，MCP 服務器具備多種實用功能，如文件系統操作、勇敢的網絡搜索、GitHub 交互、Google Drive 和 Gmail 集成、內存/存儲管理以及使用 Flux 進行圖像生成。橋接器會在 LLM 的輸出和 MCP 的 JSON - RPC 協議間進行轉換，讓任何 Ollama 兼容模型都能像 Claude 一樣使用這些工具。

✨ 主要特性

• 多 MCP 支持和動態工具路由：可支持多個 MCP 服務器，並能根據工具類型動態路由請求。
• 工具調用的結構化輸出驗證：確保工具調用輸出的結構符合要求。
• 用戶提示中的自動工具檢測：能自動識別用戶提示中的工具調用需求。
• 強大的 Ollama 進程管理：有效管理 Ollama 相關進程。
• 詳細的日誌記錄和錯誤處理：便於排查和解決問題。

📦 安裝指南

安裝 Ollama 和所需模型

ollama pull qwen2.5-coder:7b-instruct

安裝 MCP 服務器

npm install -g @modelcontextprotocol/server-filesystem
npm install -g @modelcontextprotocol/server-brave-search
npm install -g @modelcontextprotocol/server-github
npm install -g @modelcontextprotocol/server-memory
npm install -g @patruff/server-flux
npm install -g @patruff/server-gmail-drive

配置憑證

• 設置 BRAVE_API_KEY 用於勇敢搜索。
• 設置 GITHUB_PERSONAL_ACCESS_TOKEN 用於 GitHub。
• 設置 REPLICATE_API_TOKEN 用於 Flux。
• 使用以下命令配置 Gmail 憑證：cp $HOME/.config/Google/credentials.json ~/.config/gmail-credential

配置文件

創建或編輯位於 $HOME/.config/mcp-llm/config.json 的配置文件，示例內容如下：

{
  "ollama": {
    "host": "http://localhost:11434"
  },
  "gmail": {
    "enable": false,
    "credential_path": "~/.config/gmail-credential"
  }
}

💻 使用示例

基礎用法

啟動橋接器

npm run start

發送簡單消息

curl -X POST http://localhost:3000/api/v1/message -H "Content-Type: application/json" -d '{"message": "你好，世界！"}'

發送帶有工具調用的消息

curl -X POST http://localhost:3000/api/v1/message -H "Content-Type: application/json" -d '{"message": "給我講個笑話，請使用 joke-teller 工具。"}'

🔧 技術細節

• 橋接器支持多線程處理，最大連接數為 100。
• 請求超時時間為 30 秒，重試次數為 3 次。
• 支持文件附件上傳和下載。

📚 詳細文檔

當前配置

架構

• 橋接器：作為核心組件，負責工具註冊和執行管理。
• LLM 客戶端：處理 Ollama 交互並格式化工具調用。
• MCP 客戶端：管理 MCP 服務器連接和 JSON - RPC 通信。
• 工具路由器：根據工具類型將請求路由到適當的 MCP。

未來改進計劃

• 實現更多 MCP 服務器支持。
• 添加並行工具執行功能。
• 支持流式響應輸出。
• 提升錯誤恢復能力。
• 添加對話記憶功能。
• 擴展對更多 Ollama 模型的支持。

相關項目

該項目與更廣泛的 Claude 生態系統集成，涉及模型上下文協議（MCP）、Claude 桌面配置、Ollama 項目以及各種 MCP 服務器實現，最終可打造一個功能強大的本地 AI 助手，在本地硬件上實現類似於 Claude 的諸多功能。