Simple MCP Ollama Bridge

🚀 MCP LLM 橋接器

MCP LLM 橋接器是一個強大的工具，它能在模型上下文協議（MCP）服務器與 OpenAI 兼容的大語言模型（LLM）（如 Ollama）之間搭建橋樑，實現兩者的高效連接。若想了解更多由 Anthropic 開發的 MCP 相關內容，可參考以下鏈接：

• 資源
• 提示
• 工具
• 採樣

🚀 快速開始

安裝步驟

# 安裝
curl -LsSf https://astral.sh/uv/install.sh | sh
git clone https://github.com/bartolli/mcp-llm-bridge.git
cd mcp-llm-bridge
uv venv
source .venv/bin/activate
uv pip install -e .

⚠️ 重要提示

重新激活環境以使用 .env 中的密鑰：source .venv/bin/activate

配置橋樑

在 src/mcp_llm_bridge/main.py 中對橋樑進行配置：

mcp_server_params=StdioServerParameters(
    command="uv",
    # 修改此行 = 必須是絕對路徑！在該目錄下添加 MCP 抓取服務器（從 https://github.com/modelcontextprotocol/servers/ 克隆）
    args=["--directory", "~/llms/mcp/mc-server-fetch/servers/src/fetch", "run", "mcp-server-fetch"],
    env=None
),
# llm_config=LLMConfig(
#     api_key=os.getenv("OPENAI_API_KEY"),
#     model=os.getenv("OPENAI_MODEL", "gpt-4o"),
#     base_url=None
# ),
llm_config=LLMConfig(
    api_key="ollama",  # 可以是任何字符串用於本地測試
    model="llama3.2",
    base_url="http://localhost:11434/v1"  # 指向你本地模型的端點
),

額外端點支持

該橋樑還與任何實現 OpenAI API 規範的端點兼容，以下為 Ollama 的配置示例：

Ollama 配置示例

llm_config=LLMConfig(
    api_key="不需要",
    model="mistral-nemo:12b-instruct-2407-q8_0",
    base_url="http://localhost:11434/v1"
)

📄 許可證

本項目採用 MIT 許可證。

💪 貢獻

歡迎提交 PR 為項目做出貢獻。