MCP Llm Bridge

🚀 MCP LLM 橋接器

MCP LLM 橋接器是一個連接模型上下文協議（MCP）服務器與 OpenAI 兼容大語言模型 (LLM) 的橋樑。它主要支持 OpenAI API，同時也兼容實現 OpenAI API 規範的本地端點，讓不同環境下的模型都能借助標準化接口使用 MCP 兼容工具。

🚀 快速開始

# 安裝
curl -LsSf https://astral.sh/uv/install.sh | sh
git clone https://github.com/bartolli/mcp-llm-bridge.git
cd mcp-llm-bridge
uv venv
source .venv/bin/activate
uv pip install -e .

# 創建測試數據庫
python -m mcp_llm_bridge.create_test_db

✨ 主要特性

• 提供雙向協議轉換層，能在 MCP 和 OpenAI 的函數調用接口之間進行轉換。
• 將 MCP 工具規範轉換為 OpenAI 函數架構，並處理函數調用映射回 MCP 工具執行的過程。
• 支持任何 OpenAI 兼容的語言模型，無論是雲端模型還是本地實現（如 Ollama）。

📦 安裝指南

# 安裝
curl -LsSf https://astral.sh/uv/install.sh | sh
git clone https://github.com/bartolli/mcp-llm-bridge.git
cd mcp-llm-bridge
uv venv
source .venv/bin/activate
uv pip install -e .

# 創建測試數據庫
python -m mcp_llm_bridge.create_test_db

📚 詳細文檔

配置

OpenAI（主要支持）

創建 .env 文件：

OPENAI_API_KEY=your_key
OPENAI_MODEL=gpt-4o # 或其他支持工具的 OpenAI 模型

注意：如果需要使用 .env 中的密鑰，請重新激活環境：source .venv/bin/activate

然後在 src/mcp_llm_bridge/main.py 配置橋接器：

config = BridgeConfig(
    mcp_server_params=StdioServerParameters(
        command="uvx",
        args=["mcp-server-sqlite", "--db-path", "test.db"],
        env=None
    ),
    llm_config=LLMConfig(
        api_key=os.getenv("OPENAI_API_KEY"),
        model=os.getenv("OPENAI_MODEL", "gpt-4o"),
        base_url=None
    )
)

額外端點支持

橋接器還適用於任何實現 OpenAI API 規範的端點：

• Ollama

llm_config=LLMConfig(
    api_key="不需要",
    model="mistral-nemo:12b-instruct-2407-q8_0",
    base_url="http://localhost:11434/v1"
)

注意：經過測試，發現 mistral-nemo:12b-instruct-2407-q8_0 更擅長處理複雜查詢。

• LM Studio

llm_config=LLMConfig(
    api_key="不需要",
    model="local-model",
    base_url="http://localhost:1234/v1"
)

尚未測試此配置，但理論上應該可以使用。

💻 使用示例

python -m mcp_llm_bridge.main

# 示例問題：數據庫中最昂貴的產品是什麼？
# 輸入 'quit' 或 Ctrl+C 退出

🔧 技術細節

該實現提供了一個雙向協議轉換層，在 MCP 和 OpenAI 的函數調用接口之間進行轉換。它將 MCP 工具規範轉換為 OpenAI 函數架構，並處理函數調用映射回 MCP 工具執行的過程。這使得任何 OpenAI 兼容的語言模型都可以通過一個標準化接口使用 MCP 兼容工具，無論是雲端模型還是本地實現（如 Ollama）。

更多關於 MCP 的信息，請參考以下鏈接：

• 資源
• 提示詞
• 工具
• 採樣

🔧 運行測試

安裝帶有測試依賴的包：

uv pip install -e ".[test]"

然後運行測試：

python -m pytest -v tests/

📄 許可證

MIT

貢獻指南

如需貢獻，請參考項目倉庫：https://github.com/bartolli/mcp-llm-bridge