Simple MCP Ollama Bridge

🚀 MCP LLM 桥接器

MCP LLM 桥接器是一个强大的工具，它能搭建起模型上下文协议（MCP）服务器与 OpenAI 兼容的大语言模型（LLM）（如 Ollama）之间的桥梁。若你想深入了解由 Anthropic 开发的 MCP，可参考以下链接：

• 资源
• 提示
• 工具
• 采样

🚀 快速开始

安装步骤

# 安装
curl -LsSf https://astral.sh/uv/install.sh | sh
git clone https://github.com/bartolli/mcp-llm-bridge.git
cd mcp-llm-bridge
uv venv
source .venv/bin/activate
uv pip install -e .

⚠️ 重要提示

重新激活环境以使用 .env 中的密钥：source .venv/bin/activate

配置桥梁

在 src/mcp_llm_bridge/main.py 中配置桥梁，示例代码如下：

mcp_server_params=StdioServerParameters(
    command="uv",
    # 修改此行 = 必须是绝对路径！在该目录下添加 MCP 抓取服务器（从 https://github.com/modelcontextprotocol/servers/ 克隆）
    args=["--directory", "~/llms/mcp/mc-server-fetch/servers/src/fetch", "run", "mcp-server-fetch"],
    env=None
),
# llm_config=LLMConfig(
#     api_key=os.getenv("OPENAI_API_KEY"),
#     model=os.getenv("OPENAI_MODEL", "gpt-4o"),
#     base_url=None
# ),
llm_config=LLMConfig(
    api_key="ollama",  # 可以是任何字符串用于本地测试
    model="llama3.2",
    base_url="http://localhost:11434/v1"  # 指向你本地模型的端点
),

额外端点支持

该桥梁还与任何实现 OpenAI API 规范的端点兼容，以下是针对 Ollama 的示例：

llm_config=LLMConfig(
    api_key="不需要",
    model="mistral-nemo:12b-instruct-2407-q8_0",
    base_url="http://localhost:11434/v1"
)

📄 许可证

本项目采用 MIT 许可证。

🌟 贡献

欢迎提交 PR 为项目做出贡献！