Multi LLM API Gateway

🚀 MCP 服务器

本项目基于 FastAPI 和 MCP（模型上下文协议），实现了 AI 模型与开发环境之间交互的标准上下文。通过简化模型部署、提供高效的 API 端点以及确保模型输入输出的一致性，有效提高了系统的可扩展性和维护性。

🚀 快速开始

安装

1. 克隆仓库：

   git clone https://github.com/your-repository.git
   cd mcp_server
   

2. 安装依赖：

   pip install -r requirements.txt
   

启动与运行

启动服务器

python mcp_server.py

运行客户端

python client.py

✨ 主要特性

• JSON - RPC 2.0 支持：支持基于 JSON 的远程过程调用协议。
• SSE 连接：支持 Server - Sent Events，实现实时数据传输。
• 模块化设计：系统架构模块化，便于扩展和维护。
• 异步处理：采用异步编程模型，提升性能。

📦 安装指南

1. 克隆仓库：

   git clone https://github.com/your-repository.git
   cd mcp_server
   

2. 安装依赖：

   pip install -r requirements.txt
   

💻 使用示例

基础用法

启动服务器

python mcp_server.py

运行客户端

python client.py

高级用法

API 端点调用

• 根路径：/
  • 方法：GET
  • 功能：返回欢迎信息。
• API 端点：/api
  • 方法：POST
  • 功能：处理 JSON - RPC 请求。
• SSE 端点：/stream
  • 方法：GET
  • 功能：提供实时流数据。

📚 详细文档

MCP 协议实现

初始化流程

1. 客户端发送初始化请求：

   {
     "id": 1,
     "method": "initialize",
     "params": {
       "model_id": "gpt-4"
     }
   }
   

2. 服务器响应：

   {
     "id": 1,
     "result": true
   }
   

采样请求

1. 客户端发送采样请求：

   {
     "id": 2,
     "method": "sample",
     "params": {
       "prompt": "解释MCP协议"
     }
   }
   

2. 服务器响应：

   {
     "id": 2,
     "result": {
       "content": "MCP协议是用于规范AI模型与开发环境之间交互的标准...",
       "usage": {
         "prompt_tokens": 10,
         "completion_tokens": 20,
         "total_tokens": 30
       }
     }
   }
   

关闭会话

{
  "id": 3,
  "method": "shutdown"
}

扩展开发

添加新方法

在 mcp_server.py 中添加新方法：

def new_method(self, params):
    # 实现新功能
    return {"result": "操作成功"}

集成 AI 模型

修改 handle_sample 方法以集成实际模型：

async def handle_sample(self, params: dict) -> dict:
    prompt = params.get("prompt", "")
    response = await openai.ChatCompletion.acreate(
        model="gpt-4",
        messages=[{"role": "user", "content": prompt}]
    )
    content = response.choices[0].message.content
    usage = response.usage
    return {
        "content": content,
        "usage": {
            "prompt_tokens": usage.prompt_tokens,
            "completion_tokens": usage.completion_tokens,
            "total_tokens": usage.total_tokens
        }
    }

故障排除

常见问题

1. 连接错误：确保服务器已启动且客户端使用正确的服务器 URL。
2. 405 方法不允许：确认客户端请求发送到正确的 API 端点。
3. SSE 连接失败：检查网络连接和防火墙设置。

日志记录

查看日志以获取更多信息：

export PYTHONPATH=.
python -m logging -v DEBUG -m mcp_server

参考资料

• MCP 协议规范
• FastAPI 文档
• JSON - RPC 2.0 规范
• SSE 规范

📄 许可证

本项目 licensed under the MIT License。更多细节请查看 LICENSE 文件。