Multi LLM API Gateway

🚀 MCP 服務器

本項目基於 FastAPI 和 MCP（模型上下文協議），實現了 AI 模型與開發環境之間交互的標準上下文。通過簡化模型部署、提供高效的 API 端點以及確保模型輸入輸出的一致性，有效提高了系統的可擴展性和維護性。

🚀 快速開始

安裝

1. 克隆倉庫：

   git clone https://github.com/your-repository.git
   cd mcp_server
   

2. 安裝依賴：

   pip install -r requirements.txt
   

啟動與運行

啟動服務器

python mcp_server.py

運行客戶端

python client.py

✨ 主要特性

• JSON - RPC 2.0 支持：支持基於 JSON 的遠程過程調用協議。
• SSE 連接：支持 Server - Sent Events，實現即時數據傳輸。
• 模塊化設計：系統架構模塊化，便於擴展和維護。
• 異步處理：採用異步編程模型，提升性能。

📦 安裝指南

1. 克隆倉庫：

   git clone https://github.com/your-repository.git
   cd mcp_server
   

2. 安裝依賴：

   pip install -r requirements.txt
   

💻 使用示例

基礎用法

啟動服務器

python mcp_server.py

運行客戶端

python client.py

高級用法

API 端點調用

• 根路徑：/
  • 方法：GET
  • 功能：返回歡迎信息。
• API 端點：/api
  • 方法：POST
  • 功能：處理 JSON - RPC 請求。
• SSE 端點：/stream
  • 方法：GET
  • 功能：提供即時流數據。

📚 詳細文檔

MCP 協議實現

初始化流程

1. 客戶端發送初始化請求：

   {
     "id": 1,
     "method": "initialize",
     "params": {
       "model_id": "gpt-4"
     }
   }
   

2. 服務器響應：

   {
     "id": 1,
     "result": true
   }
   

採樣請求

1. 客戶端發送採樣請求：

   {
     "id": 2,
     "method": "sample",
     "params": {
       "prompt": "解釋MCP協議"
     }
   }
   

2. 服務器響應：

   {
     "id": 2,
     "result": {
       "content": "MCP協議是用於規範AI模型與開發環境之間交互的標準...",
       "usage": {
         "prompt_tokens": 10,
         "completion_tokens": 20,
         "total_tokens": 30
       }
     }
   }
   

關閉會話

{
  "id": 3,
  "method": "shutdown"
}

擴展開發

添加新方法

在 mcp_server.py 中添加新方法：

def new_method(self, params):
    # 實現新功能
    return {"result": "操作成功"}

集成 AI 模型

修改 handle_sample 方法以集成實際模型：

async def handle_sample(self, params: dict) -> dict:
    prompt = params.get("prompt", "")
    response = await openai.ChatCompletion.acreate(
        model="gpt-4",
        messages=[{"role": "user", "content": prompt}]
    )
    content = response.choices[0].message.content
    usage = response.usage
    return {
        "content": content,
        "usage": {
            "prompt_tokens": usage.prompt_tokens,
            "completion_tokens": usage.completion_tokens,
            "total_tokens": usage.total_tokens
        }
    }

故障排除

常見問題

1. 連接錯誤：確保服務器已啟動且客戶端使用正確的服務器 URL。
2. 405 方法不允許：確認客戶端請求發送到正確的 API 端點。
3. SSE 連接失敗：檢查網絡連接和防火牆設置。

日誌記錄

查看日誌以獲取更多信息：

export PYTHONPATH=.
python -m logging -v DEBUG -m mcp_server

參考資料

• MCP 協議規範
• FastAPI 文檔
• JSON - RPC 2.0 規範
• SSE 規範

📄 許可證

本項目 licensed under the MIT License。更多細節請查看 LICENSE 文件。