Multi LLM API Gateway

🚀 MCP サーバー

このプロジェクトは、FastAPI と MCP（モデルコンテキストプロトコル）をベースに、AI モデルと開発環境間のインタラクションの標準コンテキストを実現しています。モデルのデプロイを簡素化し、効率的な API エンドポイントを提供し、モデルの入出力の一貫性を確保することで、システムの拡張性と保守性を向上させることを目指しています。

🚀 クイックスタート

このセクションでは、MCP サーバーの基本的な使い方を説明します。

インストール

1. リポジトリをクローンします。

   git clone https://github.com/your-repository.git
   cd mcp_server
   

2. 必要な依存関係をインストールします。

   pip install -r requirements.txt
   

サーバーの起動

python mcp_server.py

クライアントの実行

python client.py

✨ 主な機能

• JSON - RPC 2.0 サポート：JSON ベースのリモートプロシージャコールプロトコルをサポートします。
• SSE 接続：Server - Sent Events をサポートし、リアルタイムデータ転送を実現します。
• モジュール化設計：システムアーキテクチャがモジュール化されており、拡張と保守が容易です。
• 非同期処理：非同期プログラミングモデルを採用し、パフォーマンスを向上させます。

📦 インストール

1. リポジトリをクローンします。

   git clone https://github.com/your-repository.git
   cd mcp_server
   

2. 必要な依存関係をインストールします。

   pip install -r requirements.txt
   

💻 使用例

基本的な使用法

サーバーの起動

python mcp_server.py

クライアントの実行

python client.py

高度な使用法

API エンドポイントの利用

• ルートパス：/
  • メソッド：GET
  • 機能：歓迎メッセージを返します。
• API エンドポイント：/api
  • メソッド：POST
  • 機能：JSON - RPC リクエストを処理します。
• SSE エンドポイント：/stream
  • メソッド：GET
  • 機能：リアルタイムストリームデータを提供します。

MCP プロトコルの実装

初期化フロー

1. クライアントが初期化リクエストを送信します。

   {
     "id": 1,
     "method": "initialize",
     "params": {
       "model_id": "gpt - 4"
     }
   }
   

2. サーバーが応答します。

   {
     "id": 1,
     "result": true
   }
   

サンプリングリクエスト

1. クライアントがサンプリングリクエストを送信します。

   {
     "id": 2,
     "method": "sample",
     "params": {
       "prompt": "MCPプロトコルを説明してください"
     }
   }
   

2. サーバーが応答します。

   {
     "id": 2,
     "result": {
       "content": "MCPプロトコルは、AIモデルと開発環境間のインタラクションを規範する標準です...",
       "usage": {
         "prompt_tokens": 10,
         "completion_tokens": 20,
         "total_tokens": 30
       }
     }
   }
   

セッションの終了

{
  "id": 3,
  "method": "shutdown"
}

📚 ドキュメント

拡張開発

新しいメソッドの追加

mcp_server.py ファイルに新しいメソッドを追加します。

def new_method(self, params):
    # 新しい機能を実装
    return {"result": "操作成功"}

AI モデルの統合

handle_sample メソッドを修正して、実際のモデルを統合します。

async def handle_sample(self, params: dict) -> dict:
    prompt = params.get("prompt", "")
    response = await openai.ChatCompletion.acreate(
        model="gpt-4",
        messages=[{"role": "user", "content": prompt}]
    )
    content = response.choices[0].message.content
    usage = response.usage
    return {
        "content": content,
        "usage": {
            "prompt_tokens": usage.prompt_tokens,
            "completion_tokens": usage.completion_tokens,
            "total_tokens": usage.total_tokens
        }
    }

トラブルシューティング

一般的な問題

1. 接続エラー：サーバーが起動していること、およびクライアントが正しいサーバー URL を使用していることを確認してください。
2. 405 メソッド不許可：クライアントのリクエストが正しい API エンドポイントに送信されていることを確認してください。
3. SSE 接続失敗：ネットワーク接続とファイアウォール設定を確認してください。

ログ記録

詳細な情報を取得するには、ログを確認します。

export PYTHONPATH=.
python -m logging -v DEBUG -m mcp_server

参考資料

• MCP プロトコル仕様
• FastAPI ドキュメント
• JSON - RPC 2.0 仕様
• SSE 仕様

📄 ライセンス

このプロジェクトは MIT ライセンスの下でライセンスされています。詳細は LICENSE ファイルを参照してください。