Dmcp

🚀 DMCP - 動的モデルコンテキストプロトコル

MCPのセマンティックツール検索 - ベクトル検索を用いたクエリ駆動型のツール検索により、「ツールが多すぎる」問題を解決します。

🚀 クイックスタート

前提条件

• Docker と Docker Compose
• ツールを公開するMCPサーバーゲートウェイ（例: Agent Gateway）

1. クローンと起動

git clone https://github.com/yourusername/dmcp.git
cd dmcp

# Redis、埋め込みサービス、DMCPサーバーをすべて起動
docker compose up -d

# サービスが正常に起動するのを待つ（埋め込みモデルの読み込みに約2 - 3分かかる場合があります）
docker compose ps

2. ツールのインデックス作成

# インデクサーを実行して、MCPゲートウェイからRedisにツールを登録
docker compose run --rm indexer

# ツールがインデックスされていることを確認
curl http://localhost:3001/health
# → {"status":"healthy","toolCount":420,...}

3. VS Codeの設定

.vscode/mcp.json に以下を追加します。

{
  "servers": {
    "dmcp": {
      "type": "http",
      "url": "http://localhost:3001/mcp"
    }
  }
}

以上で完了です！ search_tools メタツールがVS Code / GitHub Copilotで利用可能になりました。

✨ 主な機能

• 🔍 セマンティック検索：ToolRetで学習されたE5モデルを使用した正確なツール検索
• ⚡ 高速：約50msの検索レイテンシー、98%のトークン削減
• 🔄 接続の回復力：自動リトライ、ヘルスチェック、再接続機能
• 🐳 Docker対応：Redis VSS + 埋め込みサービスを含むフルスタック
• 📊 監視可能：ヘルスエンドポイント、セッションログ、接続ステータス
• ✅ テスト済み：vitestを使用した56個の単体テスト

📦 インストール

上述の「クイックスタート」セクションを参照してください。

💻 使用例

基本的な使用法

User: "Create a GitHub issue for this bug"

LLM calls: search_tools(query="create GitHub issue")
    → Returns top-15 relevant tools (via semantic vector search)
    → Tools become available for use

LLM calls: github_create_issue(...)
    → Issue created!

高度な使用法

DMCPは、以下のようにユーザーが特定のツールを検索するクエリを入力すると、セマンティックベクトル検索を使用して関連するツールを返します。

User: "search for kubernetes tools"
LLM calls: search_tools("kubernetes")
    → Returns: 15 k8s tools (get_pods, list_deployments, ...)

📚 ドキュメント

🏗️ アーキテクチャ

┌─────────────────────────────────────────────────────────────────────────────┐
│                           VS Code / GitHub Copilot                          │
│                                                                             │
│  User: "search for kubernetes tools"                                        │
│        → search_tools("kubernetes")                                         │
│        ← Returns: 15 k8s tools (get_pods, list_deployments, ...)           │
└─────────────────────────────────┬───────────────────────────────────────────┘
                                  │ HTTP (Streamable HTTP Transport)
                                  ▼
┌─────────────────────────────────────────────────────────────────────────────┐
│                         DMCP Server (port 3001)                             │
│                                                                             │
│  • Exposes 1 meta-tool: search_tools                                        │
│  • Pure vector search (COSINE similarity, HNSW index)                       │
│  • Sends listChanged notifications when tools discovered                    │
│  • Connection keep-alive with health checks (30s interval)                  │
│  • Auto-retry on connection failures (3 attempts, exponential backoff)      │
└────────────┬──────────────────────────────────────────────────┬─────────────┘
             │                                                  │
             │ Query embeddings                                 │ Tool calls (SSE)
             ▼                                                  ▼
┌────────────────────────────────┐                ┌────────────────────────────┐
│   Redis Stack (port 6380)      │                │     Backend MCP Servers    │
│                                │                │     (via Agent Gateway)    │
│  • Vector Index (HNSW)         │                │                            │
│  • COSINE similarity           │                │  • GitHub, Jira, Confluence│
│  • 400+ tools indexed          │                │  • Google Workspace, Notion│
└────────────────────────────────┘                │  • Kubernetes, AWS, Azure  │
             ▲                                    │  • And more...             │
             │                                    └────────────────────────────┘
┌────────────────────────────────┐
│  Infinity Embedding Service    │
│  (port 5000)                   │
│                                │
│  • ToolRet e5-large-v2 model   │
│  • 1024 dimensions             │
│  • OpenAI-compatible API       │
└────────────────────────────────┘

📁 プロジェクト構造

dmcp/
├── docker-compose.yml          # Full stack configuration
├── server/                     # DMCP Server (TypeScript)
│   ├── src/
│   │   ├── dmcp-server.ts      # Main server with connection management
│   │   ├── redis-vss.ts        # Redis vector similarity search
│   │   ├── custom-embedding-provider.ts
│   │   ├── dmcp-server.test.ts # Unit tests (28 tests)
│   │   └── redis-vss.test.ts   # Unit tests (28 tests)
│   ├── vitest.config.ts
│   └── package.json
├── indexer/                    # Tool Indexer (TypeScript)
│   └── src/
│       └── index.ts            # CLI indexer with parallel discovery
└── README.md

🐳 Dockerコマンド

# Start full stack
docker compose up -d

# View logs
docker compose logs -f dmcp-server

# Run one-shot indexing
docker compose run --rm indexer

# Start continuous sync worker
docker compose --profile worker up -d

# Rebuild after code changes
docker compose build dmcp-server && docker compose up -d dmcp-server

# Stop everything
docker compose down

# Stop and delete indexed data
docker compose down -v

⚙️ 設定

環境変数

接続の回復力

Docker Composeサービス

🔍 検索の仕組み

DMCPは、ToolRet埋め込みモデルを使用した純粋なベクトル検索を行います。

1. クエリはToolRetで学習されたE5-large-v2を使用して埋め込まれます。
2. RedisがHNSW最近傍検索を実行します。
3. 上位K件の結果がCOSINE類似度でソートされて返されます。
4. ツールは notifications/tools/list_changed を通じて利用可能になります。

例のクエリ:

🏥 ヘルスチェックと監視

ヘルスエンドポイント

curl http://localhost:3001/health

レスポンス:

{
  "status": "healthy",
  "toolCount": 440,
  "activeSessions": 2,
  "backendConnections": {
    "total": 5,
    "healthy": 5,
    "details": [
      {"serverId": "github", "healthy": true, "lastCheck": 1704700000000},
      {"serverId": "serena", "healthy": true, "lastCheck": 1704700000000}
    ]
  },
  "config": {
    "retryAttempts": 3,
    "retryDelayMs": 1000,
    "healthIntervalMs": 30000,
    "connectionTimeoutMs": 10000
  },
  "uptime": 3600
}

サーバーログ

docker compose logs -f dmcp-server

# Example output:
# 16:38:36 [DMCP] 🚀 Server listening on http://0.0.0.0:3000
# 16:38:36 [DMCP] ✓ Found 440 indexed tools
# 16:38:52 [DMCP] POST /mcp [initialize]
# 16:38:52 [DMCP] 📡 New connection request (session #1)
# 16:39:01 [DMCP] 🔍 Search: "kubernetes pods" (limit: 15)
# 16:39:01 [DMCP] ✓ Found 12 tools in 45ms

🧪 テスト

cd server

# Run tests
npm test

# Run with watch mode
npm run test:watch

# Run with coverage
npm run test:coverage

テストカバレッジ: 56個のテストで以下をカバーしています。

• ツール名のサニタイズと解析
• 接続リトライとヘルスチェックロジック
• Redisベクトル検索操作
• 埋め込み操作

🔧 ローカル開発

# Start only infrastructure
docker compose up -d redis-vss embedding-service

# Run server locally
cd server
npm install
REDIS_PORT=6380 EMBEDDING_URL=http://localhost:5000 npm run start

# Run tests
npm test

➕ MCPサーバーの追加

DMCPは任意のMCPサーバーと連携します。例の設定は gateway/config_parts/ にあります。

Notion MCPサーバー

Notion MCP は、Notionのページやデータベースを検索、読み取り、作成するためのツールを提供します。

1. notion.so/my-integrations でNotionの統合を作成します。
2. ゲートウェイの設定 (gateway/config_parts/70-notion.yaml) に以下を追加します。

targets:
  - name: notion
    type: mcp
    target_config:
      command: npx
      args:
        - -y
        - "@notionhq/notion-mcp-server"
      env:
        OPENAPI_MCP_HEADERS: '{"Authorization": "Bearer ${NOTION_API_KEY}", "Notion-Version": "2022-06-28"}'

3. APIキーを設定します: export NOTION_API_KEY=ntn_...
4. ゲートウェイを再起動し、再インデックスを実行します: docker compose run --rm indexer

その他の人気MCPサーバー

📊 パフォーマンス

📐 MCP仕様準拠

MCP仕様 を Streamable HTTP Transport で実装しています。

• ✅ listChanged: true 機能
• ✅ notifications/tools/list_changed 通知
• ✅ 検索に基づく動的ツール可用性
• ✅ Streamable HTTPトランスポート (POST/GET/DELETE)
• ✅ UUIDセッションIDによるセッション管理
• ✅ 非同期通知のためのSSE

🔬 研究基盤

"Retrieval Models Aren't Tool-Savvy" (ACL 2025) に基づく実装です。

• 📄 論文
• 🤗 モデル: mangopy/ToolRet-trained-e5-large-v2
• 🏠 GitHub

重要な洞察: 一般的なIRモデルはツール検索では性能が低く、ツール固有の学習が必要です。

🎬 インスピレーション

• 📺 MCP Tool Overload Problem - YouTube
• 📝 Redis Blog: From Reasoning to Retrieval

📄 ライセンス

MIT