Dmcp

🚀 DMCP - 动态模型上下文协议

为MCP实现语义工具发现 - 通过向量搜索使工具发现以查询为驱动，解决“工具过多”的问题。

🚀 快速开始

前提条件

• Docker 与 Docker Compose
• 一个暴露工具的MCP服务器网关（例如，Agent Gateway）

1. 克隆并启动

git clone https://github.com/yourusername/dmcp.git
cd dmcp

# 启动所有服务：Redis、嵌入服务和 DMCP 服务器
docker compose up -d

# 等待服务启动完成（嵌入模型加载大约需要2 - 3分钟）
docker compose ps

2. 索引工具

# 运行索引器，将 MCP 网关中的工具填充到 Redis 中
docker compose run --rm indexer

# 验证工具是否已索引
curl http://localhost:3001/health
# → {"status":"healthy","toolCount":420,...}

3. 配置 VS Code

在 .vscode/mcp.json 中添加以下内容：

{
  "servers": {
    "dmcp": {
      "type": "http",
      "url": "http://localhost:3001/mcp"
    }
  }
}

完成！ 现在，search_tools 元工具已可在 VS Code / GitHub Copilot 中使用。

✨ 主要特性

• 🔍 语义搜索：使用 ToolRet 训练的 E5 模型进行准确的工具检索
• ⚡ 快速：约 50ms 的搜索延迟，减少 98% 的令牌使用
• 🔄 连接恢复能力：自动重试、健康检查和重新连接
• 🐳 Docker 就绪：包含 Redis VSS + 嵌入服务的完整堆栈
• 📊 可观测性：提供健康端点、会话日志和连接状态
• ✅ 经过测试：使用 vitest 进行了 56 个单元测试

📦 安装指南

克隆仓库

git clone https://github.com/yourusername/dmcp.git
cd dmcp

启动服务

docker compose up -d

索引工具

docker compose run --rm indexer

配置 VS Code

在 .vscode/mcp.json 中添加：

{
  "servers": {
    "dmcp": {
      "type": "http",
      "url": "http://localhost:3001/mcp"
    }
  }
}

💻 使用示例

基础用法

User: "Create a GitHub issue for this bug"

LLM calls: search_tools(query="create GitHub issue")
    → Returns top-15 relevant tools (via semantic vector search)
    → Tools become available for use

LLM calls: github_create_issue(...)
    → Issue created!

高级用法

User: "search for kubernetes tools"
→ search_tools("kubernetes")
← Returns: 15 k8s tools (get_pods, list_deployments, ...)

📚 详细文档

🏗️ 架构

┌─────────────────────────────────────────────────────────────────────────────┐
│                           VS Code / GitHub Copilot                          │
│                                                                             │
│  User: "search for kubernetes tools"                                        │
│        → search_tools("kubernetes")                                         │
│        ← Returns: 15 k8s tools (get_pods, list_deployments, ...)           │
└─────────────────────────────────┬───────────────────────────────────────────┘
                                  │ HTTP (Streamable HTTP Transport)
                                  ▼
┌─────────────────────────────────────────────────────────────────────────────┐
│                         DMCP Server (port 3001)                             │
│                                                                             │
│  • Exposes 1 meta-tool: search_tools                                        │
│  • Pure vector search (COSINE similarity, HNSW index)                       │
│  • Sends listChanged notifications when tools discovered                    │
│  • Connection keep-alive with health checks (30s interval)                  │
│  • Auto-retry on connection failures (3 attempts, exponential backoff)      │
└────────────┬──────────────────────────────────────────────────┬─────────────┘
             │                                                  │
             │ Query embeddings                                 │ Tool calls (SSE)
             ▼                                                  ▼
┌────────────────────────────────┐                ┌────────────────────────────┐
│   Redis Stack (port 6380)      │                │     Backend MCP Servers    │
│                                │                │     (via Agent Gateway)    │
│  • Vector Index (HNSW)         │                │                            │
│  • COSINE similarity           │                │  • GitHub, Jira, Confluence│
│  • 400+ tools indexed          │                │  • Google Workspace, Notion│
└────────────────────────────────┘                │  • Kubernetes, AWS, Azure  │
             ▲                                    │  • And more...             │
             │                                    └────────────────────────────┘
┌────────────────────────────────┐
│  Infinity Embedding Service    │
│  (port 5000)                   │
│                                │
│  • ToolRet e5-large-v2 model   │
│  • 1024 dimensions             │
│  • OpenAI-compatible API       │
└────────────────────────────────┘

📁 项目结构

dmcp/
├── docker-compose.yml          # Full stack configuration
├── server/                     # DMCP Server (TypeScript)
│   ├── src/
│   │   ├── dmcp-server.ts      # Main server with connection management
│   │   ├── redis-vss.ts        # Redis vector similarity search
│   │   ├── custom-embedding-provider.ts
│   │   ├── dmcp-server.test.ts # Unit tests (28 tests)
│   │   └── redis-vss.test.ts   # Unit tests (28 tests)
│   ├── vitest.config.ts
│   └── package.json
├── indexer/                    # Tool Indexer (TypeScript)
│   └── src/
│       └── index.ts            # CLI indexer with parallel discovery
└── README.md

🐳 Docker 命令

# 启动完整堆栈
docker compose up -d

# 查看日志
docker compose logs -f dmcp-server

# 运行一次性索引
docker compose run --rm indexer

# 启动持续同步工作器
docker compose --profile worker up -d

# 代码更改后重建
docker compose build dmcp-server && docker compose up -d dmcp-server

# 停止所有服务
docker compose down

# 停止并删除索引数据
docker compose down -v

⚙️ 配置

环境变量

连接恢复能力

Docker Compose 服务

🔍 搜索工作原理

DMCP 使用 纯向量搜索 和 ToolRet 嵌入模型：

1. 使用 ToolRet 训练的 E5-large-v2 对查询进行嵌入
2. Redis 执行 HNSW 最近邻搜索
3. 按余弦相似度对前 K 个结果进行排序并返回
4. 通过 notifications/tools/list_changed 使工具可用

示例查询：

🏥 健康与监控

健康端点

curl http://localhost:3001/health

响应：

{
  "status": "healthy",
  "toolCount": 440,
  "activeSessions": 2,
  "backendConnections": {
    "total": 5,
    "healthy": 5,
    "details": [
      {"serverId": "github", "healthy": true, "lastCheck": 1704700000000},
      {"serverId": "serena", "healthy": true, "lastCheck": 1704700000000}
    ]
  },
  "config": {
    "retryAttempts": 3,
    "retryDelayMs": 1000,
    "healthIntervalMs": 30000,
    "connectionTimeoutMs": 10000
  },
  "uptime": 3600
}

服务器日志

docker compose logs -f dmcp-server

# 示例输出：
# 16:38:36 [DMCP] 🚀 Server listening on http://0.0.0.0:3000
# 16:38:36 [DMCP] ✓ Found 440 indexed tools
# 16:38:52 [DMCP] POST /mcp [initialize]
# 16:38:52 [DMCP] 📡 New connection request (session #1)
# 16:39:01 [DMCP] 🔍 Search: "kubernetes pods" (limit: 15)
# 16:39:01 [DMCP] ✓ Found 12 tools in 45ms

🧪 测试

cd server

# 运行测试
npm test

# 以监听模式运行
npm run test:watch

# 运行并生成覆盖率报告
npm run test:coverage

测试覆盖率：56 个测试涵盖：

• 工具名称清理和解析
• 连接重试和健康检查逻辑
• Redis 向量搜索操作
• 嵌入操作

🔧 本地开发

# 仅启动基础设施
docker compose up -d redis-vss embedding-service

# 在本地运行服务器
cd server
npm install
REDIS_PORT=6380 EMBEDDING_URL=http://localhost:5000 npm run start

# 运行测试
npm test

➕ 添加 MCP 服务器

DMCP 可与任何 MCP 服务器配合使用。示例配置位于 gateway/config_parts/ 中。

Notion MCP 服务器

Notion MCP 提供用于搜索、读取和创建 Notion 页面/数据库的工具。

1. 在 notion.so/my-integrations 创建一个 Notion 集成
2. 将以下内容添加到网关配置文件（gateway/config_parts/70-notion.yaml）中：

targets:
  - name: notion
    type: mcp
    target_config:
      command: npx
      args:
        - -y
        - "@notionhq/notion-mcp-server"
      env:
        OPENAPI_MCP_HEADERS: '{"Authorization": "Bearer ${NOTION_API_KEY}", "Notion-Version": "2022-06-28"}'

3. 设置 API 密钥：export NOTION_API_KEY=ntn_...
4. 重启网关并重新索引：docker compose run --rm indexer

其他流行的 MCP 服务器

📊 性能

📐 MCP 规范合规性

实现了 MCP 规范 并使用 可流式 HTTP 传输：

• ✅ listChanged: true 功能
• ✅ notifications/tools/list_changed 通知
• ✅ 基于搜索的动态工具可用性
• ✅ 可流式 HTTP 传输（POST/GET/DELETE）
• ✅ 使用 UUID 会话 ID 进行会话管理
• ✅ 使用 SSE 进行异步通知

🔬 研究基础

基于 "Retrieval Models Aren't Tool-Savvy"（ACL 2025）实现：

• 📄 论文
• 🤗 模型：mangopy/ToolRet-trained-e5-large-v2
• 🏠 GitHub

关键见解：通用信息检索模型在工具检索方面表现不佳，特定于工具的训练至关重要。

🎬 灵感来源

• 📺 MCP 工具过载问题 - YouTube
• 📝 Redis 博客：从推理到检索

📄 许可证

本项目采用 MIT 许可证。