Nest Llm Aigent

🚀 nest-llm-aigent

本項目是一個 AI 代理（Agent），基於 MCP（模型上下文協議）協議設計了轉發方案。它支持配置多個 MCP 服務器，能將其集成到公司現有業務中，並統一對外提供大模型的 HTTP 服務，解決了 MCP 協議在集成方面的難題。

🚀 快速開始

隨著 MCP（模型上下文協議）協議的推出，在統一協議的同時，為大模型擴展程序（MCP 服務器）實現一次開發、隨處運行提供了條件。然而，由於 MCP 天然側重於 CS 架構，導致我們難以方便地將其集成到公司現有的業務中。基於此背景，設計了這個轉發方案，可將該項目理解為一個 AI 代理（Agent），支持配置多個 MCP 服務器，並統一對外提供大模型的 HTTP 服務。

具體架構圖如下：

✨ 主要特性

• 輕鬆集成：通過適配層快速對接現有的 Web 服務（如基於 NestJS 構建的服務）。
• 無縫擴展：以私有 NPM 包的形式實現 MCP 服務器的快速集成與統一管理，保持 MCP 服務器的高度可移植性。
• 便捷部署：通過私有 NPM 包實現 MCP 服務器的集中管理和版本控制，無縫集成到現有的發佈流程中，方便部署。
• 大模型支持情況：幾乎支持所有類型的大模型調用。

📚 詳細文檔

接口定義

為了滿足不同場景下的功能需求，設計了以下標準化接口：

MCP 服務器部署方式

推薦將 MCP 服務器集成部署，以提高靈活性與統一管理能力。建議採用以下方案：

• 私有 NPM 包：將 MCP 服務器打包為 NPM 包，並通過企業私有 NPM 倉庫進行分發管理。
• 安裝與配置：通過 npm install 直接安裝 MCP 服務器包，並通過配置文件（如 mcp.config.json）實現快速集成。

示例配置文件 mcp.config.json：

{
  "mcpServers": {
    "server1": {
      "name": "example-server",
      "args": ["server.js"],
      "path": "./servers/server1/"
    }
  },
  "mcpClient": {
    "name": "mcp-client",
    "version": "1.0.0"
  }
}

🔧 技術細節

• 目前 MCP 服務器僅實現了基於 SSE 協議的 stdio。
• 請求時的上下文協議及全局變量可以在接口層、MCP 客戶端層和 MCP 服務器層共享。
• 當前支持 HTTP 接口，未來計劃將這些接口封裝為 socket，以更有利於聊天場景。
• 完成此項目後，有一個想法：是否可以基於 MCP 原始協議編寫一個公共類，使得基於該類編寫的 MCP 服務器不僅支持 MCP 客戶端調用，還可以支持引入模塊後的函數調用。這可能是另一個獨立的項目。
• 整個項目的開發大約花費了一天時間，由於時間緊張，後續有時間會進一步完善。