Documentation Crawler

🚀 MCP 服務器文檔

MCP 服務器是一個強大的工具，可用於加載、管理和搜索各類文檔。它支持自動加載文檔、內置爬蟲功能，還提供了豐富的工具和配置選項，能有效提高文檔處理的效率和便捷性。

🚀 快速開始

安裝

使用 Node.js 安裝 MCP 服務器，具體步驟如下：

git clone [倉庫地址]
cd mcp-server
npm install

啟動服務器

運行以下命令啟動 MCP 服務器：

node server.js

默認情況下，服務器將在 http://localhost:3000 啟動。

✨ 主要特性

文檔加載流程

• 自動檢測和加載：當服務器啟動時，會自動掃描並加載位於 docs 目錄中的所有 JSON 文件。
• 備用加載機制：如果項目目錄下未找到文檔文件，則嘗試從當前工作目錄加載。
• 頁面 ID 確定：默認情況下，使用 URL 作為頁面的唯一標識符，無需額外指定 url 字段。
• 源名稱處理：所有文檔來源名稱會自動轉換為小寫以確保一致性。

爬蟲功能

系統內置爬蟲支持從各類框架的官方文檔站點抓取內容並轉換為本地可用格式。爬蟲特性包括：

1. 多站點支持：支持任意框架和庫的文檔網站，完全可配置。
2. 選擇性爬取：通過包含和排除模式精確控制需要爬取的內容。
3. 智能內容提取：自動識別頁面標題、正文內容及相關結構信息。
4. 高併發處理：支持多線程同時爬取，提高效率。
5. 自動轉換：將抓取內容自動轉換為標準 JSON 格式文檔。
6. 容錯機制：具備超時處理和重試功能，確保穩定性。

MCP 工具

MCP 服務器提供以下工具：

• search_docs - 文檔搜索：可根據關鍵詞搜索文檔，還能指定文檔源和結果數量。當 query 為 "reload" 時，觸發文檔重新加載。
• get_doc_detail - 獲取文檔詳情：根據文檔 ID 和可選的文檔源名稱獲取文檔的詳細信息。

📦 安裝指南

使用 Node.js 安裝 MCP 服務器：

git clone [倉庫地址]
cd mcp-server
npm install

💻 使用示例

基礎用法

// 搜索文檔
const searchRequest = {
  jsonrpc: "2.0",
  id: "search1",
  method: "tools/call",
  params: {
    name: "search_docs",
    arguments: { 
      query: "組件", 
      source: "taro",
      limit: 5
    }
  }
};

// 獲取文檔詳情
const detailRequest = {
  jsonrpc: "2.0",
  id: "detail1",
  method: "tools/call",
  params: {
    name: "get_doc_detail",
    arguments: { 
      id: "https://docs.taro.zone/docs/components"
    }
  }
};

📚 詳細文檔

文檔格式

文檔文件應為 JSON 格式，包含以下結構：

{
  "source": {
    "name": "taro",
    "url": "https://docs.taro.zone/docs"
  },
  "lastUpdated": "2024-03-27T12:00:00Z",
  "pages": {
    "https://docs.taro.zone/docs/components-desc": {
      "title": "組件庫說明 | Taro 文檔",
      "content": "頁面內容..."
    },
    // 更多頁面...
  }
}

爬蟲配置示例

在 config.json 中添加以下內容以配置爬蟲：

{
  "crawlers": {
    "taro": {
      "url": "https://docs.taro.zone/docs",
      "include": ["components", "tutorial"],
      "exclude": ["deprecated"]
    }
  }
}

配置示例

在 config.json 中配置 MCP 服務器：

{
  "port": 3000,
  "sources": {
    "taro": {
      "url": "https://docs.taro.zone/docs",
      "token": "your_token_here"
    }
  }
}

測試

創建測試文檔

在 docs 目錄中創建一個名為 example.json 的文件：

{
  "source": {
    "name": "test",
    "url": "http://localhost/test-docs"
  },
  "lastUpdated": "2024-03-27T12:00:00Z",
  "pages": {
    "/test": {
      "title": "測試頁面",
      "content": "這是一個測試文檔。"
    }
  }
}

發送測試請求

使用 curl 命令發送請求：

curl http://localhost:3000 -d '{"jsonrpc":"2.0","id":"search1","method":"tools/call","params":{"name":"search_docs", "arguments":{"query":"test"}}}'

錯誤處理

常見錯誤

• 404 Not Found：請求的資源未找到。
• 500 Internal Server Error：服務器內部錯誤。

日誌查看

查看 logs 目錄中的日誌文件以獲取更多信息。

更新日誌

v1.0.0

• 初始版本發佈
• 添加基本功能和文檔加載支持

v1.1.0

• 增加多線程爬取功能
• 優化文檔搜索性能
• 修復已知錯誤