Jcrawl4ai MCP Server

🚀 jcrawl 項目

這是一個基於 Java 的爬蟲項目，藉助 Spring AI MCP Server 和 Hutool 等依賴構建。項目提供了 crawl 和 task 兩個主要接口，可實現頁面抓取、任務管理和數據存儲等功能。

🚀 快速開始

啟動步驟

1. 使用 Maven 安裝項目：

   mvn clean install
   

2. 運行 Jar 包：

   java -jar target/jcrawl-1.0.0.jar
   

⚠️ 重要提示

下載 JAR 文件的鏈接請見 官方文檔。

✨ 主要特性

• 爬蟲核心：負責頁面抓取和解析。
• 任務管理：支持批量爬取和任務調度。
• 數據存儲：提供多種數據持久化方案。

📦 安裝指南

依賴項

• Spring AI MCP Server
• Spring Boot
• Hutool

配置

項目的配置文件位於 application.properties 中：

cawl4ai.base-url=
cawl4ai.api-token=

💻 使用示例

示例配置

MCP Server 配置

{
  "mcpServers": {
    "jcrawl": {
      "autoApprove": ["crawl", "task"],
      "disabled": false,
      "timeout": 60,
      "command": "java",
      "args": [
        "-jar",
        "/path/to/jcrawl.jar"
      ],
      "transportType": "stdio"
    }
  }
}

📚 詳細文檔

接口說明

Crawl4aiApi 接口

crawl 方法

• 功能：爬取指定 URL。
• 參數：
  • urls：目標網站地址列表。
  • strategy：爬取策略（如廣度優先、深度優先）。
  • max_depth：最大爬取深度。
  • output_format：輸出格式（如 JSON、XML）。
• 返回：爬取結果的 JSON 字符串。

task 方法

• 功能：獲取指定任務的爬取結果。
• 參數：
  • taskId：任務唯一標識符。
• 返回：爬取結果的 JSON 字符串。

📄 許可證

文檔未提及許可證信息。

📞 聯繫方式

如需反饋或技術支持，請聯繫 Ken Ye。