Jcrawl4ai MCP Server

🚀 jcrawl 项目

这是一个基于 Java 的爬虫项目，借助 Spring AI MCP Server 和 Hutool 等依赖构建。项目提供了 crawl 和 task 两个主要接口，可实现页面抓取、任务管理和数据存储等功能。

🚀 快速开始

启动步骤

1. 使用 Maven 安装项目：

   mvn clean install
   

2. 运行 Jar 包：

   java -jar target/jcrawl-1.0.0.jar
   

⚠️ 重要提示

下载 JAR 文件的链接请见 官方文档。

✨ 主要特性

• 爬虫核心：负责页面抓取和解析。
• 任务管理：支持批量爬取和任务调度。
• 数据存储：提供多种数据持久化方案。

📦 安装指南

依赖项

• Spring AI MCP Server
• Spring Boot
• Hutool

配置

项目的配置文件位于 application.properties 中：

cawl4ai.base-url=
cawl4ai.api-token=

💻 使用示例

示例配置

MCP Server 配置

{
  "mcpServers": {
    "jcrawl": {
      "autoApprove": ["crawl", "task"],
      "disabled": false,
      "timeout": 60,
      "command": "java",
      "args": [
        "-jar",
        "/path/to/jcrawl.jar"
      ],
      "transportType": "stdio"
    }
  }
}

📚 详细文档

接口说明

Crawl4aiApi 接口

crawl 方法

• 功能：爬取指定 URL。
• 参数：
  • urls：目标网站地址列表。
  • strategy：爬取策略（如广度优先、深度优先）。
  • max_depth：最大爬取深度。
  • output_format：输出格式（如 JSON、XML）。
• 返回：爬取结果的 JSON 字符串。

task 方法

• 功能：获取指定任务的爬取结果。
• 参数：
  • taskId：任务唯一标识符。
• 返回：爬取结果的 JSON 字符串。

📄 许可证

文档未提及许可证信息。

📞 联系方式

如需反馈或技术支持，请联系 Ken Ye。