Jcrawl4ai MCP Server

🚀 jcrawl プロジェクト

このプロジェクトは Java ベースのクローラーで、Spring AI MCP Server や Hutool などの依存関係を利用しています。crawl と task の 2 つの主要なインターフェースを提供しています。

🚀 クイックスタート

このセクションでは、jcrawl プロジェクトを起動する手順を説明します。

インストール

1. Maven を使用してプロジェクトをインストールします。

mvn clean install

2. Jar ファイルを実行します。

java -jar target/jcrawl-1.0.0.jar

⚠️ 重要提示

JAR ファイルのダウンロードリンクは 公式ドキュメント を参照してください。

✨ 主な機能

• 爬虫核心：ページの取得と解析を担当します。
• 任务管理：バッチクローリングとタスクスケジューリングをサポートします。
• 数据存储：複数のデータ永続化ソリューションを提供します。

📦 インストール

依存関係

• Spring AI MCP Server
• Spring Boot
• Hutool

設定

プロジェクトの設定ファイルは application.properties にあります。

cawl4ai.base-url=
cawl4ai.api-token=

💻 使用例

Crawl4aiApi インターフェースの使用例

crawl メソッド

• 機能：指定された URL をクロールします。
• パラメータ：
  • urls：対象ウェブサイトのアドレスリスト。
  • strategy：クロール戦略（幅優先、深さ優先など）。
  • max_depth：最大クロール深度。
  • output_format：出力形式（JSON、XML など）。
• 戻り値：クロール結果の JSON 文字列。

task メソッド

• 機能：指定されたタスクのクロール結果を取得します。
• パラメータ：
  • taskId：タスクの一意の識別子。
• 戻り値：クロール結果の JSON 文字列。

📚 ドキュメント

サンプル設定

MCP Server 設定

{
  "mcpServers": {
    "jcrawl": {
      "autoApprove": ["crawl", "task"],
      "disabled": false,
      "timeout": 60,
      "command": "java",
      "args": [
        "-jar",
        "/path/to/jcrawl.jar"
      ],
      "transportType": "stdio"
    }
  }
}

📄 ライセンス

本プロジェクトのライセンス情報は提供されていません。

お問い合わせ

フィードバックや技術サポートが必要な場合は、Ken Ye までお問い合わせください。