Crawl4ai MCP Server Rln

🚀 Crawl4ai MCP サーバー

このサーバーは、crawl4aiを使用してWebページをクロールし、Markdown形式で大規模言語モデルに出力するMCPサーバーです。

🚀 クイックスタート

このセクションでは、Crawl4ai MCPサーバーのインストールとセットアップ手順を説明します。

📦 インストール

前提条件

• Node.js
• crawl4aiインスタンスへのアクセス: https://docs.crawl4ai.com/core/docker-deployment/

セットアップ

1. リポジトリをクローンします。

git clone https://github.com/Kirill812/crawl4ai-mcp-server.git
cd crawl4ai-mcp-server

2. 依存関係をインストールします。

npm install

3. サーバーをビルドします。

npm run build

4. サーバーの設定を環境変数に追加します。

{
  "mcpServers": {
    "crawl4ai": {
      "command": "node",
      "args": [
        "/path/to/crawl4ai-mcp-server/build/index.js"
      ],
      "env": {
        "CRAWL4AI_API_URL": "http://127.0.0.1:11235",  // オプション: crawl4ai APIサービスのURL
        "CRAWL4AI_AUTH_TOKEN": "your-auth-token"       // オプション: 認証が必要な場合
      }
    }
  }
}

環境変数を自分の値に置き換えてください。

• CRAWL4AI_API_URL：crawl4ai APIサービスのURL（オプション）
• CRAWL4AI_AUTH_TOKEN：APIの認証トークン（オプション）

✨ 主な機能

ツール

• crawl_urls - ウェブページをクロールし、引用付きのMarkdownコンテンツを取得します。
  • パラメータ:
    • urls（必須）: クロールするURLのリスト

レスポンス形式

このツールは、各URLのMarkdownコンテンツとその引用を返します。複数のURLは水平線（---）で区切られます。例:

これは最初のURLの内容 [^1]

[^1]: https://example.com

---

これは2番目のURLの内容 [^2]

[^2]: https://example.org

🔧 開発

自動再構築を使用して開発するには、以下のコマンドを実行します。

npm run watch

🐞 エラー処理

一般的な問題と解決策:

1. URLが有効でアクセス可能であることを確認してください。
2. 認証が必要な場合は、トークンが有効であることを確認してください。
3. crawl4ai APIサービスへのネットワーク接続を確認してください。
4. タイムアウトエラーが発生した場合は、各リクエストのURL数を減らしてみてください。
5. ウェブサイトにブロックされた場合は、サービスが自動的に再試行し、異なるユーザーエージェントを使用します。

📄 ライセンス

このMCPサーバーはMITライセンスの下で配布されています。これは、あなたが自由にソフトウェアを使用、変更、配布できることを意味しますが、MITライセンスの条項と条件に従う必要があります。詳細については、プロジェクトリポジトリ内のLICENSEファイルを参照してください。