Firecrawl MCP Server 00a

🚀 火焰爬虫（Firecrawl）管理制御平面（MCP）サーバードキュメント

火焰爬虫（FireCrawl）管理制御平面（MCP）サーバーは、強力なWebクローラーとコンテンツ管理ツールであり、多様なクロールモード、検索機能、およびインテリジェントな抽出をサポートします。このドキュメントでは、サーバーのインストール、設定、使用方法などについて説明します。

🚀 クイックスタート

このセクションでは、火焰爬虫（Firecrawl）管理制御平面（MCP）サーバーを迅速に起動するための手順を説明します。

クローン

git clone https://github.com/your-repository.git
cd firecrawl-mcp-server

依存関係のインストール

npm install

サービスの起動

node index.js

📦 インストール

インストール手順は以下の通りです。

リポジトリのクローン

git clone https://github.com/your-repository.git
cd firecrawl-mcp-server

依存関係のインストール

npm install

サービスの起動

node index.js

📚 ドキュメント

設定

config.json という設定ファイルを作成します。

{
  "firecrawl_api_key": "your_firecrawl_api_key",
  "max_concurrent_requests": 10,
  "proxy_settings": {
    "enabled": false,
    "url": "http://proxy.example.com:8080"
  },
  "logging": {
    "level": "INFO",
    "file_name": "firecrawl_mcp.log",
    "max_file_size": 1024 * 1024
  }
}

火焰爬虫 MCP サーバーの概要

火焰爬虫（FireCrawl）は、強力なWebクローラーとコンテンツ管理ツールで、さまざまなクロールモード、検索機能、およびインテリジェントな抽出をサポートしています。MCP（管理制御平面）サーバーはその核心コンポーネントで、タスクスケジューリング、状態監視、およびデータ管理を担当します。

火焰爬虫 MCP サーバーの機能

• マルチスレッドクロール：大規模なデータ収集を効率的に処理します。
• 分散サポート：複数のノードに拡張可能です。
• インテリジェントな反クロール対策：ターゲットウェブサイトによるブロックを回避します。
• コンテンツ抽出と構造化：LLM技術を使用してインテリジェントに解析します。

ツールの説明

1. クローラー起動ツール（firecrawl_start_crawl）

# 基本的な使用法
firecrawl_start_crawl --url https://example.com --depth 2

# 高度なオプション
firecrawl_start_crawl --url https://example.com --depth 3 --max_pages 100 --allow_external false

2. 状態確認ツール（firecrawl_check_status）

firecrawl_check_status --id crawl_1

3. 検索ツール（firecrawl_search）

firecrawl_search --query "your search query" --limit 5 --lang en --country us

4. 抽出ツール（firecrawl_extract）

firecrawl_extract --urls https://example.com/page1,https://example.com/page2 --prompt "Extract product information including name, price, and description"

ログシステム

ログファイルの位置

ログファイルはデフォルトで logs/ ディレクトリに firecrawl_mcp.log という名前で保存されます。

ログレベル

• DEBUG：詳細なデバッグ情報。
• INFO：通常の実行情報。
• WARNING：潜在的な問題の警告。
• ERROR：重大なエラーの記録。
• CRITICAL：システムレベルの障害。

エラー処理

一般的なエラーと解決策

1. 接続タイムアウト
   • ターゲットウェブサイトがIPアクセスを制限していないか確認してください。
   • プロキシサーバーの設定が正しいことを確認してください。
2. API Key エラー
   • API Key が有効であることを確認してください。
   • Key の権限設定を確認してください。
3. リソース不足
   • max_concurrent_requests の設定を増やしてください。
   • クローラーの戦略を最適化し、同時リクエスト数を減らしてください。

開発

新しい機能モジュールの作成

npm run dev

テスト

npm test

コードのコミット

git add .
git commit -m "添加新功能"
git push origin main

⚠️ 注意事項

1. 法令遵守：クローラーの動作が関連する法律およびウェブサイトの利用規約に準拠していることを確認してください。
2. リソース管理：リソースを適切に構成し、サーバーのパフォーマンスを過度に消費しないようにしてください。
3. 定期的な更新：最新バージョンに定期的に更新し、最新の機能とセキュリティパッチを取得してください。

詳細なヘルプが必要な場合は、FireCrawl 公式ドキュメントを参照してください。