Firecrawl

🚀 MCP Firecrawl サーバー

これは、Firecrawl APIを使用してウェブサイトのクローリングと構造化データの抽出を行うためのシンプルなMCPサーバーです。

🚀 クイックスタート

このサーバーを使用することで、ウェブサイトからのコンテンツ抽出や構造化データの取得が可能です。以下に、サーバーのセットアップと使用方法を説明します。

✨ 主な機能

• ウェブサイトクローリング：ウェブサイトからコンテンツを抽出し、複数の形式に対応しています。
• 構造化データ抽出：カスタムパターンに基づいて特定のデータポイントを抽出します。
• エラートラッキング：Sentryを統合してエラートラッキングとパフォーマンスモニタリングを行います。

📦 インストール

1. 依存関係のインストール：

npm install

2. ルートディレクトリに.envファイルを作成し、以下の変数を追加します：

FIRECRAWL_API_TOKEN=your_token_here
SENTRY_DSN=your_sentry_dsn_here

• FIRECRAWL_API_TOKEN（必須）：あなたのFirecrawl APIトークン
• SENTRY_DSN（オプション）：エラートラッキングとパフォーマンスモニタリングに使用するSentry DSN

3. サーバーの起動：

npm start

または、コマンドラインで環境変数を設定してサーバーを起動することもできます：

FIRECRAWL_API_TOKEN=your_token_here npm start

💻 使用例

基本的な使用法

サーバーは2つのツールを提供しています：

1. scrape-website：基本的なウェブサイトクローリングで、複数の出力形式に対応しています。
2. extract-data：プロンプトとパターンに基づく構造化データ抽出です。

ツール：scrape-website

このツールは、ウェブサイトをクローリングし、指定された形式でコンテンツを返します。

パラメータ：

• url（文字列、必須）：クローリングするウェブサイトのURL
• formats（文字列配列、オプション）：出力形式の配列。サポートされる形式は以下の通りです：
  • "markdown"（デフォルト）
  • "html"
  • "text"

MCP Inspectorを使用した例：

# 基本的な使用法（デフォルトはMarkdown）
mcp-inspector --tool scrape-website --args '{
  "url": "https://example.com"
}'

# 複数の形式
mcp-inspector --tool scrape-website --args '{
  "url": "https://example.com",
  "formats": ["markdown", "html", "text"]
}'

ツール：extract-data

このツールは、提供されたプロンプトとパターンに基づいて、ウェブサイトから構造化データを抽出します。

パラメータ：

• urls（文字列配列、必須）：データを抽出するURLのリスト
• prompt（文字列、必須）：抽出するデータを説明するプロンプト
• schema（オブジェクト、必須）：抽出するデータのパターンを定義するオブジェクト

パターン定義は、キーがフィールド名、値が型のオブジェクトです。サポートされる型は以下の通りです：

• "string"：テキストフィールド
• "boolean"：ブール値（true/false）
• "number"：数値
• 配列：["type"]と指定し、typeは上記のいずれかの型です。
• オブジェクト：ネストされたオブジェクトで、独自の型定義を持ちます。

MCP Inspectorを使用した例：

# 基本的な例：会社情報の抽出
mcp-inspector --tool extract-data --args '{
  "urls": ["https://example.com"],
  "prompt": "Extract the company mission, whether it supports SSO, and whether it is open source.",
  "schema": {
    "company_mission": "string",
    "supports_sso": "boolean",
    "is_open_source": "boolean"
  }
}'

# 複雑な例：ネストされたデータの抽出
mcp-inspector --tool extract-data --args '{
  "urls": ["https://example.com"],
  "prompt": "Extract detailed user information including name, age, and address.",
  "schema": {
    "user": {
      "name": "string",
      "age": "number",
      "address": {
        "street": "string",
        "city": "string",
        "country": "string"
      }
    }
  }
}'

📚 ドキュメント

トラブルシューティング

1. APIトークンとSentry DSN（使用する場合）が正しく設定されていることを確認してください。
2. ネットワーク接続を確認し、ターゲットウェブサイトにアクセスできることを確認してください。
3. コンソール出力またはログファイルを確認して、詳細なエラー情報を取得してください。