Crawl4ai MCP Server

🚀 Crawl4AI MCP サーバー

このサーバーは、MCP（モデルコンテキストプロトコル）に基づくインテリジェントな情報取得サーバーです。AIアシスタントシステムに強力な検索機能と大規模言語モデル向けに最適化されたウェブコンテンツ理解機能を提供します。多エンジン検索とインテリジェントなコンテンツ抽出を通じて、AIシステムがインターネット情報を効率的に取得および理解するのを支援し、markdown_with_citations形式での出力をサポートして、大規模言語モデルによる参照と処理を容易にします。

✨ 主な機能

• 多エンジン検索：デフォルトでDuckDuckGo検索エンジンが統合されており、Google検索の拡張もサポートしています（設定が必要）。
• LLM最適化コンテンツ抽出：大規模言語モデル向けに設計されたコンテンツフィルタリングと抽出メカニズムで、ナビゲーションバーや広告などの不要な情報を自動的に削除し、重要なコンテンツとURL参照を保持します。
• 情報価値重視：最小単語数閾値（10）によって無効な断片をフィルタリングし、出力コンテンツの高品質と高関連性を保証します。

📦 インストール

通常のインストール

# 仮想環境を作成してアクティブ化する
python -m venv env
source env/bin/activate  # macOS/Linuxの場合
env\Scripts\activate      # Windowsの場合

# 依存関係をインストールする
pip install -r requirements.txt

# サーバーを設定する
cp config_demo.json config.json

# サーバーを起動する
python src/index.py

Claudeクライアントプラグインのインストール

# smithery CLIを使用してClaude Sonnet 3.5にインストールする
smithery plugin install @weidwonder/crawl4ai-mcp-server --development

💻 使用例

基本的な使用法

検索機能（search）

リクエスト例：

curl -X POST "http://localhost:8000/api/search" \
     -H "Content-Type: application/json" \
     -d '{"query":"AI技術の発展歴史","gl":null,"hl":null}'

出力形式：

• markdown_with_citationsとplaintextの2つの形式をサポートしており、デフォルトはmarkdown_with_citationsです。
• 各結果にはタイトル、コンテンツの抜粋、元のURL、および関連性スコアが含まれています。

コンテンツ抽出と処理（read_url）

リクエスト例：

curl -X POST "http://localhost:8000/api/read_url" \
     -H "Content-Type: application/json" \
     -d '{"url":"https://example.com"}'

📚 ドキュメント

プロジェクト構造

crawl4ai_mcp_server/
├── src/
│   ├── index.py      # サーバーのメイン実装
│   └── search.py     # 検索機能の実装
├── config_demo.json  # 設定ファイルのサンプル
├── pyproject.toml    # プロジェクト設定
├── requirements.txt  # 依存関係のリスト
└── README.md         # プロジェクトドキュメント

設定の説明

1. 設定テンプレートをコピーする：

   cp config_demo.json config.json
   

2. Google検索を設定する（オプション）：
   • config.jsonに以下の内容を追加します。

     {
         "google": {
             "api_key": "your_google_api_key",
             "cse_id": "your_google_cse_id"
         }
     }
     

更新履歴

• 2025.02.08：検索機能を追加し、DuckDuckGo（デフォルト）とGoogle検索をサポートしました。
• 2025.02.07：プロジェクト構造を再構築し、FastMCPを使用して実装し、依存関係の管理を最適化しました。
• 2025.02.07：コンテンツフィルタリング設定を最適化し、トークン効率を向上させ、URLの完全性を維持しました。

📄 ライセンス

このプロジェクトはMIT Licenseに準拠しています。

貢献ガイド

問題やPull Requestの投稿を歓迎します！ GitHubリポジトリのURL：https://github.com/weidwonder/crawl4ai-mcp-server

作者情報

• プロジェクト責任者：weidwonder
• 主要開発者：Claude Sonnet 3.5
  • コードはすべてClaudeによって作成されました。総所要時間は約3時間で、コーディングに0.5時間、環境準備に0.5時間、デバッグに2時間かかりました。

謝辞

このプロジェクトに貢献してくれたすべての開発者に感謝します！

特別な感謝を表します：

• Crawl4ai プロジェクトが提供する優れたウェブコンテンツ抽出技術のサポート