Docs Scraper

🚀 Crawl4AI ドキュメントスクレイパー

このツールは、依存ドキュメントを簡潔で最新の状態に保ち、AI での使用に最適化します。任意のフレームワークやライブラリのウェブサイトから、きれいで重点的なドキュメントを抽出し、人間の読者や大規模言語モデル（LLM）に最適な形式で提供します。

🚀 クイックスタート

なぜこのツールを使うのか？

現在の急速な開発環境において、以下のことが求められます。

• 📚 冗長性のない依存ドキュメントへの迅速なアクセス
• 🤖 RAG システムや LLM に適した形式
• 🎯 ナビゲーション要素、広告、その他の関係のない部分を取り除き、内容に集中
• ⚡ ドキュメントを迅速かつ効率的に更新
• 🧹 ドキュメントツールとの統合が容易なクリーンな Markdown 出力

従来のウェブスクレイピングでは、ナビゲーションメニュー、フッター、広告などのすべての内容が取得されますが、このツールキットは実際のドキュメント内容のみを抽出するように設計されています。

✨ 主な機能

1. クリーンなドキュメント出力

   • Markdown 形式で、内容に重点を置いたドキュメント
   • JSON 形式の構造化メニューデータ
   • ドキュメントサイト、Wiki、ナレッジベースに適しています
   • LLM のトレーニングや RAG システムに最適な形式

2. スマートなコンテンツ抽出

   • 主要なコンテンツ領域を自動的に識別
   • ナビゲーション、広告、その他の関係のない部分を削除
   • すべての元の Markdown 形式を保持
   • 複数の言語（中国語を含む）をサポート

3. マルチスレッド処理

   • 複数の URL を並列にスクレイピングし、速度を向上
   • リクエスト頻度をスマートに管理し、ブロックを回避

4. エラー処理

   • 包括的なエラー処理とリトライメカニズム
   • デバッグを容易にする詳細なログ記録

📚 ドキュメント

ディレクトリ構造

crawl4ai_docs_scraper/
├── input_files/           # URL 処理用の入力ファイル
│   ├── urls.txt          # 1 行に 1 つの URL のテキストファイル
│   └── menu_links.json   # メニュークローラーの出力 JSON ファイル
├── scraped_docs/         # Markdown ファイルの出力ディレクトリ
│   └── docs_timestamp.md # 生成されたドキュメント
├── multi_url_crawler.py
├── menu_crawler.py
└── requirements.txt

エラー処理

すべてのクローラーには包括的なエラー処理とカラー付きのターミナル出力が含まれています。

• 🟢 緑色：成功メッセージ
• 🔵 青色：処理状態
• 🟡 黄色：警告
• 🔴 赤色：エラーメッセージ