Docs Scraper

🚀 Crawl4AI 文檔抓取器

Crawl4AI 文檔抓取器能讓你的依賴文檔保持簡潔、最新，且適合 AI 使用。它可以從任何框架或庫網站提取乾淨、專注的文檔，既適合人類閱讀，也方便大語言模型（LLM）使用。

🚀 快速開始

在當今快速開發的環境中，使用 Crawl4AI 文檔抓取器能讓你：

• 📚 快速訪問無冗餘的依賴文檔
• 🤖 獲得適合 RAG 系統和 LLM 的格式
• 🎯 專注於內容，去除導航元素、廣告或其他無關部分
• ⚡ 快速高效地保持文檔更新
• 🧹 得到清潔的 Markdown 輸出，便於與文檔工具集成

傳統的網絡抓取通常會獲取所有內容，包括導航菜單、頁腳、廣告等。而 Crawl4AI 文檔抓取器專門設計用於提取實際文檔內容。

✨ 主要特性

主要優勢

1. 乾淨的文檔輸出
   • Markdown 格式的內容專注於文檔本身。
   • JSON 格式的結構化菜單數據。
   • 適用於文檔網站、Wiki 和知識庫。
   • 是 LLM 訓練和 RAG 系統的理想格式。
2. 智能內容提取
   • 自動識別主要內容區域。
   • 去除導航、廣告和其他無關部分。
   • 保留所有原始 Markdown 格式。
   • 支持多種語言（包括中文）。
3. 多線程處理
   • 並行抓取多個 URL，加快速度。
   • 智能管理請求頻率，避免被封禁。
4. 錯誤處理
   • 具備全面的錯誤處理和重試機制。
   • 詳細的日誌記錄，便於調試。

📚 詳細文檔

目錄結構

crawl4ai_docs_scraper/
├── input_files/           # 輸入文件用於 URL 處理
│   ├── urls.txt          # 每行一個 URL 的文本文件
│   └── menu_links.json   # 從菜單抓取器輸出的 JSON 文件
├── scraped_docs/         # Markdown 文件輸出目錄
│   └── docs_timestamp.md # 生成的文檔
├── multi_url_crawler.py
├── menu_crawler.py
└── requirements.txt

錯誤處理

所有抓取器都包含全面的錯誤處理和彩色終端輸出：

• 🟢 綠色：成功消息
• 🔵 青色：處理狀態
• 🟡 黃色：警告
• 🔴 紅色：錯誤消息