Firecrawl MCP Server 6kk

🚀 FireCrawl項目

FireCrawl是一個基於大語言模型的智能網絡爬蟲和內容處理平臺。它將先進的AI技術與高效的網絡數據抓取能力相結合，助力用戶從互聯網獲取、解析和分析信息。

🚀 快速開始

安裝依賴

npm install

構建項目

npm run build

執行測試

npm test

✨ 主要特性

• 智能爬取：結合AI理解和傳統爬蟲技術，實現高效且智能化的網頁抓取。
• 內容解析：利用大語言模型對抓取的內容進行深度理解和語義分析。
• 自動化處理：提供從數據收集到結果生成的一站式解決方案。

📦 安裝指南

安裝依賴

npm install

💻 使用示例

網頁爬取工具 (firecrawler)

基礎用法

# 示例用法
python firecrawler.py --url https://example.com --depth 2

主要特性

• 支持多線程/多進程加速
• 智能反反爬蟲機制
• 靈活的抓取策略配置

文本解析工具 (llm_parser)

基礎用法

# 示例用法
python llm_parser.py --file parsed.html --model gpt-4

功能特點

• 多語言支持
• 文檔理解與結構化
• 自然語言處理

深度網絡研究工具 (firecrawler_deep_search)

基礎用法

{
  "name": "firecrawler_deep_search",
  "arguments": {
    "query": "量子計算的基本原理是什麼？", 
    "maxDepth": 3,
    "timeLimit": 60,
    "maxUrls": 50
  }
}

參數說明

• query：必填，搜索關鍵詞或問題。
• maxDepth：可選，默認為2，爬取深度限制。
• timeLimit：可選，默認為30秒，時間限制。
• maxUrls：可選，默認為50，抓取URL數量上限。

返回結果

{
  "summary": "量子計算是一種基於量子位的並行計算方式...", 
  "sources": ["https://quantum.com/1", ...],
  "resultsCount": 3456
}

📚 詳細文檔

日誌系統

日誌記錄

• 操作狀態與進展
• 性能指標
• 配額使用情況
• 速率限制跟蹤
• 錯誤條件

示例日誌信息

[INFO] FireCrawl 服務已成功啟動
[WARNING] API配額即將用盡
[ERROR] 網絡請求超時，正在重試...

錯誤處理機制

處理策略

• 自動重試臨時錯誤
• 智能繞過速率限制
• 詳細錯誤信息報告
• 配額使用警告
• 網絡波動適應

示例錯誤響應

{
  "content": [
    {
      "type": "text",
      "text": "錯誤：API配額已用盡，等待30秒後重試..."
    }
  ],
  "isError": true
}

開發指南

貢獻方式

1. Fork代碼庫
2. 創建功能分支
3. 運行測試：npm test
4. 提交Pull Request

📄 許可證

項目採用MIT License，詳細信息請參閱許可文件。

如需進一步瞭解FireCrawl，請訪問官方網站或關注我們的Github倉庫。

👏 致謝

感謝以下貢獻者：

• @vrknetha
• @cawstudios

感謝MCP.so和Klavis AI提供的支持，以及@zhangwei的指導。