Vrknetha MCP Server Firecrawl

🚀 FireCrawl MCP 服务器

FireCrawl MCP 服务器是一个与 FireCrawl 集成的 Model Context Protocol (MCP) 服务器实现，可用于高级网络爬虫功能。它能帮助用户从各类网站高效提取所需内容，支持多种输出格式和配置选项。

✨ 主要特性

• JavaScript 渲染：可从 JavaScript 富网站中提取内容。
• 移动/桌面视图：支持不同的视口配置，满足多样化需求。
• 智能速率限制：内置速率限制处理，保障服务稳定。
• 多种格式：支持 HTML、Markdown、截图和纯文本提取。
• 批量处理：能够高效处理多个 URL。
• 内容过滤：可包含或排除特定 HTML 标签。

📦 安装指南

npm install mcp-server-firecrawl

💻 使用示例

工具介绍

fire_crawl_scrape

从单个 URL 爬取内容，带有自定义选项。

• 输入：
  • url (字符串)：要爬取的目标 URL
  • formats (数组)：输出格式 (markdown, html, rawHtml, screenshot, links, screenshot@fullPage, extract)
  • waitFor (数字，可选)：等待时间（以毫秒为单位）
  • onlyMainContent (布尔值，可选)：仅提取主要内容
  • includeTags (数组，可选)：要特别包含的 HTML 标签
  • excludeTags (数组，可选)：要排除的 HTML 标签
  • mobile (布尔值，可选)：使用移动视图
  • skipTlsVerification (布尔值，可选)：跳过 TLS 验证

fire_crawl_batch

启动多个 URL 的批量爬取作业。

• 输入：
  • urls (数组)：要爬取的 URL 列表
  • formats (数组)：输出格式（与单个爬取相同）
  • 其他选项与 fire_crawl_scrape 相同

fire_crawl_status

检查批量爬取作业的状态。

• 输入：
  • id (字符串)：要检查的批处理作业 ID

🔧 配置说明

获取 API 密钥

1. 在 FireCrawl 账户 上注册。
2. 从仪表盘生成您的 API 密钥。
3. 将 API 密钥设置在环境变量中。

使用 Claude Desktop

将以下内容添加到 claude_desktop_config.json：

{
  "mcpServers": {
    "mcp-server-firecrawl": {
      "command": "npx",
      "args": ["-y", "mcp-server-firecrawl"],
      "env": {
        "FIRE_CRAWL_API_KEY": "YOUR_API_KEY_HERE"
      }
    }
  }
}

🔧 开发步骤

# 安装依赖项
npm install

# 构建
npm run build

# 运行测试
npm test

🔧 速率限制

• 免费层：每分钟 3 次请求。
• 达到速率限制后等待 25 秒冷却时间。
• 更高的限制在付费计划中可用。

📄 许可证

本项目采用 MIT 许可证，有关详细信息，请参阅 LICENSE 文件。