Mcma123 Firecrawl MCP Server

🚀 FireCrawl项目文档

FireCrawl是一个开源的网络爬取和信息提取工具，具备网页抓取、内容解析、搜索优化等功能模块，能有效应对各类网络数据获取任务。

🚀 快速开始

你可以按照以下步骤安装并启动FireCrawl：

# 克隆仓库
git clone https://github.com/yourusername/firecrawl.git

# 进入项目目录
cd firecrawl

# 安装依赖项
npm install

# 启动服务
node index.js

✨ 主要特性

FireCrawl提供了丰富的功能模块，满足多样化的网络数据获取需求：

1. 网页抓取工具 (firecrawler_crawl)

启动一个异步爬虫，获取目标网页的内容。

{
  "name": "firecrawler_crawl",
  "arguments": {
    "url": "https://example.com", // 需要爬取的URL地址
    "maxDepth": 2, // 最大爬取深度
    "limit": 100, // 单页最大获取链接数
    "allowExternalLinks": false, // 是否允许抓取外部链接
    "deduplicateSimilarUrls": true // 是否去除相似URL
  }
}

2. 内容提取工具 (firecrawler_extract)

利用大语言模型（LLM）从网页中提取结构化信息。

{
  "name": "firecrawler_extract",
  "arguments": {
    "urls": ["https://example.com/page1", "https://example.com/page2"], // 需要提取的URL列表
    "prompt": "Extract product information including name, price, and description", // 提取提示语句
    "systemPrompt": "You are a helpful assistant that extracts product information", // 系统提示语
    "schema": { // 结构化数据模式
      "type": "object",
      "properties": {
        "name": { "type": "string" },
        "price": { "type": "number" },
        "description": { "type": "string" }
      },
      "required": ["name", "price"]
    },
    "allowExternalLinks": false, // 是否允许提取外部链接
    "enableWebSearch": false, // 是否启用网络搜索功能
    "includeSubdomains": false // 是否包含子域名
  }
}

提取工具选项

• urls: 需要提取的URL列表
• prompt: 自定义提示语句
• systemPrompt: 系统提示语
• schema: JSON模式，用于结构化数据提取
• allowExternalLinks: 是否允许从外部链接中提取信息
• enableWebSearch: 是否启用网络搜索功能以获取更多上下文信息
• includeSubdomains: 是否包含子域名

3. 搜索工具 (firecrawler_search)

在网络上执行搜索任务，并可选地从搜索结果中提取内容。

{
  "name": "firecrawler_search",
  "arguments": {
    "query": "your search query", // 搜索关键词
    "limit": 5, // 结果数量限制
    "lang": "en", // 搜索语言
    "country": "us", // 搜索区域国家代码
    "scrapeOptions": { // 内容提取选项
      "formats": ["markdown"], // 提取格式
      "onlyMainContent": true // 是否只提取主要网页内容
    }
  }
}

4. 日志与监控

FireCrawl提供了详细的日志记录功能，方便用户监控爬虫的运行状态。日志文件默认存储在 ./logs 目录下。

# 查看实时日志
tail -f ./logs/crawler.log

5. 错误处理

系统内置错误捕捉机制，自动记录爬取过程中遇到的问题，并提供错误代码和简要说明。

常见错误代码

• 403 Forbidden: 目标网站拒绝访问
• 404 Not Found: 请求资源不存在
• 503 Service Unavailable: 服务器暂时不可用
• CONNECTION_TIMEOUT: 连接超时
• PARSE_ERROR: 内容解析失败

📚 详细文档

配置选项

网络请求配置

{
  "requestOptions": {
    "headers": { // 请求头信息
      "User-Agent": "FireCrawler/1.0", // 模拟浏览器访问
      "Accept-Language": "zh-CN" // 接受中文内容
    },
    "timeout": 30000, // 单个请求超时时间（毫秒）
    "proxy": null // 可选，设置代理服务器信息
  }
}

存储配置

{
  "storageOptions": {
    "type": "filesystem", // 支持的存储类型：filesystem, database, s3
    "path": "./data", // 文件系统存储路径
    "dbConfig": null, // 数据库连接信息（如使用数据库）
    "awsS3Config": null // AWS S3 存储配置（如使用云存储）
  }
}

日志系统

FireCrawl提供详细的日志记录功能，支持多种日志级别：

• DEBUG: 调试信息
• INFO: 正常运行信息
• WARNING: 可能影响功能的警告信息
• ERROR: 出现错误时的日志
• CRITICAL: 严重错误导致服务中断

日志格式

默认日志格式如下：

[TIME] - [LEVEL] - [MODULE]: Message

错误处理机制

系统内置错误捕捉模块，支持自定义错误处理器。默认情况下，会记录错误信息并暂停爬虫运行。

自定义错误处理示例

module.exports.errorHandler = function(err) {
  console.error('Custom error handler:', err);
  // 可选：添加额外的错误处理逻辑
};

开发与贡献

安装依赖

git clone https://github.com/yourusername/firecrawl.git
cd firecrawl
npm install

启动服务

node index.js

提交代码规范

1. 为每个提交编写清晰的提交信息。
2. 确保单元测试通过。
3. 更新相关的文档。

贡献指南

欢迎社区贡献代码！请遵循以下步骤：

1. Fork项目仓库。
2. 在自己的分支上进行开发。
3. 提交Pull Request前，确保所有测试用例通过。
4. 添加更新的文档和注释。

📄 许可证

FireCrawl使用MIT许可证，欢迎自由使用和修改代码。