Firecrawl 8mz

🚀 Firecrawl MCP 服务器

FireCrawl MCP（管理控制面板）服务器是一个集成解决方案，融合了网页抓取、日志记录和大语言模型（LLM）生成功能。它通过命令行界面提供服务，支持智能爬虫操作、深入研究、生成标准化文件（如llms.txt）、信用监控以及错误处理，为用户提供了全面且高效的信息处理能力。

🚀 快速开始

若要使用 Firecrawl MCP 服务器，需先完成配置并安装依赖项，随后启动服务器。具体步骤可参考以下“配置”和“开发指南”部分。

✨ 主要特性

• 集成化解决方案：融合网页抓取、日志记录和大语言模型生成功能。
• 命令行界面：通过命令行提供各项功能，方便操作。
• 多功能支持：涵盖智能爬虫、深入研究、标准化文件生成、信用监控和错误处理等。

📦 安装指南

安装依赖项

使用以下命令安装所需依赖项：

pip install -r requirements.txt

运行服务器

启动服务器之前，请确保已设置 FIRECRAWL_API_KEY 环境变量。然后运行以下命令：

python server.py

📚 详细文档

配置

环境变量

使用以下环境变量来配置服务器：

示例配置

# 设置环境变量
export FIRECRAWL_API_KEY="your_api_key_here"

功能模块

爬虫框架（firecrawl_crawler）

工具名称：firecrawl_crawler

• 描述：用于从指定 URL 开始进行深度网页抓取。
• 示例用法：

{
  "name": "firecrawl_crawler",
  "arguments": {
    "url": "https://example.com",
    "maxDepth": 3,
    "outputFormat": "json"
  }
}

• 参数：
  • url (字符串，必需)：爬取的起始 URL。
  • maxDepth (数字，可选)：爬取的最大深度，默认为 2。
  • outputFormat (字符串，可选)：输出格式，可选值为 "json" 或 "xml"。
• 示例响应：

{
  "content": [
    {
      "type": "text",
      "text": "成功爬取 URL: https://example.com"
    }
  ],
  "isError": false
}

日志系统

• 描述：提供全面的日志记录功能，包括操作状态、性能指标、信用使用情况、速率限制以及错误条件。
• 示例日志消息：

[INFO] FireCrawl MCP Server 已成功初始化
[INFO] 正在爬取 URL: https://example.com
[WARNING] 信用使用量已达到警告阈值
[ERROR] 速率限制已超过，2 秒后重试...

错误处理

• 描述：提供强大的错误处理功能，包括自动重试、速率限制处理、详细错误消息、信用使用警告以及网络弹性。
• 示例错误响应：

{
  "content": [
    {
      "type": "text",
      "text": "请求的参数无效"
    }
  ],
  "isError": true,
  "errorDetails": "参数格式不正确"
}

开发指南

提交代码

请按照以下步骤提交代码：

1. 创建功能分支。
2. 提交您的更改。
3. 提交拉取请求到 main 分支。

遵守规范

• 遵循 PEP8 代码风格指南。
• 确保单元测试覆盖所有新功能。
• 在提交前检查代码质量。

👏 鸣谢

感谢以下贡献者：

• [Contributor Name] - 初始开发
• [Contributor Name] - 功能增强

📄 许可证

MIT License

版权 (c) 年份 作者名称

允许任何人免费使用、复制、修改、合并、发布和分发此软件及其衍生作品，但需遵守以下条件：

1. 在分发的副本中保留所有版权声明、许可声明和本免责声明。
2. 不对因使用此软件而产生的任何责任承担担保。

对于因使用或无法使用此软件而导致的任何形式的损害，包括但不限于直接或间接的损失或损坏，作者及其贡献者均不承担责任。