🚀 Firecrawl MCP 服务器

Firecrawl MCP 服务器是一款强大的工具，借助 Firecrawl API，可实现网络爬取、内容搜索、网站抓取以及数据提取等功能，为用户提供全面的网络数据处理解决方案。

✨ 主要特性

网页抓取：能够从任意网页中提取内容，还支持一系列自定义选项。
- 可模拟移动设备进行网页访问。
- 能有效拦截广告和弹出窗口，避免干扰。
- 支持内容过滤，精准获取所需信息。
- 可提取结构化数据，方便后续处理。
- 提供多种输出格式，满足不同需求。
内容搜索：具备智能搜索功能。
- 支持多语言搜索，适应不同语言环境。
- 能基于位置提供搜索结果。
- 可自定义结果限制，灵活控制输出。
- 采用结构化输出格式，便于查看和分析。
网站抓取：拥有高级网络爬取功能。
- 可对爬取深度进行控制。
- 支持路径过滤，精准定位目标页面。
- 能设置速率限制，避免对目标网站造成过大压力。
- 可跟踪爬取进度，实时了解工作状态。
- 支持网站地图集成，提高爬取效率。
网站映射：可生成网站结构图。
- 支持子域名映射。
- 具备搜索过滤功能，快速定位所需信息。
- 可进行链接分析，了解网站结构。
- 提供可视化层次结构，直观展示网站架构。
数据提取：可从多个 URL 中提取结构化数据。
- 支持架构验证，确保数据质量。
- 可进行批处理，提高提取效率。
- 能增强网站搜索功能。
- 支持自定义提取提示，满足个性化需求。

📦 安装指南

# 全局安装
npm install -g @modelcontextprotocol/mcp-server-firecrawl

# 项目本地安装
npm install @modelcontextprotocol/mcp-server-firecrawl

🚀 快速开始

获取 API 密钥：访问 Firecrawl 官方网站并注册以获取你的 API 密钥。

设置环境变量：

export FIRECRAWL_API_KEY='your_api_key_here'

安装并运行服务器：

npm install @modelcontextprotocol/mcp-server-firecrawl
node index.js

📚 详细文档

集成

Claude Desktop App 集成

在 config.json 文件中添加以下内容以集成 Firecrawl：

{
  "firecrawl": {
    "apiKey": "your_api_key_here",
    "baseUrl": "https://api.firecrawl.com"
  }
}

VSCode 扩展集成

在扩展的配置文件中添加以下代码：

import { fireCrawlSettings } from '@modelcontextprotocol/mcp-server-firecrawl';
fireCrawlSettings.apiKey = 'your_api_key_here';

错误处理

该服务器实现了健壮的错误处理：

带有指数级回退的速率限制
自动重试
详细错误消息
调试日志

安全

API 密钥保护
请求验证
允许列表
速率限制
安全错误消息

开发

# 安装依赖项
npm install

# 构建
npm run build

# 运行测试
npm test

# 在开发模式下启动
npm run dev

示例

查看 examples 目录中的更多使用示例：

基本抓取：scrape.ts
爬取和映射：crawl-and-map.ts

贡献

请参考 CONTRIBUTING.md 了解贡献指南。

💻 使用示例

基础用法

const fireCrawl = require('@modelcontextprotocol/mcp-server-firecrawl');

async function basicScrape() {
  try {
    const result = await fireCrawl.scrape('https://example.com');
    console.log(result);
  } catch (error) {
    console.error(error.message);
  }
}

basicScrape();

高级用法

const fireCrawl = require('@modelcontextprotocol/mcp-server-firecrawl');

async function crawlAndMap() {
  try {
    const crawlResult = await fireCrawl.crawl('https://example.com');
    const mapResult = await fireCrawl.map(crawlResult.urls);
    console.log(mapResult);
  } catch (error) {
    console.error(error.message);
  }
}

crawlAndMap();