Crawl4ai

🚀 Crawl4AI MCP 服务器

Crawl4AI MCP 服务器是一款专为 AI 助手打造的高性能网络爬虫系统。它借助模型上下文协议（MCP）实现连接，提供了一系列强大工具，助力 AI 助手完成网页抓取与数据处理任务。

🚀 快速开始

安装说明

1. 本地安装：

   npm install
   

2. 运行环境准备：
   • 确保 Node.js 版本在 16.0.0 或以上。
   • 安装 Docker 并配置好相关环境。

运行与部署

1. 本地启动：

   npm run dev
   

2. Docker 部署：

   docker-compose up -d
   

使用说明

认证机制

• 实现了基于 OAuth 的安全认证。
• 支持使用 API 密钥进行身份验证。

与 MCP 客户端连接

在 Claude Desktop 或其他 MCP 客户端中添加本服务器地址作为工具数据源。

✨ 主要特性

核心功能

1. 网络爬虫：支持从指定 URL 开始进行深度优先或广度优先的网页抓取。
2. 数据存储：将抓取的内容存储在分布式数据库中，确保高可用性和持久性。
3. 内容提取：使用先进的自然语言处理技术提取文档中的关键信息。

高级功能

1. 任务管理：
   • crawl：从指定 URL 开始进行网络爬虫操作。
   • getCrawl：根据 ID 获取爬取数据。
   • listCrawls：列出所有爬取记录或按域名筛选结果。
2. 搜索功能：支持在抓取的文档中根据查询关键词进行全文检索。
3. 结构化提取：从指定 URL 提取结构化数据，如表格、列表等。

📚 详细文档

• 项目文档
• 模型上下文协议规范

🔧 技术细节

项目结构

src/
├── main.ts: 入口文件，启动服务器和相关服务
├── crawler/
│   ├── crawler.ts: 网络爬虫核心逻辑
│   └── storage.ts: 数据存储与检索模块
├── extractor/
│   └── extractor.ts: 内容提取算法实现
└── tools/
    ├── crawlTool.ts: 爬虫工具定义
    ├── searchTool.ts: 搜索工具定义
    └── extractTool.ts: 提取工具定义

配置选项

通过修改环境变量实现灵活配置：

MAX_CRAWL_DEPTH=3         # 默认爬取深度限制
MAX_CRAWL_PAGES=100       # 默认抓取页面数量上限
API_VERSION=v1            # API 版本号
OAUTH_CLIENT_ID=your_id    # OAuth 客户端 ID
OAUTH_CLIENT_SECRET=your_secret  # OAuth 客户端密钥

📈 开发规划

当前开发阶段

1. 项目初始化：完成 Cloudflare Worker 配置和 TypeScript 基础搭建。
2. MCP 服务器实现：完成 MCP 协议适配和服务框架。
3. Crawl4AI 组件集成：整合 Crawl4AI 功能模块。

未来规划

1. 性能优化：
   • 提升爬虫效率，优化存储结构。
2. 功能扩展：
   • 支持多线程爬取。
   • 增加更多数据处理功能，如图像识别、表格解析等。

🤝 贡献指南

欢迎社区贡献！请通过 GitHub 提交问题或 Pull Request 参与项目开发。详细规则请参考 CONTRIBUTING.md。

📑 附录

常见问题

• 如何提高爬虫效率？：可以优化爬取策略和增加代理服务器。
• 数据存储有哪些限制？：目前支持主流的数据库，后续将扩展更多存储方案。

联系方式

• 邮箱: support@crawl4ai.com
• GitHub: Crawl4AI 项目

感谢使用 Crawl4AI MCP 服务器！如需帮助，请随时联系我们。