MCP Rss Crawler

🚀 MCP-RSS-Crawler 服务器

MCP-RSS-Crawler 服务器基于消息链协议（MCP）构建，旨在抓取 RSS 源，并将其与大型语言模型（LLMs）共享，为用户提供最新的 RSS 资讯。

✨ 主要特性

• 数据抓取与缓存：抓取 RSS 源并将其缓存到 SQLite 数据库中，方便后续查询和使用。
• 协议集成：实现 MCP 协议，可与 LLM 进行无缝集成，让 LLM 能够访问最新的 RSS 源。
• 过滤功能：支持按类别、来源或关键词过滤 RSS 源，精准获取所需信息。
• API 管理：提供全面的 API 端点，可对 RSS 源进行添加、更新和删除等操作。
• 内容获取：支持从 Firecrawl 获取文章内容，丰富信息来源。

📦 安装指南

安装要求

• 需具备 Bun 环境。
• 拥有 Firecrawl API 密钥。
• 准备好 Claude Desktop 或其他 MCP 客户端。

安装步骤

1. 克隆此仓库。
2. 基于 claude_desktop_config.json.example 创建一个 claude_desktop_config.json 文件，并在其中填入配置信息：

{
  "mcpServers": {
    "rss-crawler": {
      "command": "/path/to/bun",
      "args": ["run", "/path/to/mcp-rss-crawler/apps/mcp-server/src/mcp-cli.ts"],
      "cwd": "/path/to/mcp-rss-crawler",
      "env": {
        "PORT": "5556",
        "DB_DIR": "/path/to/mcp-rss-crawler",
        "FIRECRAWL_API_KEY": "fc-<YOUR_FIRECRAWL_API_KEY>"
      }
    }
  }
}

3. 安装依赖项：

bun install

4. 启动 Claude Desktop。

💻 使用示例

基础用法

该服务器实现了消息链协议（MCP），LLM 可通过向 MCP 端点发送包含 messages 数组的 POST 请求来获取最新的 RSS 源信息。

示例请求：

{
  "messages": [
    {
      "role": "user",
      "content": "我的 RSS 源有什么最新消息？"
    }
  ]
}

示例响应：

{
  "messages": [
    {
      "role": "assistant",
      "content": "以下是你的 RSS 源的最新文章：",
      "name": "rss-mcp"
    },
    {
      "role": "tool",
      "content": "[{\"title\":\"文章标题\",\"summary\":\"文章摘要...\",\"published\":\"2025-03-16T04:30:00.000Z\",\"origin\":\"源名称\",\"link\":\"https://example.com/article\"}]",
      "name": "rss-feeds"
    }
  ]
}

📚 详细文档

配置选项

服务器可通过环境变量或 .env 文件进行配置：

故障排除

• 若出现连接问题，请检查网络设置和防火墙配置。
• 可在控制台查看日志，用于诊断问题。
• 若需要更详细的日志记录，请在环境变量中设置 DEBUG=mcp-rss:*。