Jmh108 MCP Server Readability Python

🚀 Mozilla 可读性解析器 MCP 服务器

本项目是基于 Python 的 Model Context Protocol (MCP) 服务器实现，可将网页内容提取并转换为适合大语言模型处理的干净 Markdown 格式，有效提升大语言模型处理网页信息的效率和质量。

🚀 快速开始

启动服务器

fastmcp run server.py

示例请求

curl -X POST http://localhost:8000/tools/extract_content \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/article"}'

✨ 主要特性

• 内容净化：删除广告、导航栏、页脚和其他非必要内容。
• 格式转换：将干净的 HTML 转换为格式良好的 Markdown。
• 错误处理：温和处理错误，保障系统稳定。
• 优化适配：优化用于大语言模型（LLM）处理。
• 性能优越：轻量级且快速。

🤔 为什么不用直接抓取？

与简单的抓取请求不同，此服务器具备以下优势：

• 精准提取：使用可读性算法提取仅相关内容。
• 降噪处理：消除广告、弹出窗口和导航菜单等噪音。
• 节省资源：通过去除不必要的 HTML/CSS 减少 token 使用。
• 格式统一：提供一致的 Markdown 格式以提升 LLM 处理效果。
• 复杂处理：处理包含动态内容的复杂网页。

📦 安装指南

1. 克隆仓库：

git clone https://github.com/jmh108/MCP-server-readability-python.git
cd MCP-server-readability-python

2. 创建并激活虚拟环境：

python -m venv venv
source venv/bin/activate  # 在 Windows 上使用：venv\Scripts\activate

3. 安装依赖项：

pip install -r requirements.txt

📚 详细文档

工具参考

extract_content

此工具用于抓取并转换网页内容为干净的 Markdown。

参数：

{
  "url": {
    "类型": "字符串",
    "描述": "要解析的网站 URL",
    "必需": true
  }
}

返回值：

{
  "content": "Markdown 内容..."
}

MCP 服务器配置

要在 MCP 设置文件中配置此服务器，请添加以下内容：

{
  "mcpServers": {
    "readability": {
      "command": "fastmcp",
      "args": ["run", "server.py"],
      "env": {}
    }
  }
}

然后可以通过 MCP 协议启动该服务器并使用 parse 工具进行访问。

🔧 技术细节

依赖项

• readability-lxml - 内容提取
• html2text - HTML 转换为 Markdown
• beautifulsoup4 - DOM 解析
• requests - HTTP 请求

📄 许可证

本项目采用 MIT License，详情请参阅 LICENSE。