Mozilla Readability Parser MCP Server

🚀 Mozilla 可讀性解析器 MCP 服務器

這是一個基於 Python 的 Model Context Protocol (MCP) 服務器實現，其主要功能是將網頁內容提取出來，並轉換為適合大語言模型（LLM）處理的乾淨 Markdown 格式。

🚀 快速開始

啟動服務器

fastmcp run server.py

示例請求

curl -X POST http://localhost:8000/tools/extract_content \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com/article"}'

✨ 主要特性

• 移除廣告、導航欄、頁腳和其他非必要內容。
• 將乾淨的 HTML 轉換為格式良好的 Markdown。
• 平滑處理錯誤。
• 優化 LLM 處理流程。
• 輕量且快速。

📦 安裝指南

1. 克隆倉庫：

git clone https://github.com/jmh108/MCP-server-readability-python.git
cd MCP-server-readability-python

2. 創建並激活虛擬環境：

python -m venv venv
source venv/bin/activate  # 在 Windows 上使用：venv\Scripts\activate

3. 安裝依賴項：

pip install -r requirements.txt

📚 詳細文檔

為何不直接抓取？

與簡單的抓取請求相比，此服務器具有以下優勢：

• 使用可讀性算法提取相關內容。
• 消除噪聲，如廣告、彈出窗口和導航菜單。
• 通過移除不必要的 HTML/CSS 減少令牌使用。
• 提供一致的 Markdown 格式以改善 LLM 處理。
• 處理包含動態內容的複雜網頁。

工具參考

extract_content

該工具用於抓取並轉換網頁內容為乾淨的 Markdown。

參數：

{
  "url": {
    "type": "string",
    "description": "要解析的網站 URL",
    "required": true
  }
}

返回值：

{
  "content": "Markdown 內容..."
}

MCP 服務器配置

要在 MCP 設置文件中配置該服務器，請添加以下內容：

{
  "mcpServers": {
    "readability": {
      "command": "fastmcp",
      "args": ["run", "server.py"],
      "env": {}
    }
  }
}

然後可以通過 parse 工具啟動並訪問該服務器。

依賴項

• readability-lxml - 內容提取
• html2text - HTML 到 Markdown 轉換
• beautifulsoup4 - 網頁解析
• lxml - XML 處理

📄 許可證

本項目使用 MIT 許可證。有關詳細信息，請參閱 LICENSE 文件。