Http Rquest

🚀 mcp-rquest

mcp-rquest 是一個基於模型上下文協議 (MCP) 的服務器，為 Claude 和其他大型語言模型提供高級 HTTP 請求功能。它能讓模型更自然地與網站交互，繞過常見反機器人措施，還支持將 PDF 和 HTML 文檔轉換為 Markdown 格式，方便 LLM 處理。

🚀 快速開始

安裝

使用 pip 安裝 mcp-rquest：

pip install mcp-rquest

配置

在項目根目錄下創建一個 mcp_server.json 文件，並添加以下內容：

{
    "bind": ":3000",
    "workers": 4,
    "browser_fingerprints": {
        "chrome": true,
        "firefox": true,
        "safari": true,
        "edge": true,
        "okhttp": true
    },
    "features": {
        "content_conversion": true,
        "proxy_support": true,
        "rate_limiting": false
    }
}

啟動

啟動服務器：

mcp-rquest start --config mcp_server.json

使用示例

以下是一個簡單的使用示例：

import requests

response = requests.get("http://localhost:3000", params={"param": "value"})
print(response.text)

✨ 主要特性

完整的 HTTP 方法

支持 GET、POST、PUT、DELETE、PATCH、HEAD、OPTIONS 和 TRACE 等完整的 HTTP 方法。

瀏覽器指紋識別

具備準確的 TLS、JA3/JA4 和 HTTP/2 瀏覽器指紋，可有效繞過反機器人檢測。

內容處理

• 自動處理大響應，帶令牌計數功能。
• 將 HTML 轉換為 Markdown 格式，提高 LLM 處理效果。
• 使用 Marker 庫將 PDF 轉換為 Markdown 格式。
• 安全地將響應存儲在系統臨時目錄中。

瀏覽器模擬

支持 Chrome（多個版本）、Firefox、Safari（包括 iOS 和 iPad 版本）、Edge 和 OkHttp，確保請求看似來自標準瀏覽器而非機器人。

📦 安裝指南

使用 pip 安裝

pip install mcp-rquest

配置 MCP 服務器

在項目根目錄下創建 mcp_server.json 文件，內容如下：

{
    "bind": ":3000",
    "workers": 4,
    "browser_fingerprints": {
        "chrome": true,
        "firefox": true,
        "safari": true,
        "edge": true,
        "okhttp": true
    },
    "features": {
        "content_conversion": true,
        "proxy_support": true,
        "rate_limiting": false
    }
}

啟動服務器

mcp-rquest start --config mcp_server.json

💻 使用示例

基礎用法

import requests

response = requests.get("http://localhost:3000", params={"param": "value"})
print(response.text)

🔧 技術細節

瀏覽器指紋模擬

mcp-rquest 利用 rquest 強大的瀏覽器模擬功能，提供現實的瀏覽器指紋，幫助繞過反機器人檢測，訪問通常僅限於標準瀏覽器的內容。支持的瀏覽器指紋包括：

• Chrome（多個版本）
• Firefox
• Safari（包括 iOS 和 iPad 版本）
• Edge
• OkHttp 這確保通過 mcp-rquest 發送的請求看似來自合法瀏覽器流量而非機器人。

開發環境搭建

1. 克隆倉庫：

git clone https://github.com/xxxbrian/mcp-rquest.git

2. 創建虛擬環境（使用 uv）：

uv venv

3. 激活虛擬環境：

# Unix/macOS
source .venv/bin/activate
# Windows
.venv\Scripts\activate

4. 安裝開發依賴項：

uv pip install -e ".[dev]"

📄 許可證

本項目的許可證信息請參考 GitHub 倉庫。

致謝

• 該項目基於 rquest 構建，它提供了先進的 HTTP 客戶端和瀏覽器指紋識別功能。
• rquest 是 reqwest 的一個分支。