Http Rquest

🚀 mcp-rquest

このプロジェクトは、モデルコンテキストプロトコル (MCP) に基づくサーバーで、Claude やその他の大規模言語モデルに高度な HTTP リクエスト機能を提供します。また、現実的なブラウザーエミュレーションや正確な TLS/JA3/JA4 フィンガープリントをサポートし、PDF や HTML ドキュメントを Markdown 形式に変換することもできます。

🚀 クイックスタート

このサーバーは rquest の上に構築されており、現実的なブラウザーエミュレーションと正確な TLS/JA3/JA4 フィンガープリントをサポートしています。これにより、モデルはより自然にウェブサイトとやり取りでき、一般的な反ロボット対策を回避できます。また、PDF や HTML ドキュメントを Markdown 形式に変換して、LLM がより簡単に処理できるようにします。

✨ 主な機能

• 完全な HTTP メソッド：GET、POST、PUT、DELETE、PATCH、HEAD、OPTIONS、TRACE をサポート
• ブラウザーフィンガープリント：正確な TLS、JA3/JA4、HTTP/2 ブラウザーフィンガープリント
• コンテンツ処理：
  • 大きなレスポンスを自動的に処理し、トークンカウント機能付き
  • HTML を Markdown 形式に変換して、LLM の処理効果を向上
  • Marker ライブラリを使用して、PDF を Markdown 形式に変換
  • レスポンスをシステムの一時ディレクトリに安全に保存
• ブラウザーシミュレーション：Chrome（複数バージョン）、Firefox、Safari（iOS および iPad バージョンを含む）、Edge、OkHttp をサポートし、リクエストが標準ブラウザーから来たように見せる

📦 インストール

pip を使用したインストール：

pip install mcp-rquest

MCP サーバーの設定

プロジェクトのルートディレクトリに mcp_server.json ファイルを作成し、以下の内容を追加します：

{
    "bind": ":3000",
    "workers": 4,
    "browser_fingerprints": {
        "chrome": true,
        "firefox": true,
        "safari": true,
        "edge": true,
        "okhttp": true
    },
    "features": {
        "content_conversion": true,
        "proxy_support": true,
        "rate_limiting": false
    }
}

サーバーの起動

mcp-rquest start --config mcp_server.json

💻 使用例

基本的な使用法

import requests

response = requests.get("http://localhost:3000", params={"param": "value"})
print(response.text)

📚 ドキュメント

ブラウザーフィンガープリントのシミュレーション

mcp-rquest は rquest の強力なブラウザーシミュレーション機能を利用して、現実的なブラウザーフィンガープリントを提供し、反ロボット検出を回避し、通常は標準ブラウザーに限定されたコンテンツにアクセスできるようにします。サポートされているブラウザーフィンガープリントは以下の通りです：

• Chrome（複数バージョン）
• Firefox
• Safari（iOS および iPad バージョンを含む）
• Edge
• OkHttp

これにより、mcp-rquest を通じて送信されるリクエストは、ロボットではなく合法的なブラウザートラフィックから来たように見えます。

開発環境のセットアップ

1. リポジトリをクローンする：

   git clone https://github.com/xxxbrian/mcp-rquest.git
   

2. 仮想環境を作成する（uv を使用）：

   uv venv
   

3. 仮想環境をアクティブ化する：

   # Unix/macOS
   source .venv/bin/activate
   # Windows
   .venv\Scripts\activate
   

4. 開発用の依存関係をインストールする：

   uv pip install -e ".[dev]"
   

📄 ライセンス

このプロジェクトは、rquest をベースに構築されており、高度な HTTP クライアントとブラウザーフィンガープリント機能を提供します。rquest は reqwest の派生プロジェクトです。