Scrapling Fetch MCP

🚀 ウェブページスクレイピング MCP サービス

この MCP サーバーは、AI アシスタントが反ロボット検出を実施しているウェブサイト上のテキストコンテンツにアクセスするのを支援します。これにより、ブラウザで見ることができる内容と AI がアクセスできる内容のギャップを埋めます。

🚀 クイックスタート

このウェブページスクレイピング MCP サービスは、反ロボット検出を実施しているウェブサイトからの低容量のドキュメントや参考資料（text/HTML のみ）の検索に最適化されています。

✨ 主な機能

• このパッケージは、2 つの異なるツールを提供します。
  • s - fetch - page：ページングサポート付きの完全なウェブページ検索
  • s - fetch - pattern：正規表現を使用して内容をマッチングし、コンテキストを抽出
• 様々な保護レベルと内容の位置指定オプションがあります。
  • 保護レベル：basic（高速検索、成功率低）、stealth（バランスの取れた保護、多くのサイトに適用）、max - stealth（最大保護、高度に保護されたサイト向け）
  • 内容定位オプション：s - fetch - page は start_index と max_length でページング検索をサポート、s - fetch - pattern は正規表現で特定の内容を抽出

📦 インストール

1. 前提条件：
   • Python 3.10 以上
   • [uv](https://github.com/astral - sh/uv) パッケージマネージャー
2. 依存関係とツールのインストール：

uv tool install scrapling
scrapling install
uv tool install scrapling - fetch - mcp

📚 ドキュメント

Claude を使用した設定

Claude クライアントの MCP サーバー設定に以下の設定を追加します。

{
  "mcpServers": {
    "Cyber - Chitta": {
      "command": "uvx",
      "args": ["scrapling - fetch - mcp"]
    }
  }
}

機能オプション

• 保護レベル：
  • basic：高速検索（1 - 2 秒）ですが、高度に保護されたサイトでの成功率は低いです。
  • stealth：バランスの取れた保護（3 - 8 秒）で、ほとんどのサイトに適しています。
  • max - stealth：最大保護（10 + 秒）で、高度に保護されたサイトを対象としています。
• 内容定位オプション：
  • s - fetch - page：start_index と max_length を使用して、ページング検索で全ページを取得できます。
  • s - fetch - pattern：正規表現（search_pattern と context_chars を使用）で特定の内容を抽出します。結果には位置情報が含まれ、後続の s - fetch - page クエリで使用できます。

ベストプラクティスのヒント

• basic モードから始め、必要な場合のみより高い保護レベルにアップグレードします。
• 大きなドキュメントを処理する場合は、s - fetch - page のページングパラメーターを使用します。
• 特定の情報を検索する場合は、s - fetch - pattern を使用します。
• AI は自動的にウェブサイトの保護レベルに応じて方法を調整します。

制限事項

• テキストコンテンツ専用：ドキュメント、記事、参考資料を対象としています。
• 大容量のスクレイピングやデータ収集には適していません。
• 認証が必要なウェブサイトを処理できない場合があります。
• 性能はウェブサイトの複雑さによって異なります。

💻 使用例

基本的な使用法

完全なページの検索

Human: ドキュメント https://example.com/docs をスクレイピングして要約してください。

Claude: 承知しました。ドキュメントをスクレイピングします。

<mcp:function_calls>
<mcp:invoke name="s - fetch - page">
<mcp:parameter name="url">https://example.com/docs</mcp:parameter>
<mcp:parameter name="mode">basic</mcp:parameter>
</mcp:invoke>
</mcp:function_calls>

私が取得したドキュメントに基づいて、以下が要約です...

正規表現を使用した特定の内容の抽出

Human: ドキュメントページ内で「API キー」のすべての言及を検索してください。

Claude: この特定の情報を検索します。

<mcp:function_calls>
<mcp:invoke name="s - fetch - pattern">
<mcp:parameter name="url">https://example.com/docs</mcp:parameter>
<mcp:parameter name="mode">basic</mcp:parameter>
<mcp:parameter name="search_pattern">API\s+keys?</mcp:parameter>
<mcp:parameter name="context_chars">150</mcp:parameter>
</mcp:invoke>
</mcp:function_calls>

私はドキュメント内で「API キー」の複数の言及を見つけました：
...

📄 ライセンス

Apache

⚠️ 重要提示

このプロジェクトは、Claude Sonnet 3.7 と協力して開発され、[LLM Context](https://github.com/cyberchitta/llm - context.py) を使用しています。