URL Fetch

🚀 URL リンク抓取 MCP

このプロジェクトは、クリーンな Model Context Protocol (MCP) の実装で、Claude やその他の LLM が URL からコンテンツを取得できるようにします。

🚀 クイックスタート

この URL リンク抓取 MCP を使うことで、Claude や他の LLM が URL からコンテンツを取得できるようになります。以下に、基本的な使い方を説明します。

✨ 主な機能

• 任意の URL からコンテンツを取得します。
• 複数のコンテンツタイプ（HTML、JSON、テキスト、画像）をサポートします。
• リクエストパラメータ（ヘッダー情報、タイムアウト時間）を制御できます。
• 明確なエラー処理が行われます。
• 対話型の CLI 操作をサポートします。

📦 インストール

依存ライブラリのインストール

pip install "requests>=2.31.0" "python-multipart>=0.3.5"

💻 使用例

基本的な使用法

MCP サーバーの起動

python mcp_urlfetch/server.py --port 8000

ツール関数の呼び出し

Python コードで使用する例：

from mcp_urlfetch.client import AsyncMCPClient

async def main():
    async with AsyncMCPClient('localhost', 8000) as client:
        # 使用 fetch_url 工具
        result = await client.call_tool("fetch_url", {
            "url": "https://example.com"
        })
        
        # 使用 fetch_json 工具
        result = await client.call_tool("fetch_json", {
            "url": "https://api.example.com/data",
            "headers": {"Authorization": "Bearer token"}
        })
        
        # 使用 fetch_image 工具
        result = await client.call_tool("fetch_image", {
            "url": "https://example.com/image.jpg"
        })

if __name__ == "__main__":
    import asyncio
    asyncio.run(main())

高度な使用法

快速测试脚本 (examples/quick_test.py)

from mcp_urlfetch.client import AsyncMCPClient

async def main():
    async with AsyncMCPClient('localhost', 8000) as client:
        # 测试 fetch_url 工具
        result = await client.call_tool("fetch_url", {"url": "https://example.com"})
        print(f"URL 内容: {result}")
        
        # 测试 fetch_json 工具
        result = await client.call_tool("fetch_json", {
            "url": "https://api.example.com/data",
            "headers": {"Authorization": "Bearer token"}
        })
        print(f"JSON 数据: {result}")
        
        # 测试 fetch_image 工具
        result = await client.call_tool("fetch_image", {"url": "https://example.com/image.jpg"})
        print(f"图片数据已获取，大小：{len(result)} bytes")

if __name__ == "__main__":
    import asyncio
    asyncio.run(main())

📚 ドキュメント

ディレクトリ構造

项目根目录/
├── mcp_urlfetch/                # 核心代码模块
│   ├── __init__.py             # 包初始化文件
│   ├── client.py               # 客户端 API 实现
│   ├── server.py               # MCP 服务器实现
│   └── tools.py                # 工具函数定义
├── examples/                   # 示例脚本
│   ├── quick_test.py           # 快速测试脚本
│   ├── simple_usage.py         # 简单用法示例
│   └── interactive_client.py  # 交互式 CLI 客户端
└── tests/                      # 测试用例
    ├── direct_test.py          # 直接测试 URL 抓取功能
    └── mcp_server_test.py      # MCP 服务器功能测试

ツール機能

fetch_url

指定された URL からコンテンツを取得し、テキストとして返します。

パラメータ

• url (必須)：取得する URL アドレス。
• headers (オプション)：追加のリクエストヘッダー情報。
• timeout (オプション)：リクエストのタイムアウト時間を秒単位で設定します。デフォルトは 10 秒。

fetch_image

指定された URL から画像を取得し、画像データとして返します。

パラメータ

• url (必須)：取得する画像の URL アドレス。
• timeout (オプション)：リクエストのタイムアウト時間を秒単位で設定します。デフォルトは 10 秒。

fetch_json

指定された JSON インターフェースからデータを取得し、解析してフォーマットされた文字列として返します。

パラメータ

• url (必須)：取得する JSON データの URL アドレス。
• headers (オプション)：追加のリクエストヘッダー情報。
• timeout (オプション)：リクエストのタイムアウト時間を秒単位で設定します。デフォルトは 10 秒。

テスト方法

テストケースの実行

python -m pytest tests/

🔧 技術詳細

ツール関数の定義

mcp_urlfetch/tools.py で定義されています。

from typing import Dict, Optional
from pydantic import Field
from mcp_core.context import Context
from mcp_core.tool import Tool
from mcp_core.utils import async_func_to_coroutine

@Tool(
    name="fetch_url",
    description="Fetch content from a URL and return it as text."
)
async def fetch_url(url: AnyUrl, headers: Optional[Dict[str, str]] = None, timeout: int = 10, ctx: Context = None):
    # 实现细节...

@Tool(
    name="fetch_image",
    description="Fetch an image from a URL and return it as an image."
)
async def fetch_image(url: AnyUrl, timeout: int = 10, ctx: Context = None):
    # 实现细节...

@Tool(
    name="fetch_json", 
    description="Fetch JSON from a URL, parse it, and return it formatted."
)
async def fetch_json(url: AnyUrl, headers: Optional[Dict[str, str]] = None, timeout: int = 10, ctx: Context = None):
    # 实现细节...

📄 ライセンス

このプロジェクトは MIT License オープンソースライセンスで提供されています。

貢献ガイド

このリポジトリを Fork し、Pull Request を送信することを歓迎します！

参考ドキュメント

• MCP 標準プロトコル
• Python リクエストライブラリ
• [非同期プログラミングガイド](https://docs.python.org/3/library asyncio.html)

プロジェクトバージョン: 1.0.0
ドキュメント最終更新日: 2024年3月1日