MCP Doc Scraper

🚀 ドキュメント抓取器 MCP サーバー

このサーバーは、Model Context Protocol (MCP) を利用して、ウェブベースのドキュメントを Markdown 形式に変換するドキュメント抓取機能を提供します。jina.ai の変換サービスを活用して、ドキュメントの変換を行います。

✨ 主な機能

• 任意のウェブページの URL からドキュメントを抓取することができます。
• HTML ドキュメントを Markdown 形式に変換します。
• 変換後のドキュメントを指定した出力パスに保存します。
• Model Context Protocol (MCP) を統合しています。

📦 インストール

Smithery を使用したインストール

Smithery を通じて、Claude Desktop の Doc Scraper を自動的にインストールします。

npx -y @smithery/cli install @askjohngeorge/mcp-doc-scraper --client claude

手動インストール

1. リポジトリをクローンします。

git clone https://github.com/askjohngeorge/mcp-doc-scraper.git
cd mcp-doc-scraper

2. 仮想環境を作成し、アクティブ化します。

python -m venv venv
source venv/bin/activate  # Windows の場合は: venv\Scripts\activate

3. 依存関係をインストールします。

pip install -e .

💻 使用例

基本的な使用法

Python でサーバーを起動します。

python -m mcp_doc_scraper

ツールの説明

このサーバーは次のツールを提供します。

• 名称：scrape_docs
• 説明：URL からドキュメントを抓取し、Markdown ファイルとして保存します。
• 入力パラメータ：
  • url：抓取するドキュメントの URL
  • output_path：Markdown ファイルを保存するパス

📚 ドキュメント

プロジェクト構造

doc_scraper/
├── __init__.py
├── __main__.py
└── server.py

依存関係

• aiohttp
• mcp
• pydantic

開発に関する情報

1. 開発用の依存関係をインストールします。

pip install -r requirements.txt

2. このサーバーは Model Context Protocol を使用しています。MCP ドキュメントを参照してください。

📄 ライセンス

MIT License