Web Crawler MCP Server

🚀 ウェブクローラーMCPサーバー

このモデルコンテキストプロトコル（MCP）サーバーは、Claude DesktopやCursorなどのMCP互換クライアントAIアシスタントに適した、ウェブクローリングとコンテンツ抽出ツールを提供します。

🚀 クイックスタート

このウェブクローラーMCPサーバーは、Claude DesktopやCursorなどのMCP互換クライアントAIアシスタントに適した、ウェブクローリングとコンテンツ抽出ツールを提供します。以下に、サーバーの起動方法や使用方法を説明します。

✨ 主な機能

• 任意の公開ウェブページから主要なテキストコンテンツを抽出し、クリーニングします。
• Puppeteerと_stealthプラグインを使用して、反ロボット保護を回避します。
• LLMが消費できる、読みやすく空白が標準化されたテキストを返します。
• Claude Desktopや他のMCP互換クライアントとの統合が簡単です。

📦 インストール

前提条件

• Node.js (v16以上)
• MCP互換クライアント（例：Claude Desktop、Cursor）
• （オプション）一部のLinux環境では Puppeteerの依存関係

インストール手順

1. 依存関係のインストール：

   npm install
   

2. サーバーのビルド：

   npm run build
   

💻 使用例

基本的な使用法

サーバーを直接実行することができます：

node build/index.js

または、クライアント（例：Claude Desktop）でMCPサーバーとして設定することもできます：

{
  "mcpServers": {
    "web-crawler-mcp": {
      "command": "node",
      "args": ["<absolute-path-to>/server/web_crawler/build/index.js"]
    }
  }
}

利用可能なツール

ウェブクローラー

• 説明: 指定されたURLのクリーニングされたテキストコンテンツを抽出して返します。
• 入力:
  • url (文字列、必須): コンテンツを抽出するURL。

例

{
  "tool_name": "web-crawler",
  "arguments": {
    "url": "https://openai.com/news"
  }
}

📚 ドキュメント

開発コマンド

• npm run build — TypeScriptをJavaScriptにコンパイルします。
• npm run watch — 変更を監視し、リアルタイムで再構築します。
• npm run inspector — MCPインスペクターを起動してデバッグします。

注意事項

• サーバーは、最適な互換性を得るために、実際のブラウザインスタンス (headless: false) を起動します。
• 出力は純粋なテキストで、LLMの入力に適しています。
• 高度な解析を行うには、src/index.ts のCheerioロジックを変更します。

📄 ライセンス

MIT