Bsmi021 MCP Server Webscan

🚀 MCP ウェブスキャンサーバー

このサーバーは、モデルコンテキストプロトコル（MCP）を用いて、ウェブページの内容を取得、分析、情報抽出するためのものです。一連のツールを提供し、ウェブページから情報を取得、分析、抽出することができます。

✨ 主な機能

• ページ取得：ウェブページを Markdown 形式に変換し、分析を容易にします。
• リンク抽出：ウェブページからすべてのリンクを抽出し、分析します。
• サイトクローリング：サイトの内容を再帰的にクローリングし、より多くの情報を発見します。
• リンクチェック：ウェブページ内の死リンクを識別します。
• パターンマッチング：特定のパターンに一致する URL を検索します。
• サイトマップ生成：サイトの XML サイトマップを生成します。

📦 インストール

# リポジトリをクローンする
git clone <repository-url>
cd mcp-server-webscan

# 依存関係をインストールする
npm install

# プロジェクトをビルドする
npm run build

💻 使用例

サーバーの起動

npm start

このサーバーは stdio 伝送プロトコルで動作するため、Claire デスクトップなどの MCP クライアントと互換性があります。

利用可能なツール

1. fetch_page

   • 機能：ウェブページを取得し、Markdown 形式に変換します。
   • パラメータ：
     • url（必須）：取得するページの URL
     • selector（オプション）：内容のターゲットを指定するための CSS セレクター

2. extract_links

   • 機能：ウェブページからすべてのリンクとそのテキストを抽出します。
   • パラメータ：
     • url（必須）：分析するページの URL
     • baseUrl（オプション）：リンクをフィルタリングするためのベース URL

3. crawl_site

   • 機能：サイトの内容を再帰的にクローリングし、指定された最大深度まで探索します。
   • パラメータ：
     • url（必須）：クローリングの開始 URL
     • maxDepth（オプション、デフォルト値は 2）：最大クローリング深度

4. check_links

   • 機能：ページ内のすべてのリンクが有効かどうかをチェックします。
   • パラメータ：
     • url（必須）：リンクをチェックするページの URL

5. find_patterns

   • 機能：特定のパターンに一致する URL を検索します。
   • パラメータ：
     • url（必須）：検索する URL
     • pattern（必須）：URL をマッチングするための正規表現

6. generate_sitemap

   • 機能：簡単な XML サイトマップを生成します。
   • パラメータ：
     • url（必須）：サイトマップのベース URL
     • maxUrls（オプション、デフォルト値は 100）：サイトマップに含まれる最大リンク数

Claire デスクトップを使用した例

1. Claire デスクトップの設定でサーバーを構成する：

{
  "mcpServers": {
    "webscan": {
      "command": "node",
      "args": ["path/to/mcp-server-webscan/dist/index.js"],
      "env": {
        "NODE_ENV": "development"
      }
    }
  }
}

2. 会話でこれらのツールを使用する：

https://example.com の内容を取得し、Markdown 形式に変換できますか？

🔧 技術詳細

前提条件

• Node.js >= 18
• npm

プロジェクト構造

mcp-server-webscan/
├── src/
│   └── index.ts    # メインサーバーの実装ファイル
├── dist/           # コンパイル後の JavaScript ファイル
├── package.json
└── tsconfig.json

ビルド

npm run build

開発モード

npm run dev

エラー処理

このサーバーは、以下のエラーを含む包括的なエラー処理機構を実装しています。

• 無効なパラメータ
• ネットワークエラー
• 内容解析エラー
• URL 検証エラー

すべてのエラーは MCP 規格に従って処理されます。

📄 ライセンス

本プロジェクトをご利用いただき、ありがとうございます！ご使用中に何か問題やご提案があれば、いつでもお問い合わせください。