MCP Getweb

🚀 MCP-GetWeb

このModel Context Protocol (MCP)サーバーは、ウェブ検索とコンテンツ抽出機能を提供します。

🚀 クイックスタート

必要な情報を用意してください。

• Google API
• Google Search Engine ID
• Jina AI

以下の設定例を参考に設定を行ってください。

{
  "mcpServers": {
    "getweb": {
      "command": "npx",
      "args": [
        "mcp-getweb"
      ],
      "type": "stdio",
      "env": {
        "GOOGLE_API_KEY": "XXXXXXXXX",
        "GOOGLE_SEARCH_ENGINE_ID": "XXXXXXXXX",
        "JINA_API_KEY": "jina_XXXXXXXXX"
      }
    }
  }
}

✨ 主な機能

1) DuckDuckGo Search (duckduckgo-search)

DuckDuckGoを使用してウェブ検索を行い、HTMLスクレイピングを行います。

パラメータ:

• query (文字列、必須): 検索クエリ
• page (整数、オプション): ページ番号 (デフォルト: 1、最小: 1)
• numResults (整数、オプション): 返す結果の数 (デフォルト: 10、最小: 1、最大: 20)

2) Google Search (google-search)

プログラマブル検索エンジンを使用してGoogleで検索し、関連する結果を返します。

パラメータ:

• query (文字列、必須): 検索クエリ；引用符で囲むと完全一致検索になります
• num_results (整数、オプション): 返す総結果数 (デフォルト: 5、最大: 10)
• site (文字列、オプション): 特定のサイト/ドメインに制限する (例: wikipedia.org)
• language (文字列、オプション): ISO 639-1言語コード (例: en, es)
• dateRestrict (文字列、オプション): 日付フィルター、例: d7, w4, m6, y1
• exactTerms (文字列、オプション): 必ず含まれる正確なフレーズ
• resultType (文字列、オプション): 結果のタイプ: image|images|news|video|videos
• page (整数、オプション): ページネーションのページ番号 (デフォルト: 1、最小: 1)
• resultsPerPage (整数、オプション): ページあたりの結果数 (デフォルト: 5、最大: 10)
• sort (文字列、オプション): 並び順、relevance (デフォルト) または date

注意: GOOGLE_API_KEY と GOOGLE_SEARCH_ENGINE_ID の設定が必要です。

3) Felo AI Search (felo-search)

AIによる検索を行い、最新の技術情報（リリース、アドバイザリ、移行、ベンチマーク、コミュニティの洞察）に関するコンテキスト応答を返します。

パラメータ:

• query (文字列、必須): 検索クエリまたはプロンプト
• stream (ブール値、オプション): レスポンスをストリーミングするかどうか (デフォルト: false)

4) URL Content Fetcher (fetch-url)

URLのクリーンなコンテンツを取得し、抽出コントロールを使用してテキストとして返します。

パラメータ:

• url (文字列、必須): 取得するURL
• maxLength (整数、オプション): 最大コンテンツ長 (デフォルト: 10000、最小: 1000、最大: 50000)
• extractMainContent (ブール値、オプション): メインコンテンツを抽出するかどうか (デフォルト: true)
• includeLinks (ブール値、オプション): リンクテキストを含めるかどうか (デフォルト: true)
• includeImages (ブール値、オプション): 画像のaltテキストを含めるかどうか (デフォルト: true)
• excludeTags (文字列の配列、オプション): 除外するタグ (デフォルトでは script, style, noscript, iframe, svg, nav, footer, header, aside が含まれます)

5) URL Metadata Extractor (url-metadata)

URLからメタデータ（タイトル、説明、画像、ファビコン）を抽出します。

パラメータ:

• url (文字列、必須): メタデータを抽出するURL

6) URL Fetch to Markdown (url-fetch)

ウェブページを取得してMarkdownに変換します。HTML、プレーンテキスト、JSON（フェンスブロックで整形表示）を処理します。

パラメータ:

• url (文字列、必須): 取得してMarkdownに変換するURL

7) Jina Reader (jina-reader)

Jina r.readerを使用してURLからLLMに適したコンテンツを取得し、オプションで要約と形式を指定できます。

パラメータ:

• url (文字列、必須): 取得して解析するURL
• maxLength (整数、オプション): 最大出力長 (デフォルト: 10000、最小: 1000、最大: 50000)
• withLinksummary (ブール値、オプション): リンクの要約を含めるかどうか (デフォルト: false)
• withImagesSummary (ブール値、オプション): 画像の要約を含めるかどうか (デフォルト: false)
• withGeneratedAlt (ブール値、オプション): 画像のaltテキストを生成するかどうか (デフォルト: false)
• returnFormat (文字列、オプション): markdown (デフォルト) | html | text | screenshot | pageshot
• noCache (ブール値、オプション): キャッシュをバイパスするかどうか (デフォルト: false)
• timeout (整数、オプション): 待機する最大秒数 (デフォルト: 10、最小: 5、最大: 30)

注意: JINA_API_KEY の設定が必要です。

謝辞

• AnthropicによるModel Context Protocol仕様
• プライバシーに配慮したウェブ検索体験を提供するDuckDuckGo
• Google Programmable Search EngineとCustom Search JSON API
• 高品質なコンテンツ抽出を行うJina AI r.reader API
• 最新の開発者向け検索洞察を提供するFelo AI
• このサーバーを支えるRustエコシステムとクレート:
  • tokio, reqwest, serde, serde_json, tracing, tracing-subscriber, clap
  • scraper, html5ever, markup5ever_rcdom, regex, once_cell, futures, async-stream
  • url, uuid, thiserror, tokio-util, rand, urlencoding
• ガイダンス、サンプル、議論を提供する幅広いMCPコミュニティ

サポート

何か問題が発生した場合や質問がある場合は、GitHubでイシューを開いて ください。