# ウェブページのクローリング

Olostep MCPサーバーは、ウェブページのクローリング、コンテンツの抽出、検索機能を統合したプロトコルサーバーで、Google検索の構造化データの取得、ウェブページのコンテンツのマークアップ抽出、ウェブサイトのURLの発見などの機能をサポートします。

CloudflareブラウザレンダリングAPIをベースにしたMCPサーバーで、LLMにウェブページの内容の取得、処理、コンテキストの統合ツールを提供します

このプロジェクトは、client.pyとserver.pyの2つの核心ファイルを含んでおり、MCPプロトコルに基づくAIツール対話システムを実現しています。クライアントはユーザーとLLMおよびツールの対話フローを管理し、サーバーはファイル操作、ウェブページのクローリングなどのツール機能を提供し、MCPプロトコルを通じてサービスを提供します。

Firecrawl APIに基づくウェブサイトデータのクローリングと構造化抽出サービス

スパイダークローラーのインタラクションと自動化に使用するMCPサーバーで、ウェブページの取得とクローリングツールを提供します。現在は開発の初期段階です。

crawl4aiライブラリに基づくMCPサーバーで、ウェブページのクローリングとインテリジェントなコンテンツ抽出機能を提供し、AIエージェントが自然言語命令でウェブページとやり取りできるようにします。