Screenmonitormcp

🚀 ScreenMonitorMCP - 革新的なAIビジョンサーバー

AIにリアルタイムの視覚と画面インタラクション機能を提供します

ScreenMonitorMCPは、Claudeやその他のAIアシスタントにリアルタイムの画面監視、視覚分析、およびインテリジェントなインタラクション機能を提供する革新的なMCP（Model Context Protocol）サーバーです。このプロジェクトにより、AIはこれまでにない方法で画面を見、理解し、インタラクションすることが可能になります。

🚀 クイックスタート

📦 インストール

オプション1: PyPIからインストール（推奨）

# パッケージをインストール
pip install screenmonitormcp

# サーバーを起動
screenmonitormcp
# または短縮エイリアスを使用
smcp

オプション2: ソースからインストール

git clone https://github.com/inkbytefo/ScreenMonitorMCP.git
cd ScreenMonitorMCP
pip install -e .

設定

作業ディレクトリに.envファイルを作成します。

# サンプル設定をコピー
cp .env.example .env
# OpenAI APIキーを使用して.envファイルを編集

.env設定の例:

OPENAI_API_KEY=your_openai_api_key_here
OPENAI_BASE_URL=https://api.openai.com/v1
DEFAULT_OPENAI_MODEL=gpt-4-vision-preview
DEFAULT_MAX_TOKENS=1000

Claude Desktopとの統合

Claude Desktopのclaude_desktop_config.jsonに以下を追加します。

{
  "mcpServers": {
    "screenMonitorMCP": {
      "command": "screenmonitormcp",
      "args": []
    }
  }
}

カスタムパスを使用する場合の代替案

{
  "mcpServers": {
    "screenMonitorMCP": {
      "command": "python",
      "args": [
        "-m", "screenmonitormcp.main"
      ]
    }
  }
}

✨ 主な機能

なぜScreenMonitorMCPが必要なのか？

AIアシスタントをテキスト専用から、以下のことができる視覚的な強力なツールに変えます。

• 画面をリアルタイムで監視し、重要な変更を検出する
• 自然言語コマンドを使用してUI要素をクリックする
• 画面の任意の部分からテキストを抽出する
• AIを使用してスクリーンショットやビデオを分析する
• 画面のアクティビティに関するインテリジェントな洞察を提供する

コア機能

スマート監視システム

• start_smart_monitoring() - 設定可能なトリガーでインテリジェントな監視を有効にする
• get_monitoring_insights() - AIによる画面アクティビティの分析
• get_recent_events() - 検出された画面の変更の履歴
• stop_smart_monitoring() - 洞察を保持したまま監視を停止する

自然言語UIインタラクション

• smart_click() - "保存ボタン"のような説明を使用して要素をクリックする
• extract_text_from_screen() - 画面領域からOCRによるテキスト抽出
• get_active_application() - 現在のアプリケーションのコンテキストを取得する

視覚分析ツール

• capture_and_analyze() - AI分析付きのスクリーンショット撮影
• record_and_analyze() - AI分析付きのビデオ録画
• query_vision_about_current_view() - 現在の画面に関する質問をAIにする

🆕 リアルタイム画面ストリーミング

• start_screen_stream() - パフォーマンス最適化されたリアルタイムのbase64画面ストリーミングを開始する
• get_stream_frame() - アクティブなストリームから最新のフレームを取得する
• get_stream_status() - ストリームの健全性、パフォーマンス、および統計を監視する
• stop_screen_stream() - ストリーミングを停止し、リソースをクリーンアップする
• list_active_streams() - すべてのアクティブなストリームとそのステータスをリストする

システムパフォーマンス

• get_system_metrics() - 包括的なシステムの健全性ダッシュボード
• get_cache_stats() - キャッシュのパフォーマンス統計
• optimize_image() - 高度な画像最適化
• simulate_input() - キーボードとマウスのシミュレーション

💻 使用例

基本的な使用法

# インテリジェントな監視を開始
await start_smart_monitoring(triggers=['significant_change', 'error_detected'])

# 自然言語UIインタラクション
await smart_click('Save button')
await smart_click('Email input field')

# AIに現在の画面について質問する
await query_vision_about_current_view('What errors are visible on this page?')

# 画面からテキストを抽出する
await extract_text_from_screen()

高度な使用法

# 🆕 リアルタイム画面ストリーミング
stream_result = await start_screen_stream(
    fps=5,
    quality=70,
    format="jpeg",
    scale=0.5,
    change_detection=True,
    adaptive_quality=True
)
stream_id = stream_result['stream_id']

# ストリームから最新のフレームを取得する
frame = await get_stream_frame(stream_id)
# frame['frame']['data']にはbase64エンコードされた画像が含まれています

# ストリームのパフォーマンスを監視する
status = await get_stream_status(stream_id)
print(f"FPS: {status['stream_info']['stats']['current_fps']}")

# ストリーミングを停止する
await stop_screen_stream(stream_id)

利用可能なツール（合計26個）

• スマート監視（6つのツール）：AI分析によるリアルタイム画面監視
• UIインタラクション（2つのツール）：自然言語による画面制御
• 視覚分析（3つのツール）：AIによる画像およびビデオ分析
• 🆕 リアルタイムストリーミング（5つのツール）：パフォーマンス最適化されたbase64画面ストリーミング
• システムパフォーマンス（7つのツール）：パフォーマンス監視と最適化
• 入力シミュレーション（2つのツール）：キーボードとマウスの自動化
• ユーティリティ（1つのツール）：ツールのドキュメントとリスト

🔧 技術詳細

• 21の革新的なツール - 包括的なAIビジョン機能
• リアルタイム監視 - スマートトリガーによる適応的なFPS
• マルチAIサポート - OpenAI、OpenRouter、およびカスタムエンドポイント
• 高度なOCR - TesseractとEasyOCRの統合
• クロスプラットフォーム - Windows、macOS、Linuxのサポート
• スマートキャッシュ - パフォーマンス最適化
• セキュリティ重視 - APIキー管理

ビジョンとミッション

ビジョン：AIアシスタントが視覚的な世界を見てインタラクションできるようにし、テキストベースのAIと現実世界のインターフェースの壁を取り除く。

ミッション：AIと人間の視覚的なインタラクションのための基盤技術を提供し、AIアシスタントを視覚的なタスクや画面ベースのワークフローで本当に役立つものにする。

コントリビューション

この革新的なプロジェクトへのコントリビューションを歓迎します。

• バグレポートと機能要求
• コードのコントリビューションと改善
• ドキュメントの強化

詳細はCONTRIBUTING.mdを参照してください。

📄 ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。詳細はLICENSEを参照してください。

AIに本当の視力を与える準備はできていますか？

ScreenMonitorMCPは、AIアシスタントをテキスト専用から視覚的にインテリジェントなコンパニオンに変えます。