Screenmonitormcp

🚀 屏幕監控MCP - 革命性的人工智能視覺服務器

屏幕監控MCP（ScreenMonitorMCP）是一款革命性的MCP（模型上下文協議）服務器，它為Claude和其他人工智能助手賦予了即時屏幕監控、視覺分析和智能交互能力。該項目讓人工智能以前所未有的方式觀察、理解和與你的屏幕進行交互，為人工智能賦予即時視覺和屏幕交互能力。

🚀 快速開始

1. 安裝

選項1：從PyPI安裝（推薦）

# 安裝軟件包
pip install screenmonitormcp

# 運行服務器
screenmonitormcp
# 或使用短別名
smcp

選項2：從源代碼安裝

git clone https://github.com/inkbytefo/ScreenMonitorMCP.git
cd ScreenMonitorMCP
pip install -e .

配置

在你的工作目錄中創建一個 .env 文件：

# 複製示例配置
cp .env.example .env
# 使用你的OpenAI API密鑰編輯.env文件

示例 .env 配置：

OPENAI_API_KEY=your_openai_api_key_here
OPENAI_BASE_URL=https://api.openai.com/v1
DEFAULT_OPENAI_MODEL=gpt-4-vision-preview
DEFAULT_MAX_TOKENS=1000

Claude桌面集成

將以下內容添加到你的Claude桌面 claude_desktop_config.json 文件中：

{
  "mcpServers": {
    "screenMonitorMCP": {
      "command": "screenmonitormcp",
      "args": []
    }
  }
}

使用自定義路徑的替代方法：

{
  "mcpServers": {
    "screenMonitorMCP": {
      "command": "python",
      "args": [
        "-m", "screenmonitormcp.main"
      ]
    }
  }
}

✨ 主要特性

為何選擇屏幕監控MCP？

將你的人工智能助手從僅支持文本轉變為視覺強大的工具，它可以：

• 即時監控你的屏幕並檢測重要變化
• 使用自然語言命令點擊UI元素
• 從屏幕的任何部分提取文本
• 使用人工智能分析截圖和視頻
• 提供有關屏幕活動的智能洞察

核心特性

智能監控系統

• start_smart_monitoring() - 使用可配置的觸發器啟用智能監控
• get_monitoring_insights() - 對屏幕活動進行人工智能分析
• get_recent_events() - 檢測到的屏幕變化歷史
• stop_smart_monitoring() - 停止監控並保留洞察

自然語言UI交互

• smart_click() - 使用如“保存按鈕”這樣的描述點擊元素
• extract_text_from_screen() - 從屏幕區域進行OCR文本提取
• get_active_application() - 獲取當前應用程序上下文

視覺分析工具

• capture_and_analyze() - 進行截圖並進行人工智能分析
• record_and_analyze() - 錄製視頻並進行人工智能分析
• query_vision_about_current_view() - 向人工智能詢問有關當前屏幕的問題

🆕 即時屏幕流

• start_screen_stream() - 啟動經過性能優化的即時Base64屏幕流
• get_stream_frame() - 從活動流中獲取最新幀
• get_stream_status() - 監控流的健康狀況、性能和統計信息
• stop_screen_stream() - 停止流並清理資源
• list_active_streams() - 列出所有活動流及其狀態

系統性能

• get_system_metrics() - 全面的系統健康儀表盤
• get_cache_stats() - 緩存性能統計信息
• optimize_image() - 高級圖像優化
• simulate_input() - 鍵盤和鼠標模擬

💻 使用示例

# 啟動智能監控
await start_smart_monitoring(triggers=['significant_change', 'error_detected'])

# 自然語言UI交互
await smart_click('Save button')
await smart_click('Email input field')

# 向AI詢問當前屏幕
await query_vision_about_current_view('What errors are visible on this page?')

# 從屏幕提取文本
await extract_text_from_screen()

# 🆕 即時屏幕流
stream_result = await start_screen_stream(
    fps=5,
    quality=70,
    format="jpeg",
    scale=0.5,
    change_detection=True,
    adaptive_quality=True
)
stream_id = stream_result['stream_id']

# 從流中獲取最新幀
frame = await get_stream_frame(stream_id)
# frame['frame']['data'] 包含Base64編碼的圖像

# 監控流性能
status = await get_stream_status(stream_id)
print(f"FPS: {status['stream_info']['stats']['current_fps']}")

# 停止流
await stop_screen_stream(stream_id)

可用工具（共26個）

• 智能監控（6個工具）：具有人工智能分析的即時屏幕監控
• UI交互（2個工具）：自然語言屏幕控制
• 視覺分析（3個工具）：基於人工智能的圖像和視頻分析
• 🆕 即時流（5個工具）：經過性能優化的Base64屏幕流
• 系統性能（7個工具）：性能監控和優化
• 輸入模擬（2個工具）：鍵盤和鼠標自動化
• 實用工具（1個工具）：工具文檔和列表

🔧 技術細節

• 21項革命性工具 - 全面的人工智能視覺能力
• 即時監控 - 具有智能觸發器的自適應幀率
• 多人工智能支持 - 支持OpenAI、OpenRouter和自定義端點
• 高級OCR - 集成Tesseract和EasyOCR
• 跨平臺 - 支持Windows、macOS和Linux
• 智能緩存 - 性能優化
• 注重安全 - API密鑰管理

📚 詳細文檔

願景與使命

• 願景：使人工智能助手能夠觀察和與視覺世界進行交互，打破基於文本的人工智能與現實世界界面之間的障礙。
• 使命：為人工智能與人類的視覺交互提供基礎技術，使人工智能助手在視覺任務和基於屏幕的工作流程中真正發揮作用。

貢獻

我們歡迎對這個革命性項目做出貢獻：

• 報告錯誤和提出功能請求
• 代碼貢獻和改進
• 文檔增強

詳情請參閱 CONTRIBUTING.md。

📄 許可證

本項目採用MIT許可證。詳情請參閱 LICENSE。

準備好賦予你的人工智能真正的視覺能力了嗎？

屏幕監控MCP將人工智能助手從僅支持文本轉變為具有視覺智能的夥伴。