Workflowlearner
WorkflowLearnerとは?
WorkflowLearnerは、Windowsに付属の問題手順記録ツール(PSR.exe)で生成された操作記録ファイル(MHT形式)を利用して、大規模言語モデルにユーザーのワークフローを学習させるプロジェクトです。ユーザーの操作手順とスクリーンショットを自動的に解析し、AIが複雑なワークフローを理解するのを支援します。WorkflowLearnerの使い方は?
使用方法は3つの簡単なステップに分かれています。1) PSR.exeを使って操作を録画する 2) 生成されたMHTファイルを解析する 3) LLMに解析されたワークフローデータを学習させる。この一連のプロセスには、プログラミングの経験は必要ありません。適用シーン
AIアシスタントに繰り返し行われるコンピューター操作の流れを学習させる必要があるシーンに特に適しています。例えば、ソフトウェアの使用方法の指導、標準化されたワークフローの記録、操作手順の自動化などです。主な機能
操作手順の録画Windowsに組み込まれたPSR.exeツールを利用することで、追加のソフトウェアをインストールすることなく、マウスクリックやスクロールなどの操作手順を録画できます。
スマート解析MHTファイル内の操作手順と対応するスクリーンショットを自動的に解析し、構造化されたワークフローデータを抽出します。
LLM統合標準的なインターフェースを提供して、大規模言語モデルに解析されたワークフローを学習させることができ、複数の主流のLLMをサポートしています。
利点と制限
利点
ゼロコスト:Windowsに付属のツールを使用するため、追加のインストールが不要です。
使いやすさ:グラフィカルな操作で、プログラミング知識なしでワークフローを録画できます。
互換性:すべてのWindowsバージョン(7/8/10/11)をサポートしています。
制限
Windowsプラットフォームのみに対応しています。
キーボード入力の具体的な内容を記録できません。
スクリーンショットの品質は画面解像度に依存します。
使い方
操作の録画
Windows検索でPSR.exeを開き、「記録開始」ボタンをクリックして操作を行い、完了したら「記録停止」をクリックしてzipファイルを保存します。
ファイルの解析
zipファイルを解凍してmhtファイルを取得し、parse_mht.pyスクリプトを使用して解析します。
モデルの訓練
learn_workflow.pyスクリプトを使用して、LLMに解析されたJSONデータを学習させます。
使用例
ソフトウェア操作の指導Photoshopの画像編集プロセスを録画し、ステップバイステップのガイドを生成します。
ワークフローの自動化Excelのデータ処理プロセスを記録し、自動的にPythonの自動化スクリプトを生成します。
よくある質問
PSR.exeはどこで見つけることができますか?
複数のディスプレイ上の操作を記録できますか?
どのLLMモデルがサポートされていますか?
関連リソース
公式PSR.exeドキュメント
Microsoftの公式問題手順記録ツールの使用ガイドです。
GitHubリポジトリ
プロジェクトのソースコードと最新バージョンです。
オンラインデモ
リアルタイムのインタラクティブなデモ環境です。
厳選MCPサービス

Gmail MCP Server
Claude Desktop用に設計されたGmail自動認証MCPサーバーで、自然言語でのやり取りによるGmailの管理をサポートし、メール送信、ラベル管理、一括操作などの完全な機能を備えています。
TypeScript
274
4.5ポイント

Edgeone Pages MCP Server
EdgeOne Pages MCPは、MCPプロトコルを通じてHTMLコンテンツをEdgeOne Pagesに迅速にデプロイし、公開URLを取得するサービスです。
TypeScript
252
4.8ポイント

Context7
Context7 MCPは、AIプログラミングアシスタントにリアルタイムのバージョン固有のドキュメントとコード例を提供するサービスで、Model Context Protocolを通じてプロンプトに直接統合され、LLMが古い情報を使用する問題を解決します。
TypeScript
5.2K
4.7ポイント

Baidu Map
認証済み
百度マップMCPサーバーは国内初のMCPプロトコルに対応した地図サービスで、地理コーディング、ルート計画など10個の標準化されたAPIインターフェースを提供し、PythonとTypescriptでの迅速な接続をサポートし、エージェントに地図関連の機能を実現させます。
Python
705
4.5ポイント

Gitlab MCP Server
認証済み
GitLab MCPサーバーは、Model Context Protocolに基づくプロジェクトで、GitLabアカウントとのやり取りに必要な包括的なツールセットを提供します。コードレビュー、マージリクエスト管理、CI/CD設定などの機能が含まれます。
TypeScript
69
4.3ポイント

Unity
認証済み
UnityMCPはUnityエディターのプラグインで、モデルコンテキストプロトコル (MCP) を実装し、UnityとAIアシスタントのシームレスな統合を提供します。リアルタイムの状態監視、リモートコマンドの実行、ログ機能が含まれます。
C#
541
5ポイント

Magic MCP
Magic Component Platform (MCP) はAI駆動のUIコンポーネント生成ツールで、自然言語での記述を通じて、開発者が迅速に現代的なUIコンポーネントを作成するのを支援し、複数のIDEとの統合をサポートします。
JavaScript
1.7K
5ポイント

Sequential Thinking MCP Server
MCPプロトコルに基づく構造化思考サーバーで、思考段階を定義することで複雑な問題を分解し要約を生成するのに役立ちます。
Python
259
4.5ポイント