Web Llm MCP Server

🚀 Web-LLM MCP Server

このMCPサーバーは、Playwrightを使用して、@mlc-ai/web-llmを含むHTMLページをロードし、ローカルの大規模言語モデル（LLM）推論を行うためのインタラクションを実現します。

✨ 主な機能

• ブラウザベースのLLM：Chromiumブラウザのインスタンスで動作する@mlc-ai/web-llmを使用します。
• Playwright統合：シームレスなLLM操作のためにブラウザのインタラクションを自動化します。
• 複数のツール：テキスト生成、チャット、ステータス確認、モデル切り替え、スクリーンショット撮影などの機能があります。
• モデル管理：様々なWeb-LLMモデルをサポートし、動的に切り替えることができます。

🛠 利用可能なツール

playwright_llm_generate

ブラウザインターフェースを通じてWeb-LLMを使用してテキストを生成します。

パラメーター:

• prompt (文字列): テキスト生成のためのプロンプト
• systemPrompt (文字列, オプション): コンテキストを設定するシステムプロンプト
• maxTokens (数値, オプション): 生成する最大トークン数
• temperature (数値, オプション): 生成のための温度（0 - 1）
• model (文字列, オプション): 使用するモデル（異なる場合は再初期化します）

playwright_llm_chat

対話型のチャットセッションを開始し、応答を返します。

パラメーター:

• message (文字列): チャットで送信するメッセージ
• clearHistory (ブール値, オプション): 送信前にチャット履歴をクリアする

playwright_llm_status

Web-LLM Playwrightインターフェースの現在のステータスを取得します。

playwright_llm_set_model

現在のWeb-LLMモデルを変更します。

パラメーター:

• model (文字列): 切り替えるモデルID

playwright_llm_screenshot

Web-LLMインターフェースのスクリーンショットを撮影します。

パラメーター:

• path (文字列, オプション): スクリーンショットを保存するパス

📦 サポートされるモデル

• Llama-3.2-1B-Instruct-q4f32_1-MLC (デフォルト)
• Llama-3.2-3B-Instruct-q4f32_1-MLC
• Phi-3.5-mini-instruct-q4f16_1-MLC
• gemma-2-2b-it-q4f32_1-MLC
• Mistral-7B-Instruct-v0.3-q4f16_1-MLC
• Qwen2.5-1.5B-Instruct-q4f32_1-MLC

📦 インストール

1. 依存関係をインストールします。

pnpm install

2. Playwrightのブラウザをインストールします。

npx playwright install chromium

💻 使用例

基本的な使用法

MCPサーバーを起動します。

node index.js

または、テストを実行します。

node test.js

🔧 技術詳細

このサーバーは以下の手順で動作します。

1. Playwrightを使用してヘッドレスのChromiumブラウザを起動します。
2. Web-LLMインターフェースを含むindex.htmlファイルをロードします。
3. Web-LLMモデルの初期化を待ちます。
4. window.webllmInterfaceオブジェクトを通じてブラウザの関数を公開します。
5. これらのブラウザ関数を呼び出すMCPツールを提供します。

HTMLインターフェースは、以下の機能を備えた完全なWeb-LLM実装を提供します。

• モデルの初期化とロード進捗
• テスト用のチャットインターフェース
• プログラムからアクセスするためのJavaScript API
• エラーハンドリングとステータス報告

📄 注意事項

⚠️ 重要提示

• 初回実行時は、LLMモデルのダウンロードと初期化のため、実行速度が遅くなります。
• ブラウザはデフォルトでヘッドレスモードで実行されます。
• インターフェースのデバッグのためにスクリーンショットを撮影することができます。
• モデルの切り替えには再初期化が必要であり、時間がかかります。
• インターフェースはHTMLファイルに完全に含まれています。