Web Llm MCP Server

🚀 Web-LLM MCP 服務器

Web-LLM MCP 服務器是一個使用 Playwright 加載並與包含 @mlc-ai/web-llm 的 HTML 頁面進行交互的 MCP 服務器，可用於本地大語言模型（LLM）推理。

✨ 主要特性

• 基於瀏覽器的大語言模型：使用在 Chromium 瀏覽器實例中運行的 @mlc-ai/web-llm。
• Playwright 集成：自動執行瀏覽器交互，實現無縫的大語言模型操作。
• 多種工具：支持文本生成、聊天、檢查狀態、切換模型和截圖等功能。
• 模型管理：支持多種 Web-LLM 模型，並可動態切換。

📦 安裝指南

1. 安裝依賴：

pnpm install

2. 安裝 Playwright 瀏覽器：

npx playwright install chromium

💻 使用示例

基礎用法

啟動 MCP 服務器：

node index.js

高級用法

運行測試：

node test.js

🚀 快速開始

可用工具

playwright_llm_generate

通過瀏覽器界面使用 Web-LLM 生成文本。

參數：

• prompt（字符串）：用於生成文本的提示信息。
• systemPrompt（字符串，可選）：用於設置上下文的系統提示信息。
• maxTokens（數字，可選）：生成的最大令牌數。
• temperature（數字，可選）：生成的溫度參數（範圍 0 - 1）。
• model（字符串，可選）：要使用的模型（如果不同，將重新初始化）。

playwright_llm_chat

啟動交互式聊天會話並返回響應。

參數：

• message（字符串）：在聊天中發送的消息。
• clearHistory（布爾值，可選）：在發送消息前清除聊天曆史記錄。

playwright_llm_status

獲取 Web-LLM Playwright 界面的當前狀態。

playwright_llm_set_model

更改當前的 Web-LLM 模型。

參數：

• model（字符串）：要切換到的模型 ID。

playwright_llm_screenshot

對 Web-LLM 界面進行截圖。

參數：

• path（字符串，可選）：保存截圖的路徑。

支持的模型

• Llama-3.2-1B-Instruct-q4f32_1-MLC（默認）
• Llama-3.2-3B-Instruct-q4f32_1-MLC
• Phi-3.5-mini-instruct-q4f16_1-MLC
• gemma-2-2b-it-q4f32_1-MLC
• Mistral-7B-Instruct-v0.3-q4f16_1-MLC
• Qwen2.5-1.5B-Instruct-q4f32_1-MLC

🔧 技術細節

服務器的工作原理如下：

1. 使用 Playwright 啟動一個無頭 Chromium 瀏覽器。
2. 加載包含 Web-LLM 界面的 index.html 文件。
3. 等待 Web-LLM 模型初始化。
4. 通過 window.webllmInterface 對象暴露瀏覽器函數。
5. 提供調用這些瀏覽器函數的 MCP 工具。

HTML 界面提供了一個完整的 Web-LLM 實現，具備以下功能：

• 模型初始化和加載進度顯示。
• 用於測試的聊天界面。
• 用於編程訪問的 JavaScript API。
• 錯誤處理和狀態報告。

📄 注意事項

⚠️ 重要提示

• 首次運行會較慢，因為需要下載並初始化大語言模型。
• 瀏覽器默認以無頭模式運行。
• 可以進行截圖以調試界面。
• 模型切換需要重新初始化，這會花費一些時間。
• 界面完全包含在 HTML 文件中。