Web Llm MCP Server

🚀 Web-LLM MCP 服务器

Web-LLM MCP 服务器是一个使用 Playwright 加载并与包含 @mlc-ai/web-llm 的 HTML 页面进行交互的 MCP 服务器，可用于本地大语言模型（LLM）推理。

✨ 主要特性

• 基于浏览器的大语言模型：使用在 Chromium 浏览器实例中运行的 @mlc-ai/web-llm。
• Playwright 集成：自动执行浏览器交互，实现无缝的大语言模型操作。
• 多种工具：支持文本生成、聊天、检查状态、切换模型和截图等功能。
• 模型管理：支持多种 Web-LLM 模型，并可动态切换。

📦 安装指南

1. 安装依赖：

pnpm install

2. 安装 Playwright 浏览器：

npx playwright install chromium

💻 使用示例

基础用法

启动 MCP 服务器：

node index.js

高级用法

运行测试：

node test.js

🚀 快速开始

可用工具

playwright_llm_generate

通过浏览器界面使用 Web-LLM 生成文本。

参数：

• prompt（字符串）：用于生成文本的提示信息。
• systemPrompt（字符串，可选）：用于设置上下文的系统提示信息。
• maxTokens（数字，可选）：生成的最大令牌数。
• temperature（数字，可选）：生成的温度参数（范围 0 - 1）。
• model（字符串，可选）：要使用的模型（如果不同，将重新初始化）。

playwright_llm_chat

启动交互式聊天会话并返回响应。

参数：

• message（字符串）：在聊天中发送的消息。
• clearHistory（布尔值，可选）：在发送消息前清除聊天历史记录。

playwright_llm_status

获取 Web-LLM Playwright 界面的当前状态。

playwright_llm_set_model

更改当前的 Web-LLM 模型。

参数：

• model（字符串）：要切换到的模型 ID。

playwright_llm_screenshot

对 Web-LLM 界面进行截图。

参数：

• path（字符串，可选）：保存截图的路径。

支持的模型

• Llama-3.2-1B-Instruct-q4f32_1-MLC（默认）
• Llama-3.2-3B-Instruct-q4f32_1-MLC
• Phi-3.5-mini-instruct-q4f16_1-MLC
• gemma-2-2b-it-q4f32_1-MLC
• Mistral-7B-Instruct-v0.3-q4f16_1-MLC
• Qwen2.5-1.5B-Instruct-q4f32_1-MLC

🔧 技术细节

服务器的工作原理如下：

1. 使用 Playwright 启动一个无头 Chromium 浏览器。
2. 加载包含 Web-LLM 界面的 index.html 文件。
3. 等待 Web-LLM 模型初始化。
4. 通过 window.webllmInterface 对象暴露浏览器函数。
5. 提供调用这些浏览器函数的 MCP 工具。

HTML 界面提供了一个完整的 Web-LLM 实现，具备以下功能：

• 模型初始化和加载进度显示。
• 用于测试的聊天界面。
• 用于编程访问的 JavaScript API。
• 错误处理和状态报告。

📄 注意事项

⚠️ 重要提示

• 首次运行会较慢，因为需要下载并初始化大语言模型。
• 浏览器默认以无头模式运行。
• 可以进行截图以调试界面。
• 模型切换需要重新初始化，这会花费一些时间。
• 界面完全包含在 HTML 文件中。