Llama MCP Server

🚀 LibreModel MCP Server 🤖

LibreModel MCP Server 是一個模型上下文協議（MCP）服務器，它能將 Claude Desktop 與通過 llama-server 運行的本地大語言模型（LLM）實例連接起來。

🚀 快速開始

1. 安裝依賴

cd llama-mcp
npm install

2. 構建服務器

npm run build

3. 啟動你的 LibreModel

確保 llama-server 正在運行你的模型：

./llama-server -m lm37.gguf -c 2048 --port 8080

4. 配置 Claude Desktop

將以下內容添加到你的 Claude Desktop 配置文件（~/.config/claude/claude_desktop_config.json）中：

{
  "mcpServers": {
    "libremodel": {
      "command": "node",
      "args": ["/home/jerr/llama-mcp/dist/index.js"]
    }
  }
}

5. 重啟 Claude Desktop

重啟後，Claude 就可以通過 MCP 訪問 LibreModel 了！

✨ 主要特性

• 💬 通過 Claude Desktop 與本地模型進行完整的對話支持。
• 🎛️ 實現完整的參數控制（溫度、最大令牌數、top_p、top_k）。
• ✅ 具備健康監測和服務器狀態檢查功能。
• 🧪 內置針對不同能力的測試工具。
• 📊 提供性能指標和令牌使用情況跟蹤。
• 🔧 可通過環境變量進行輕鬆配置。

💻 使用示例

基礎用法

💬 chat - 主要對話工具

使用聊天工具向 LibreModel 提問："你叫什麼名字，能做什麼？"

🧪 quick_test - 測試 LibreModel 能力

運行類型為 "creative" 的 quick_test，查看 LibreModel 是否能寫詩。

🏥 health_check - 監控服務器狀態

使用 health_check 檢查 LibreModel 是否正常運行。

📚 詳細文檔

配置

設置環境變量以自定義行為：

export LLAMA_SERVER_URL="http://localhost:8080"  # 默認的 llama-server URL

可用工具

資源

• 配置：查看當前服務器設置。
• 說明：詳細的使用指南和設置說明。

開發

# 安裝依賴
npm install

# 開發模式（自動重建）
npm run dev

# 生產環境構建
npm run build

# 直接啟動服務器
npm start

架構

Claude Desktop ←→ LLama MCP Server ←→ llama-server API ←→ Local Model

MCP 服務器充當橋樑，將 MCP 協議消息轉換為 llama-server API 調用，併為 Claude Desktop 格式化響應。

故障排除

“無法連接到 LLama 服務器”

• 確保 llama-server 在配置的端口上運行。
• 檢查模型是否已加載並能正常響應。
• 驗證防火牆/網絡設置。

“Claude Desktop 中找不到工具”

• 配置更改後重啟 Claude Desktop。
• 檢查 index.js 的路徑是否正確且為絕對路徑。
• 驗證 MCP 服務器構建是否無錯誤。

響應質量不佳

• 調整溫度和採樣參數。
• 嘗試不同的系統提示。

📄 許可證

本項目採用 CC0-1.0 許可證，屬於公共領域，可自由使用！

本項目由 Claude Sonnet4 為開源人工智能和 LibreModel 項目精心打造 ❤️。