Locallama MCP
L

Locallama MCP

LocaLLama MCP Server是一個智能路由服務,通過動態決策將編碼任務分配給本地LLM或付費API,以優化成本。包含成本監控、決策引擎、API集成、錯誤處理和性能基準測試等核心模塊,支持與多種工具集成。
2.5分
7.6K

什麼是LocaLLama MCP 服務器?

LocaLLama MCP 服務器是一個旨在減少編碼任務中API使用成本的工具。它通過動態分析任務複雜度和預算限制,決定是否將任務交給本地LLM模型處理或直接調用付費API。

如何使用LocaLLama MCP 服務器?

只需簡單配置環境變量並啟動服務器即可開始使用。它會自動監控成本、性能並分配任務。

適用場景

適合需要頻繁進行代碼生成或優化的開發者,特別是在預算有限的情況下。

主要功能

成本監控模塊
即時跟蹤API費用和本地模型使用情況,確保成本最優。
智能決策引擎
根據任務規模、質量需求及成本閾值自動選擇本地或雲端模型。
本地LLM集成
支持多種主流本地LLM框架如LM Studio和Ollama。
OpenRouter集成
訪問多種付費和免費的LLM服務,無需額外配置。
全面基準測試
評估不同模型的響應時間、質量和成本,生成詳細報告。
優勢
顯著降低API使用成本
提高開發效率
支持多種模型集成
自動化決策減少人工干預
侷限性
初次配置可能較複雜
對高精度任務可能影響模型表現
需要一定的本地硬件支持

如何使用

克隆項目代碼
通過Git克隆LocaLLama MCP服務器代碼到本地。
安裝依賴
運行npm命令安裝所需的依賴項。
配置環境變量
複製.env.example文件並填寫你的API密鑰和本地模型端點。
啟動服務器
執行npm start啟動LocaLLama MCP服務器。

使用案例

示例1:啟動服務器
通過簡單的npm命令啟動服務器,即可開始處理編碼任務。
示例2:獲取免費模型列表
使用命令獲取當前可用的免費LLM模型。

常見問題

如何快速開始使用LocaLLama MCP服務器?
如果遇到免費模型無法加載的問題怎麼辦?
如何知道我的API成本是否超支?

相關資源

GitHub倉庫
項目源代碼和文檔
官方文檔
詳細的技術文檔和教程
基準測試報告
模型性能對比報告

安裝

複製以下命令到你的Client進行配置
{
  "mcpServers": {
    "locallama": {
      "command": "node",
      "args": ["/path/to/locallama-mcp"],
      "env": {
        "LM_STUDIO_ENDPOINT": "http://localhost:1234/v1",
        "OLLAMA_ENDPOINT": "http://localhost:11434/api",
        "DEFAULT_LOCAL_MODEL": "qwen2.5-coder-3b-instruct",
        "TOKEN_THRESHOLD": "1500",
        "COST_THRESHOLD": "0.02",
        "QUALITY_THRESHOLD": "0.07",
        "OPENROUTER_API_KEY": "your_openrouter_api_key_here"
      },
      "disabled": false
    }
  }
}
注意:您的密鑰屬於敏感信息,請勿與任何人分享。

替代品

K
Klavis
Klavis AI是一個開源項目,提供在Slack、Discord和Web平臺上簡單易用的MCP(模型上下文協議)服務,包括報告生成、YouTube工具、文檔轉換等多種功能,支持非技術用戶和開發者使用AI工作流。
TypeScript
8.2K
5分
M
MCP
微軟官方MCP服務器,為AI助手提供最新微軟技術文檔的搜索和獲取功能
10.0K
5分
A
Aderyn
Aderyn是一個開源的Solidity智能合約靜態分析工具,由Rust編寫,幫助開發者和安全研究人員發現Solidity代碼中的漏洞。它支持Foundry和Hardhat項目,可生成多種格式報告,並提供VSCode擴展。
Rust
5.9K
5分
D
Devtools Debugger MCP
Node.js調試器MCP服務器,提供基於Chrome DevTools協議的完整調試功能,包括斷點設置、單步執行、變量檢查和表達式評估等
TypeScript
6.4K
4分
S
Scrapling
Scrapling是一個自適應網頁抓取庫,能自動學習網站變化並重新定位元素,支持多種抓取方式和AI集成,提供高性能解析和開發者友好體驗。
Python
7.9K
5分
M
Mcpjungle
MCPJungle是一個自託管的MCP網關,用於集中管理和代理多個MCP服務器,為AI代理提供統一的工具訪問接口。
Go
0
4.5分
C
Cipher
Cipher是一個專為編程AI代理設計的開源記憶層框架,通過MCP協議與各種IDE和AI編碼助手集成,提供自動記憶生成、團隊記憶共享和雙系統記憶管理等核心功能。
TypeScript
0
5分
N
Nexus
Nexus是一個AI工具聚合網關,支持連接多個MCP服務器和LLM提供商,通過統一端點提供工具搜索、執行和模型路由功能,支持安全認證和速率限制。
Rust
0
4分
B
Baidu Map
已認證
百度地圖MCP Server是國內首個兼容MCP協議的地圖服務,提供地理編碼、路線規劃等10個標準化API接口,支持Python和Typescript快速接入,賦能智能體實現地圖相關功能。
Python
26.5K
4.5分
M
Markdownify MCP
Markdownify是一個多功能文件轉換服務,支持將PDF、圖片、音頻等多種格式及網頁內容轉換為Markdown格式。
TypeScript
20.7K
5分
F
Firecrawl MCP Server
Firecrawl MCP Server是一個集成Firecrawl網頁抓取能力的模型上下文協議服務器,提供豐富的網頁抓取、搜索和內容提取功能。
TypeScript
65.8K
5分
S
Sequential Thinking MCP Server
一個基於MCP協議的結構化思維服務器,通過定義思考階段幫助分解複雜問題並生成總結
Python
21.0K
4.5分
N
Notion Api MCP
已認證
一個基於Python的MCP服務器,通過Notion API提供高級待辦事項管理和內容組織功能,實現AI模型與Notion的無縫集成。
Python
13.4K
4.5分
M
Magic MCP
Magic Component Platform (MCP) 是一個AI驅動的UI組件生成工具,通過自然語言描述幫助開發者快速創建現代化UI組件,支持多種IDE集成。
JavaScript
15.5K
5分
E
Edgeone Pages MCP Server
EdgeOne Pages MCP是一個通過MCP協議快速部署HTML內容到EdgeOne Pages並獲取公開URL的服務
TypeScript
15.4K
4.8分
C
Context7
Context7 MCP是一個為AI編程助手提供即時、版本特定文檔和代碼示例的服務,通過Model Context Protocol直接集成到提示中,解決LLM使用過時信息的問題。
TypeScript
44.6K
4.7分
AIBase
智啟未來,您的人工智慧解決方案智庫
© 2025AIBase