Unsloth MCP Server

🚀 Unsloth MCP 服務器

Unsloth MCP 服務器 是一個專為大規模語言模型打造的開源推理框架，具有高效、低資源消耗的特點。它能顯著提升推理速度，降低 GPU 資源需求，為用戶帶來更流暢的使用體驗。

🚀 快速開始

安裝依賴

pip install mcp-server unsloth[tensor,transformers]

啟動服務器

mcp-server --model-path <your-model-path> --port 8080

調用接口

可以通過 HTTP 或 gRPC 協議調用 MCP 服務：

HTTP 示例

import requests

url = "http://localhost:8080/api/infer"
payload = {
    "input": "這是一個測試句子。",
    "parameters": {
        "temperature": 0.7,
        "top_p": 0.9
    }
}
response = requests.post(url, json=payload)
print(response.json())

gRPC 示例

import grpc
from unslothproto import inference_pb2_grpc

channel = grpc.insecure_channel('localhost:8081')
stub = inference_pb2_grpc.InferenceStub(channel)

request = inference_pb2.InferRequest(
    inputs=["這是一個測試句子"],
    parameters=inference_pb2.Parameters(temperature=0.7, top_p=0.9)
)
response = stub.Infer(request)
print(response.outputs)

✨ 主要特性

• 快速處理：相比 PyTorch 和其他主流框架，Unsloth 的推理速度更快。
• 低資源消耗：在相同 GPU 配置下，內存佔用減少 10 倍以上。
• 長上下文支持：能夠處理長達 4k tokens 的上下文窗口。

📦 安裝指南

安裝依賴

pip install mcp-server unsloth[tensor,transformers]

啟動服務器

mcp-server --model-path <your-model-path> --port 8080

💻 使用示例

基礎用法

import requests

url = "http://localhost:8080/api/infer"
payload = {
    "input": "這是一個測試句子。",
    "parameters": {
        "temperature": 0.7,
        "top_p": 0.9
    }
}
response = requests.post(url, json=payload)
print(response.json())

高級用法

import grpc
from unslothproto import inference_pb2_grpc

channel = grpc.insecure_channel('localhost:8081')
stub = inference_pb2_grpc.InferenceStub(channel)

request = inference_pb2.InferRequest(
    inputs=["這是一個測試句子"],
    parameters=inference_pb2.Parameters(temperature=0.7, top_p=0.9)
)
response = stub.Infer(request)
print(response.outputs)

📚 詳細文檔

MCP Server 功能

通過運行 Unsloth 的 MCP（多標準處理）服務器，您可以享受到以下功能：

1. 模型管理
   • 支持加載多種格式的大型語言模型
   • 提供模型權重緩存機制，提升加載速度
   • 支持在線更新和熱重載
2. 推理服務
   • 提供 RESTful API 接口
   • 支持批量處理請求
   • 內置模型監控和健康檢查
3. 擴展插件
   • 可配置的中間件系統
   • 支持自定義後處理邏輯
   • 提供詳細的日誌記錄和跟蹤
4. 高可用性
   • 基於 gRPC 的高性能通信協議
   • 內置負載均衡和故障恢復機制
   • 支持水平擴展和集群部署

模型支持

我們目前支持以下模型格式：

• ONNX: 轉換指南
• TensorRT: 部署文檔
• PyTorch: 遷移教程

性能基準

🤝 貢獻指南

歡迎社區貢獻！您可以通過以下方式參與：

• 提交問題：Issues
• 創建拉取請求：Pull Requests
• 分享使用經驗：Discussions

讓我們一起推動語言模型推理技術的發展！