SMCP Proxy (OIDC)

🚀 SMCP 代理指南

SMCP 代理是一個支持多種模型服務協議的中間件，允許用戶通過統一接口訪問不同後端服務，為用戶提供便捷的服務調用體驗。

🚀 快速開始

SMCP 代理是一個支持多種模型服務協議的中間件，允許用戶通過統一接口訪問不同後端服務。以下是基本使用示例：

示例配置 (proxy-server.yml)

global:
  port: 8080
  host: "localhost"
  log_level: "info"
  enable_metrics: true

backends:
  mcp-sequential:
    url: "http://localhost:3001/api"
    strip_path: "/v1/sequentialthinking"

  mcp-memory:
    command: "docker"
    args:
      - run
      - --rm
      - -i
      - mcr.microsoft.com/hugginginception/transformers Glenn Glock/llama2-70b-instruct

✨ 主要特性

• 高可用性：支持負載均衡和故障轉移。
• 可擴展性：便於添加新的後端服務。
• 高性能：通過中間件優化請求處理。

📦 安裝指南

從源碼安裝

1. 克隆倉庫：

git clone git@github.com:yourusername/smc-proxy.git
cd smc-proxy

2. 下載依賴並構建：

go mod tidy
go build -o bin/smc cmd/sm/main.go

3. 安裝到系統目錄（可選）：

sudo cp bin/smc /usr/local/bin/

從二進制文件安裝

下載預編譯的二進制文件，根據你的操作系統選擇對應的版本。

💻 使用示例

基礎用法

場景一：統一接口訪問多後端

curl http://localhost:8080/api/prompt \
  -H "Content-Type: application/json" \
  -d '{"model":"gpt-3.5-turbo", "messages":[{"role":"user","content":"你好！"}]}'

場景二：集成到現有系統

package main

import (
    "net/http"
)

func main() {
    http.ListenAndServe(":8081", smc.NewRouter())
}

高級用法

這裡可以根據實際的高級使用場景進行補充說明，如果沒有則可忽略。

📚 詳細文檔

配置參考

全局配置

後端配置

支持兩種類型的後端：

1. HTTP 類型：

backend_name:
  transport: "http"
  url: "http://example.com/mcp"

2. Stdio 類型：

backend_name:
  transport: "stdio"
  command: "docker"
  args:
    - run
    - --rm
    - -i
    - your/image:tag

模型服務協議

基本請求格式

POST /api/prompt HTTP/1.1
Content-Type: application/json

{
  "model": "gpt-3.5-turbo",
  "messages": [
    {
      "role": "user",
      "content": "你好！"
    }
  ]
}

返回格式

HTTP/1.1 200 OK
Content-Type: application/json

{
  "id": "chatcmpl-XXXXX",
  "choices": [
    {
      "message": {
        "role": "assistant",
        "content": "你好！很高興見到你。"
      }
    }
  ]
}

🔧 技術細節

項目結構

smc-proxy/
├── cmd/
│   └── sm/                # 主程序入口
│       ├── main.go        # 入口文件
│       └── config.go      # 配置加載邏輯
├── internal/
│   ├── middleware/       # 中間件實現
│   │   ├── log.go        # 日誌記錄中間件
│   │   └── recovery.go   # 錯誤恢復中間件
├── go.mod                # 依賴管理文件
└── go.sum                # 依賴校驗文件

中間件

日誌記錄

在每個請求開始時記錄日誌：

func LogMiddleware(next http.HandlerFunc) http.HandlerFunc {
    return func(w http.ResponseWriter, r *http.Request) {
        log.Printf("Started %s %s", r.Method, r.URL.Path)
        next(w, r)
    }
}

錯誤恢復

處理panic並返回自定義錯誤：

func RecoveryMiddleware(next http.HandlerFunc) http.HandlerFunc {
    panicChan := make(chan interface{}, 1)
    go func() {
        defer func() { recover }()
        next(nil, nil)
    }()
    select {
    case <-panicChan:
        // 處理panic信息
    }
}

📄 許可證

本項目遵循MIT License協議。

⚠️ 重要提示

• 性能調優：使用Golang的sync.Pool優化內存使用，避免在中間件中執行阻塞操作。
• 日誌管理：根據環境設置不同的日誌級別，定期清理舊日誌文件。
• 安全措施：啟用HTTPS以確保數據傳輸安全，配置CORS策略控制跨域訪問。

💡 使用建議

在安裝和使用過程中，嚴格按照文檔步驟進行操作，遇到問題可查看相關配置和日誌信息進行排查。