SMCP Proxy (OIDC)

🚀 SMCP 代理指南

SMCP 代理是一个支持多种模型服务协议的中间件，允许用户通过统一接口访问不同后端服务，为用户提供便捷的服务调用体验。

🚀 快速开始

SMCP 代理是一个支持多种模型服务协议的中间件，允许用户通过统一接口访问不同后端服务。以下是基本使用示例：

示例配置 (proxy-server.yml)

global:
  port: 8080
  host: "localhost"
  log_level: "info"
  enable_metrics: true

backends:
  mcp-sequential:
    url: "http://localhost:3001/api"
    strip_path: "/v1/sequentialthinking"

  mcp-memory:
    command: "docker"
    args:
      - run
      - --rm
      - -i
      - mcr.microsoft.com/hugginginception/transformers Glenn Glock/llama2-70b-instruct

✨ 主要特性

• 高可用性：支持负载均衡和故障转移。
• 可扩展性：便于添加新的后端服务。
• 高性能：通过中间件优化请求处理。

📦 安装指南

从源码安装

1. 克隆仓库：

git clone git@github.com:yourusername/smc-proxy.git
cd smc-proxy

2. 下载依赖并构建：

go mod tidy
go build -o bin/smc cmd/sm/main.go

3. 安装到系统目录（可选）：

sudo cp bin/smc /usr/local/bin/

从二进制文件安装

下载预编译的二进制文件，根据你的操作系统选择对应的版本。

💻 使用示例

基础用法

场景一：统一接口访问多后端

curl http://localhost:8080/api/prompt \
  -H "Content-Type: application/json" \
  -d '{"model":"gpt-3.5-turbo", "messages":[{"role":"user","content":"你好！"}]}'

场景二：集成到现有系统

package main

import (
    "net/http"
)

func main() {
    http.ListenAndServe(":8081", smc.NewRouter())
}

高级用法

这里可以根据实际的高级使用场景进行补充说明，如果没有则可忽略。

📚 详细文档

配置参考

全局配置

后端配置

支持两种类型的后端：

1. HTTP 类型：

backend_name:
  transport: "http"
  url: "http://example.com/mcp"

2. Stdio 类型：

backend_name:
  transport: "stdio"
  command: "docker"
  args:
    - run
    - --rm
    - -i
    - your/image:tag

模型服务协议

基本请求格式

POST /api/prompt HTTP/1.1
Content-Type: application/json

{
  "model": "gpt-3.5-turbo",
  "messages": [
    {
      "role": "user",
      "content": "你好！"
    }
  ]
}

返回格式

HTTP/1.1 200 OK
Content-Type: application/json

{
  "id": "chatcmpl-XXXXX",
  "choices": [
    {
      "message": {
        "role": "assistant",
        "content": "你好！很高兴见到你。"
      }
    }
  ]
}

🔧 技术细节

项目结构

smc-proxy/
├── cmd/
│   └── sm/                # 主程序入口
│       ├── main.go        # 入口文件
│       └── config.go      # 配置加载逻辑
├── internal/
│   ├── middleware/       # 中间件实现
│   │   ├── log.go        # 日志记录中间件
│   │   └── recovery.go   # 错误恢复中间件
├── go.mod                # 依赖管理文件
└── go.sum                # 依赖校验文件

中间件

日志记录

在每个请求开始时记录日志：

func LogMiddleware(next http.HandlerFunc) http.HandlerFunc {
    return func(w http.ResponseWriter, r *http.Request) {
        log.Printf("Started %s %s", r.Method, r.URL.Path)
        next(w, r)
    }
}

错误恢复

处理panic并返回自定义错误：

func RecoveryMiddleware(next http.HandlerFunc) http.HandlerFunc {
    panicChan := make(chan interface{}, 1)
    go func() {
        defer func() { recover }()
        next(nil, nil)
    }()
    select {
    case <-panicChan:
        // 处理panic信息
    }
}

📄 许可证

本项目遵循MIT License协议。

⚠️ 重要提示

• 性能调优：使用Golang的sync.Pool优化内存使用，避免在中间件中执行阻塞操作。
• 日志管理：根据环境设置不同的日志级别，定期清理旧日志文件。
• 安全措施：启用HTTPS以确保数据传输安全，配置CORS策略控制跨域访问。

💡 使用建议

在安装和使用过程中，严格按照文档步骤进行操作，遇到问题可查看相关配置和日志信息进行排查。