Root Signals MCP

🚀 模型上下文協議（MCP）項目文檔

模型上下文協議（Model Context Protocol，簡稱MCP）是一款用於評估AI生成內容質量的實用工具。它為用戶提供了多種使用方式，能滿足不同場景下對AI內容質量評估的需求。

🚀 快速開始

模型上下文協議（MCP）有兩種主要使用方式，用戶可按需選擇：

1. 直接調用MCP服務：通過安裝並運行提供的MCP服務器，可在本地或雲端環境中使用該服務。
2. 集成到應用中：將MCP客戶端整合到自己的Python應用程序裡，實現自動化評估功能。

✨ 主要特性

• evaluators列表：提供多種預定義的評估指標，全面覆蓋準確性、清晰度、相關性等多個維度。
• 評估接口：支持四種評估方式，滿足多樣化的評估需求：
  • 基於ID的評估：通過指定的評估器ID進行內容評估。
  • 基於名稱的評估：通過評估器名稱進行內容評估。
  • 基於檢索的生成評估：結合外部知識庫上下文進行評估。
  • 基於名稱的檢索生成評估：結合上下文和評估器名稱進行評估。

💻 使用示例

基礎用法

示例1: 安裝與運行MCP服務器

# 克隆倉庫
git clone https://github.com/your-repository.git
cd your-repository

# 安裝依賴
pip install -r requirements.txt

# 啟動服務
uv run server .

示例2: 使用Python客戶端進行評估

import os
from root_mcp_server.client import RootSignalsMCPClient

async def main():
    mcp_client = RootSignalsMCPClient()
    
    try:
        await mcp_client.connect()
        
        # 獲取所有評估器列表
        evaluators = await mcp_client.list_evaluators()
        print(f"檢測到 {len(evaluators)} 個評估器")
        
        # 使用ID進行評估
        result_id = await mcp_client.run_evaluation(
            evaluator_id="eval-123456789",
            request="請問法國的首都是哪裡？",
            response="巴黎是法國的首都。"
        )
        print(f"基於ID的評估分數: {result_id['score']}")
        
        # 使用名稱進行評估
        result_name = await mcp_client.run_evaluation_by_name(
            evaluator_name="清晰度",
            request="請問法國的首都是哪裡？",
            response="巴黎是法國的首都。"
        )
        print(f"基於名稱的評估分數: {result_name['score']}")
        
    finally:
        await mcp_client.disconnect()

if __name__ == "__main__":
    import asyncio
    asyncio.run(main())

示例3: 評估提示模板

用戶可以在Cursor中直接輸入以下指令來評估生成式AI的提示模板：

評估總結器提示在清晰度和精確度方面。使用RootSignals。

🤝 貢獻指南

參與方式

我們熱忱歡迎任何有助於提升用戶體驗的貢獻，具體參與步驟如下：

1. 同步代碼庫：使用uv sync --extra dev命令獲取最新代碼和依賴項。
2. 安裝預-commit鉤子：通過pre-commit install確保每次提交前自動格式化代碼。
3. 添加功能或修復問題：將新代碼和測試用例添加到src/root_mcp_server/tests/目錄中。
4. 構建並測試：運行docker compose up --build啟動服務，並通過設置環境變量ROOT_SIGNALS_API_KEY=<密鑰>執行單元測試，確保所有測試通過。
5. 格式化代碼：使用ruff format . && ruff check .命令保持代碼風格統一。

注意事項

⚠️ 重要提示

請為新增的功能或修復的問題單獨創建一個分支，並在提交前添加詳細的commit信息。如果發現任何問題，請及時提交issue或pull request。

⚠️ 已知限制

功能限制

• 評估範圍：當前版本僅支持文本生成內容的評估，不支持圖像、音頻等其他形式的內容。
• 上下文大小：基於檢索的生成評估功能目前只支持較小規模的知識庫。

性能限制

• 處理延遲：大規模數據或多輪對話場景可能會導致評估時間增加。

📫 問題反饋

如在使用過程中遇到任何問題，請通過以下方式反饋：

• 提交Issue
• 發送郵件至support@yourdomain.com

⚠️ 重要提示

本文檔內容可能隨時更新，建議定期查閱以獲取最新信息。