Root Signals MCP

🚀 モデルコンテキストプロトコル (MCP) ドキュメント

モデルコンテキストプロトコル（Model Context Protocol，略称MCP）は、AIによって生成されたコンテンツの品質を評価するためのツールです。このツールを使用することで、コンテンツの精度、明瞭性、関連性などのさまざまな側面を評価することができます。

🚀 クイックスタート

モデルコンテキストプロトコル（Model Context Protocol，略称MCP）は、AI生成コンテンツの品質を評価するツールです。以下の方法で使用できます。

1. MCPサービスを直接呼び出す：提供されたMCPサーバーをインストールして実行し、ローカルまたはクラウド環境で使用します。
2. アプリケーションに統合する：MCPクライアントを自分のPythonアプリケーションに統合し、自動評価機能を実装します。

✨ 主な機能

• evaluators リスト：精度、明瞭性、関連性などの複数の次元をカバーする、複数の事前定義された評価指標を提供します。
• 評価インターフェース：以下の4種類の評価方法をサポートしています。
  • IDベースの評価：指定された評価器IDを使用してコンテンツを評価します。
  • 名前ベースの評価：評価器の名前を使用してコンテンツを評価します。
  • 検索ベースの生成評価：外部の知識ベースのコンテキストを組み合わせて評価します。
  • 名前ベースの検索生成評価：コンテキストと評価器の名前を組み合わせて評価します。

💻 使用例

基本的な使用法

例1: MCPサーバーのインストールと実行

# リポジトリをクローンする
git clone https://github.com/your-repository.git
cd your-repository

# 依存関係をインストールする
pip install -r requirements.txt

# サービスを起動する
uv run server .

例2: Pythonクライアントを使用した評価

import os
from root_mcp_server.client import RootSignalsMCPClient

async def main():
    mcp_client = RootSignalsMCPClient()
    
    try:
        await mcp_client.connect()
        
        # すべての評価器のリストを取得する
        evaluators = await mcp_client.list_evaluators()
        print(f"検出された評価器の数: {len(evaluators)}")
        
        # IDを使用して評価する
        result_id = await mcp_client.run_evaluation(
            evaluator_id="eval-123456789",
            request="フランスの首都はどこですか？",
            response="パリはフランスの首都です。"
        )
        print(f"IDベースの評価スコア: {result_id['score']}")
        
        # 名前を使用して評価する
        result_name = await mcp_client.run_evaluation_by_name(
            evaluator_name="明瞭性",
            request="フランスの首都はどこですか？",
            response="パリはフランスの首都です。"
        )
        print(f"名前ベースの評価スコア: {result_name['score']}")
        
    finally:
        await mcp_client.disconnect()

if __name__ == "__main__":
    import asyncio
    asyncio.run(main())

例3: 評価プロンプトテンプレート

ユーザーはCursorで以下のコマンドを直接入力して、生成AIのプロンプトテンプレートを評価できます。

評価サマライザーのプロンプトを明瞭性と精度の面で評価する。RootSignalsを使用する。

🤝 貢献ガイド

参加方法

ユーザー体験の向上に役立つすべての貢献を歓迎します。具体的な手順は以下の通りです。

1. コードベースを同期する：uv sync --extra devコマンドを使用して、最新のコードと依存関係を取得します。
2. pre - commitフックをインストールする：pre-commit installを実行して、コミットするたびに自動的にコードを整形するようにします。
3. 機能を追加または問題を修正する：新しいコードとテストケースをsrc/root_mcp_server/tests/ディレクトリに追加します。
4. ビルドしてテストする：docker compose up --buildを実行してサービスを起動し、環境変数ROOT_SIGNALS_API_KEY=<キー>を設定して単体テストを実行し、すべてのテストが通過することを確認します。
5. コードを整形する：ruff format . && ruff check .コマンドを使用して、コードスタイルを統一します。

注意事項

• 新しい機能や修正を追加する場合は、個別のブランチを作成し、コミットする前に詳細なコミットメッセージを追加してください。
• 問題が見つかった場合は、すぐにissueまたはpull requestを提出してください。

⚠️ 既知の制限

機能制限

• 評価範囲：現在のバージョンは、テキスト生成コンテンツの評価のみをサポートしており、画像や音声などの他の形式のコンテンツはサポートしていません。
• コンテキストサイズ：検索ベースの生成評価機能は、現在、小規模な知識ベースのみをサポートしています。

性能制限

• 処理遅延：大規模なデータや複数回の対話シナリオでは、評価時間が増加する可能性があります。

📫 問題のフィードバック

使用中に問題が発生した場合は、以下の方法でフィードバックを送ってください。

• Issueを提出する
• support@yourdomain.comにメールを送信する

⚠️ 重要提示

このドキュメントの内容は随時更新される可能性があります。最新情報を取得するために定期的に確認することをおすすめします。