Prompt Tester

🚀 MCP プロンプトフレームワークドキュメント

MCP プロンプトフレームワークは、提示詞のテストやモデルの呼び出しを効率的に行うためのツールセットです。環境設定や使用方法、コード例を提供しています。

🚀 クイックスタート

環境構成

必須の環境変数:

• OPENAI_API_KEY - あなたの OpenAI API キー
• ANTHROPIC_API_KEY - あなたの Anthropic API キー

オプションの Langfuse トラッキング設定（ログ記録と可観測性のため）：

• LANGFUSE_SECRET_KEY - あなたの Langfuse シークレットキー
• LANGFUSE_PUBLIC_KEY - あなたの Langfuse 公開キー
• LANGFUSE_HOST - あなたの Langfuse インスタンスの URL

Langfuse トラッキング機能を使用しない場合は、これらの設定を空白にしておくことができます。

💻 使用例

基本的な使用法

import asyncio
import json
from mcp.client.session import ClientSession
from mcp.client.stdio import StdioServerParameters, stdio_client

async def main():
    async with stdio_client(
        StdioServerParameters(command="prompt-tester")
    ) as (read, write):
        async with ClientSession(read, write) as session:
            await session.initialize()
            
            # 1. 列出所有可用的提供程序和模型
            providers_result = await session.call_tool("list_providers", {})
            print("可用的提供程序和模型:", providers_result)
            
            # 2. 使用单一模型进行基本测试
            comparison_result = await session.call_tool("test_comparison", {
                "comparisons": [
                    {
                        "provider": "openai",
                        "model": "gpt-4",
                        "system_prompt": "You are a helpful assistant.",
                        "user_prompt": "Explain quantum computing in simple terms.",
                        "temperature": 0.7,
                        "max_tokens": 500
                    }
                ]
            })
            print("单一模型测试结果:", comparison_result)
            
            # 3. 比较多个提示词/模型
            comparison_result = await session.call_tool("test_comparison", {
                "comparisons": [
                    {
                        "provider": "openai",
                        "model": "gpt-4",
                        "system_prompt": "You are a helpful assistant.",
                        "user_prompt": "Explain quantum computing in simple terms.",
                        "temperature": 0.7
                    },
                    {
                        "provider": "anthropic",
                        "model": "claude-3-opus-20240229",
                        "system_prompt": "You are a helpful assistant.",
                        "user_prompt": "Explain quantum computing in simple terms.",
                        "temperature": 0.7
                    }
                ]
            })
            print("比较测试结果:", comparison_result)
            
            # 4. 开始一个多轮对话
            conversation_start = await session.call_tool("test_multiturn_conversation", {
                "mode": "start",
                "provider": "openai",
                "model": "gpt-4",
                "system_prompt": "You are an expert in physics who can explain complex concepts in simple terms.",
                "user_prompt": "What is dark matter?"
            })
            print("对话已启动:", conversation_start)
            
            # 从响应中获取对话 ID
            response_data = json.loads(conversation_start.text)
            conversation_id = response_data.get("conversation_id")
            
            # 继续对话
            if conversation_id:
                conversation_continue = await session.call_tool("test_multiturn_conversation", {
                    "mode": "continue",
                    "conversation_id": conversation_id,
                    "user_prompt": "How does that relate to dark energy?"
                })
                print("继续对话:", conversation_continue)
                
                # 获取对话历史
                conversation_history = await session.call_tool("test_multiturn_conversation", {
                    "mode": "get",
                    "conversation_id": conversation_id
                })
                print("对话历史记录:", conversation_history)

asyncio.run(main())

📚 ドキュメント

MCP エージェントの統合

MCP を使用するエージェントの統合手順は以下の通りです。

1. サービス検出：エージェントは list_providers ツールを呼び出して、利用可能なモデルとその機能を検出できます。
2. 簡単なテスト：迅速なテストには、test_comparison ツールを単一の設定で使用します。
3. 比較テスト：エージェントが異なるプロンプトまたはモデルを評価する必要がある場合、test_comparison ツールを使用して複数のオプションを同時に設定できます。
4. 状態付きインタラクション：多ターン対話の場合、エージェントは test_multiturn_conversation ツールを使用してコンテキストと対話履歴を管理できます。

この統合方法により、エージェントは以下のことができます。

• 最も効果的な表現を見つけるために、異なるプロンプトバリエーションをテストする。
• 特定のタスクにおける異なるモデルのパフォーマンスを比較する。
• 対話のコンテキスト情報を維持する。
• 生成されるテキストの創造性と正確性を制御するために温度パラメータを調整する。

これらの機能により、MCP プロンプトフレームワークはエージェントに強力なツールセットを提供し、効率的なプロンプト設計とモデル呼び出しを可能にします。