Prompt Tester

🚀 MCP 提示詞框架文檔

MCP 提示詞框架提供了便捷的提示詞測試和模型調用功能，可幫助開發者高效設計提示詞並評估不同模型的表現。

🚀 快速開始

環境配置

在使用 MCP 提示詞框架前，需要進行必要的環境配置。

必選環境變量

• OPENAI_API_KEY：你的 OpenAI API 密鑰。
• ANTHROPIC_API_KEY：你的 Anthropic API 密鑰。

可選 Langfuse 跟蹤設置（用於日誌記錄和可觀測性）

• LANGFUSE_SECRET_KEY：你的 Langfuse 秘密密鑰。
• LANGFUSE_PUBLIC_KEY：你的 Langfuse 公開密鑰。
• LANGFUSE_HOST：你的 Langfuse 實例 URL。

如果你不需要使用 Langfuse 跟蹤功能，可以留空這些配置。

💻 使用示例

基礎用法

以下是使用 MCP 框架進行提示詞測試的完整代碼示例：

import asyncio
import json
from mcp.client.session import ClientSession
from mcp.client.stdio import StdioServerParameters, stdio_client

async def main():
    async with stdio_client(
        StdioServerParameters(command="prompt-tester")
    ) as (read, write):
        async with ClientSession(read, write) as session:
            await session.initialize()
            
            # 1. 列出所有可用的提供程序和模型
            providers_result = await session.call_tool("list_providers", {})
            print("可用的提供程序和模型:", providers_result)
            
            # 2. 使用單一模型進行基本測試
            comparison_result = await session.call_tool("test_comparison", {
                "comparisons": [
                    {
                        "provider": "openai",
                        "model": "gpt-4",
                        "system_prompt": "You are a helpful assistant.",
                        "user_prompt": "Explain quantum computing in simple terms.",
                        "temperature": 0.7,
                        "max_tokens": 500
                    }
                ]
            })
            print("單一模型測試結果:", comparison_result)
            
            # 3. 比較多個提示詞/模型
            comparison_result = await session.call_tool("test_comparison", {
                "comparisons": [
                    {
                        "provider": "openai",
                        "model": "gpt-4",
                        "system_prompt": "You are a helpful assistant.",
                        "user_prompt": "Explain quantum computing in simple terms.",
                        "temperature": 0.7
                    },
                    {
                        "provider": "anthropic",
                        "model": "claude-3-opus-20240229",
                        "system_prompt": "You are a helpful assistant.",
                        "user_prompt": "Explain quantum computing in simple terms.",
                        "temperature": 0.7
                    }
                ]
            })
            print("比較測試結果:", comparison_result)
            
            # 4. 開始一個多輪對話
            conversation_start = await session.call_tool("test_multiturn_conversation", {
                "mode": "start",
                "provider": "openai",
                "model": "gpt-4",
                "system_prompt": "You are an expert in physics who can explain complex concepts in simple terms.",
                "user_prompt": "What is dark matter?"
            })
            print("對話已啟動:", conversation_start)
            
            # 從響應中獲取對話 ID
            response_data = json.loads(conversation_start.text)
            conversation_id = response_data.get("conversation_id")
            
            # 繼續對話
            if conversation_id:
                conversation_continue = await session.call_tool("test_multiturn_conversation", {
                    "mode": "continue",
                    "conversation_id": conversation_id,
                    "user_prompt": "How does that relate to dark energy?"
                })
                print("繼續對話:", conversation_continue)
                
                # 獲取對話歷史
                conversation_history = await session.call_tool("test_multiturn_conversation", {
                    "mode": "get",
                    "conversation_id": conversation_id
                })
                print("對話歷史記錄:", conversation_history)

asyncio.run(main())

🔧 技術細節

MCP 代理集成

對於使用 MCP 加持的代理，集成步驟如下：

1. 服務發現：代理可以調用 list_providers 工具來發現可用的模型及其功能。
2. 簡單測試：對於快速測試，使用 test_comparison 工具搭配單一配置即可。
3. 比較測試：當代理需要評估不同提示詞或模型時，可以通過 test_comparison 工具同時配置多個選項。
4. 狀態化交互：對於多輪對話，代理可以利用 test_multiturn_conversation 工具來管理上下文和對話歷史。

這種集成方式使代理能夠：

• 測試不同提示詞變體以找到最有效的表達方式。
• 比較不同模型在特定任務上的表現。
• 維持對話的上下文信息。
• 調整溫度參數以控制生成文本的創造性和準確性。

通過這些功能，MCP 提示詞框架為代理提供了強大的工具集，使其能夠高效地進行提示詞設計和模型調用。