Prompt Tester

🚀 MCP 提示词框架文档

MCP 提示词框架提供了便捷的提示词测试和模型调用功能，可帮助开发者高效设计提示词并评估不同模型的表现。

🚀 快速开始

环境配置

在使用 MCP 提示词框架前，需要进行必要的环境配置。

必选环境变量

• OPENAI_API_KEY：你的 OpenAI API 密钥。
• ANTHROPIC_API_KEY：你的 Anthropic API 密钥。

可选 Langfuse 跟踪设置（用于日志记录和可观测性）

• LANGFUSE_SECRET_KEY：你的 Langfuse 秘密密钥。
• LANGFUSE_PUBLIC_KEY：你的 Langfuse 公开密钥。
• LANGFUSE_HOST：你的 Langfuse 实例 URL。

如果你不需要使用 Langfuse 跟踪功能，可以留空这些配置。

💻 使用示例

基础用法

以下是使用 MCP 框架进行提示词测试的完整代码示例：

import asyncio
import json
from mcp.client.session import ClientSession
from mcp.client.stdio import StdioServerParameters, stdio_client

async def main():
    async with stdio_client(
        StdioServerParameters(command="prompt-tester")
    ) as (read, write):
        async with ClientSession(read, write) as session:
            await session.initialize()
            
            # 1. 列出所有可用的提供程序和模型
            providers_result = await session.call_tool("list_providers", {})
            print("可用的提供程序和模型:", providers_result)
            
            # 2. 使用单一模型进行基本测试
            comparison_result = await session.call_tool("test_comparison", {
                "comparisons": [
                    {
                        "provider": "openai",
                        "model": "gpt-4",
                        "system_prompt": "You are a helpful assistant.",
                        "user_prompt": "Explain quantum computing in simple terms.",
                        "temperature": 0.7,
                        "max_tokens": 500
                    }
                ]
            })
            print("单一模型测试结果:", comparison_result)
            
            # 3. 比较多个提示词/模型
            comparison_result = await session.call_tool("test_comparison", {
                "comparisons": [
                    {
                        "provider": "openai",
                        "model": "gpt-4",
                        "system_prompt": "You are a helpful assistant.",
                        "user_prompt": "Explain quantum computing in simple terms.",
                        "temperature": 0.7
                    },
                    {
                        "provider": "anthropic",
                        "model": "claude-3-opus-20240229",
                        "system_prompt": "You are a helpful assistant.",
                        "user_prompt": "Explain quantum computing in simple terms.",
                        "temperature": 0.7
                    }
                ]
            })
            print("比较测试结果:", comparison_result)
            
            # 4. 开始一个多轮对话
            conversation_start = await session.call_tool("test_multiturn_conversation", {
                "mode": "start",
                "provider": "openai",
                "model": "gpt-4",
                "system_prompt": "You are an expert in physics who can explain complex concepts in simple terms.",
                "user_prompt": "What is dark matter?"
            })
            print("对话已启动:", conversation_start)
            
            # 从响应中获取对话 ID
            response_data = json.loads(conversation_start.text)
            conversation_id = response_data.get("conversation_id")
            
            # 继续对话
            if conversation_id:
                conversation_continue = await session.call_tool("test_multiturn_conversation", {
                    "mode": "continue",
                    "conversation_id": conversation_id,
                    "user_prompt": "How does that relate to dark energy?"
                })
                print("继续对话:", conversation_continue)
                
                # 获取对话历史
                conversation_history = await session.call_tool("test_multiturn_conversation", {
                    "mode": "get",
                    "conversation_id": conversation_id
                })
                print("对话历史记录:", conversation_history)

asyncio.run(main())

🔧 技术细节

MCP 代理集成

对于使用 MCP 加持的代理，集成步骤如下：

1. 服务发现：代理可以调用 list_providers 工具来发现可用的模型及其功能。
2. 简单测试：对于快速测试，使用 test_comparison 工具搭配单一配置即可。
3. 比较测试：当代理需要评估不同提示词或模型时，可以通过 test_comparison 工具同时配置多个选项。
4. 状态化交互：对于多轮对话，代理可以利用 test_multiturn_conversation 工具来管理上下文和对话历史。

这种集成方式使代理能够：

• 测试不同提示词变体以找到最有效的表达方式。
• 比较不同模型在特定任务上的表现。
• 维持对话的上下文信息。
• 调整温度参数以控制生成文本的创造性和准确性。

通过这些功能，MCP 提示词框架为代理提供了强大的工具集，使其能够高效地进行提示词设计和模型调用。