Promptfoo 与 Litefuse Prompt 管理集成

Promptfoo 是一个开源的 LLM 测试平台。它提供红队演练、漏洞扫描和 LLM 评估等工具，帮助团队保证 LLM 应用的安全性与可靠性。

将 Promptfoo 与 Litefuse 集成，可以在 Promptfoo 评估过程中利用 Litefuse 的 prompt 管理能力。借助本集成，你可以直接在 Litefuse 中引用和管理 prompt，让 LLM 测试流程更高效、更有条理。

借助 Litefuse Prompt 管理，你可以：

在不重新部署应用的情况下更新 prompt。
跟踪并回滚到之前的 prompt 版本。
监控并优化 prompt 性能。
把 prompt 无缝集成到你的工具和应用中。
通过 UI、SDK 或 API 以极低延迟管理 prompt。

更多细节请参见 Litefuse Prompt 管理文档。

感谢 Promptfoo 团队开发本集成（文档）。

快速开始指南

第 1 步：配置 Litefuse

安装 litefuse SDK：npm install langfuse
访问 Litefuse 创建账号。
创建新项目并复制 Litefuse API Key。
按需设置 LANGFUSE_PUBLIC_KEY、LANGFUSE_SECRET_KEY 与 LANGFUSE_BASE_URL 环境变量。

第 2 步：创建 Litefuse Prompt

你可以通过 Litefuse UI、SDK 或 API 创建、编辑和管理 prompt。

# 创建 text prompt
langfuse.create_prompt(
    name="movie-critic",
    type="text",
    prompt="As a {{criticlevel}} movie critic, do you like {{movie}}?",
    labels=["production"],  # 直接发布到 production
    config={
        "model": "gpt-3.5-turbo",
        "temperature": 0.7,
        "supported_languages": ["en", "fr"],
    },  # 可选：添加配置（如模型参数或模型工具）或标签
)
 
# 创建 chat prompt
langfuse.create_prompt(
    name="movie-critic-chat",
    type="chat",
    prompt=[
      { role: "system", content: "You are an {{criticlevel}} movie critic" },
      { role: "user", content: "Do you like {{movie}}?" },
    ],
    labels=["production"],  # 直接发布到 production
    config={
        "model": "gpt-3.5-turbo",
        "temperature": 0.7,
        "supported_languages": ["en", "fr"],
    },  # 可选：添加配置（如模型参数或模型工具）或标签
)

如果已经存在同名 prompt，新创建的会被作为一个新版本添加。

// 创建 text prompt
await langfuse.createPrompt({
  name: "movie-critic",
  type: "text",
  prompt: "As a {{criticlevel}} critic, do you like {{movie}}?",
  labels: ["production"], // 直接发布到 production
  config: {
    model: "gpt-3.5-turbo",
    temperature: 0.7,
    supported_languages: ["en", "fr"],
  }, // 可选：添加配置（如模型参数或模型工具）或标签
});
 
// 创建 chat prompt
await langfuse.createPrompt({
  name: "movie-critic-chat",
  type: "chat",
  prompt: [
    { role: "system", content: "You are an {{criticlevel}} movie critic" },
    { role: "user", content: "Do you like {{movie}}?" },
  ],
  labels: ["production"], // 直接发布到 production
  config: {
    model: "gpt-3.5-turbo",
    temperature: 0.7,
    supported_languages: ["en", "fr"],
  }, // 可选：添加配置（如模型参数或模型工具）或标签
});

如果已经存在同名 prompt，新创建的会被作为一个新版本添加。

第 3 步：在 Promptfoo 中引用 prompt

现在你可以在 Promptfoo 中使用在 Litefuse 创建的 prompt。在 Promptfoo 配置文件中，使用 langfuse:// 前缀，后跟 Litefuse 的 prompt ID 与版本号。例如：

prompts:
  - "langfuse://foo-bar-prompt:3"
providers:
  - openai:gpt-4o-mini
tests:
  - vars:
      # ...

Promptfoo 测试用例中的变量会被自动作为变量代入到 Litefuse prompt 中。

Parallel Testable Minds

这个页面对你有帮助吗？

支持