LLM Playground

直接在 Litefuse Prompt Playground 中测试和迭代你的 prompt。调整 prompt 和模型参数，观察不同模型对这些输入变化的响应。这样你可以快速迭代 prompt，为 LLM 应用找到最佳效果，无需在多个工具间切换，也不需要写代码。

核心功能

并排对比视图

把多个 prompt 变体并排对比。可以一次性运行所有变体，也可以聚焦于某一个。每个变体都有自己的 LLM 设置、变量、工具定义和占位符，让你能立刻看到每次改动的影响。

在 playground 中打开你的 prompt

你可以把通过 Litefuse Prompt 管理创建的 prompt 在 playground 中打开。

把你的 prompt 保存到 Prompt 管理

当你对 prompt 满意时，可以点击保存按钮把它存到 Prompt 管理中。

在 playground 中打开一次 generation

你可以在 Litefuse Observability 的 generation 详情页面点击 Open in Playground 按钮，把这次 generation 在 playground 中打开。

工具调用与结构化输出

Litefuse Playground 支持工具调用和结构化输出 schema，让你能够定义、测试并校验依赖工具调用以及强制特定响应格式的 LLM 执行过程。

工具调用

• 通过 JSON schema 定义自定义工具
• 通过 mock 工具响应实时测试依赖工具的 prompt
• 把工具定义保存到你的项目中

结构化输出

• 使用 JSON schema 强制约束响应格式
• 把 schema 保存到你的项目中
• 从使用结构化输出的 OpenAI generation 直接跳转到 playground

添加 prompt 变量

你可以在 playground 中添加 prompt 变量，模拟 prompt 的不同输入。

使用你喜欢的模型

在 Litefuse 项目设置中加上你想用的模型对应的 API Key，就可以使用它。LLM 连接的配置方式参见这里。

可选地，许多 LLM 厂商在调用模型时支持额外参数。你可以在 playground 中开启模型选择下拉框里的 “Additional Options” 来传入这些参数。更多信息参见关于额外厂商参数的文档。

相关资源

• 想在数据集上对 prompt 和模型变体做结构化的回归测试，使用 Experiments。