修正后的输出
修正功能让你可以直接在 trace 和 observation 视图中记录 LLM 输出的改进版本。领域专家可以记录模型本应生成的内容,为微调数据集和持续改进打下基础。

为什么使用修正?
- 领域专家反馈:专业人员根据自身经验提供模型本应输出的内容
- 微调数据集:将修正后的输出与原始输入一同导出,从生产 trace 构造高质量训练数据
- 质量基准:在生产 trace 上对比实际输出与期望输出,识别系统性问题
- 人在回路工作流:在评审过程中记录修正,对 标注队列 尤其有用
工作机制
可以通过 UI 或 API 给任何 trace 或 observation 添加修正后的输出。修正会与原始输出并排显示,并通过 diff 视图呈现变化。每个 trace 或 observation 可以有一份修正输出。
添加修正
通过 UI
进入任意 trace 或 observation 详情页:
- 找到原始输出下方的 “Corrected Output” 字段
- 点击以添加或编辑修正
- 输入改进后的输出
- 在 JSON 校验模式 与 纯文本模式 之间切换以匹配你的数据格式
- 查看 diff 对比原始输出与修正输出

编辑器会随你输入自动保存,并在 JSON 模式下提供实时校验反馈。
获取修正
修正以 score 形式存储,可以通过编程方式获取,用于构建数据集或分析模型表现。
即将推出:通过 SDK 获取修正。
这个页面对你有帮助吗?