核心可观测性功能修正

修正后的输出

修正功能让你可以直接在 trace 和 observation 视图中记录 LLM 输出的改进版本。领域专家可以记录模型本应生成的内容,为微调数据集和持续改进打下基础。

带 diff 视图的修正输出

为什么使用修正?

  • 领域专家反馈:专业人员根据自身经验提供模型本应输出的内容
  • 微调数据集:将修正后的输出与原始输入一同导出,从生产 trace 构造高质量训练数据
  • 质量基准:在生产 trace 上对比实际输出与期望输出,识别系统性问题
  • 人在回路工作流:在评审过程中记录修正,对 标注队列 尤其有用

工作机制

可以通过 UI 或 API 给任何 trace 或 observation 添加修正后的输出。修正会与原始输出并排显示,并通过 diff 视图呈现变化。每个 trace 或 observation 可以有一份修正输出。

添加修正

通过 UI

进入任意 trace 或 observation 详情页:

  1. 找到原始输出下方的 “Corrected Output” 字段
  2. 点击以添加或编辑修正
  3. 输入改进后的输出
  4. JSON 校验模式纯文本模式 之间切换以匹配你的数据格式
  5. 查看 diff 对比原始输出与修正输出

在 UI 中添加修正

编辑器会随你输入自动保存,并在 JSON 模式下提供实时校验反馈。

获取修正

修正以 score 形式存储,可以通过编程方式获取,用于构建数据集或分析模型表现。

即将推出:通过 SDK 获取修正。

这个页面对你有帮助吗?