核心评估评估方法标注队列

标注队列

标注队列是一种人工评估方法，专为领域专家而设计，让他们可以为 trace、observation 或会话添加分数和评论。

为什么使用标注队列？

  • 手动浏览应用结果并为其添加分数和评论
  • 让领域专家能够给一部分 trace 添加分数和评论
  • 添加修正后的输出，记录模型本应生成什么
  • 使你的 LLM-as-a-Judge 评估与人工标注保持一致

一步步设置

创建一个新的标注队列

  • 点击 New Queue 创建一个新队列。
  • 选择该队列要使用的分数配置。
  • 设置 Queue name 和 Description（可选）。
  • 为队列分配用户（可选）。

标注队列需要一个分数配置来定义标注任务的评分维度。详见如何创建和管理分数配置。

向队列添加 trace、observation 或会话

创建好标注队列后，你可以将 trace、observation 或会话分配到队列中。

要将多个 trace、会话或 observation 添加到队列：

  1. 通过复选框选择 Trace、Observation 或 Session。
  2. 点击 “Actions” 下拉菜单
  3. 点击 Add to queue 将所选 trace、会话或 observation 加入队列。
  4. 选择你要加入的目标队列。

Annotate

处理标注队列

队列中的每一项都会显示一个标注任务。

  1. 在 Annotate 卡片上为定义好的维度填写分数
  2. 点击 Complete + next 进入下一个标注任务，或结束队列

通过 API 管理标注队列

你可以通过 API 管理标注队列。这让你能够扩展和自动化标注流程，或将 Litefuse 作为自定义 vibe coded 标注工具的后端。

LLM-as-a-Judge在 UI 中打分
这个页面对你有帮助吗？
支持