指标

Litefuse 指标从 可观测性 与 评估 的 trace 中提炼出可执行的洞察。

指标可以通过 自定义仪表盘 与 指标 API 进行多维切分。

功能

自定义仪表盘指标 API

导出到 PostHog

导出到 Mixpanel

指标与维度

指标：

• 质量 通过用户反馈、基于模型的打分、人工参与的样本打分，或通过 SDK/API 上报的自定义分数来度量（参见 分数）。质量会随时间评估，也会跨 prompt 版本、LLM 与用户进行评估。
• 成本与延迟 会被精确度量，并按用户、会话、地理位置、功能、模型与 prompt 版本拆分。
• 流量 基于上报的 trace 数与使用的 token 数。

维度：

• Trace 名称：通过给 trace 加上 name 字段，区分不同的用例、功能等。
• 用户：按用户跟踪使用量与成本。只需给 trace 加上 userId（文档）。
• 标签：通过给 trace 添加 标签 来过滤不同的用例、功能等。
• Release 与 version 编号：跟踪 LLM 应用的变更如何影响你的指标。

如需精确定义，请参考 指标 API 文档。