Inferable 的 Litefuse 集成

Inferable（GitHub）是一个开源平台，帮助你大规模构建可靠的 Agent 自动化。

借助原生集成，你可以使用 Inferable 快速创建分布式 Agent 自动化，然后用 Litefuse 监控并改进它们。无需修改代码。

快速开始

在 Inferable 中选择目标集群，进入 Integrations 标签页
填入你的 Litefuse 凭证：
- Secret API Key：你的 Litefuse Secret API Key
- Public API Key：你的 Litefuse Public API Key
- Base URL：你的 Litefuse Base URL（例如 https://litefuse.cloud）
- Send Message Payloads：是否将 LLM 调用与函数调用的输入输出发送到 Litefuse

启用 Litefuse 集成后，你会开始在 Litefuse 仪表盘看到 trace。Inferable 中的每个 Run 都会映射成 Litefuse 中独立的 trace。

Litefuse 中的 Inferable trace

trace 中你会看到两类 span：

Tool Calls：以函数名标识。这是为 Run 中 LLM 发起的每次工具调用创建的 span。
LLM Calls：以 GENERATION 标识。这是为 LLM 调用创建的 span。Inferable 会为 Run 中每次 LLM 调用创建一个新的 span，包括：
- Agent 循环的推理
- 实用调用（例如摘要生成、标题生成）

在这里了解更多 Litefuse 追踪数据结构的信息。

每当你通过 Playground 或 API 对某个 Run 提交评估时，Inferable 都会向 Litefuse 上该 Run 对应的 trace 发送一个 score。

如果你使用 Litefuse 进行评估，这能帮你把评估结果与 Litefuse 中具体的 trace 关联起来。

Litefuse 中的 Inferable 评估

默认情况下，Inferable 只会发送 LLM 调用和函数调用的元数据，包括模型、Run ID、token 使用量、延迟等。

如果启用了 Send Message Payloads，Inferable 还会发送 LLM 调用和函数调用的输入与输出，包括：

这个页面对你有帮助吗？