核心可观测性概览

可观测性与应用 trace

由于 AI 本身具有非确定性,在没有任何可观测性工具的情况下调试应用更像是凭感觉猜。 完善的可观测性能让你拥有理解应用内部到底发生了什么、以及为什么会这样的工具。

其核心是 应用 trace —— 对每个请求的结构化日志,记录发送给模型的真实 prompt、模型的响应、token 用量、延迟,以及中间所有的工具或检索步骤。

Litefuse 在你开发过程中自动捕获这些信息。下面是 Litefuse UI 中一个 trace 的示例:

一个展示嵌套 observation 的 trace 示例:初始的模型调用、多次工具执行以及最后的总结步骤。每个 observation 都包含时间、输入、输出和成本信息。

快速开始

创建你的第一个 trace

花点时间理解 Litefuse 中 trace 的核心概念:trace、会话与 observation

跑通基础流程后,你可以为 trace 添加更多功能。我们建议从以下内容开始:

已经清楚自己想做什么?看 Features 下面的具体主题指南。

FAQ

可观测性和 trace 有什么区别?
可观测性 是从系统输出推断其内部状态的更宽泛能力,涵盖 trace、指标和日志。trace 则是一种具体的可观测性技术,记录请求在系统中的流转过程,并保留操作之间的因果关系。在 LLM 应用场景下,trace 是最重要的可观测性工具,因为它能完整捕获每个请求的上下文 —— prompt、响应、工具调用以及它们之间的关系。
什么是应用 trace?
应用 trace 记录请求在系统中流转的完整生命周期。每个 trace 会捕获每个操作 —— LLM 调用、检索步骤、工具执行以及自定义逻辑 —— 同时记录时间、输入、输出和元数据。这让你对每个请求中实际发生的事情有完整的可见性,从而支持调试、性能优化和质量监控。
Litefuse 与其他 trace 方案相比如何?
Litefuse 是为 LLM 应用专门构建的,因此它原生理解 LLM 相关概念,例如 token 用量、模型参数、prompt/completion 配对以及评估分数。与通用的 APM 工具不同,Litefuse 提供专门面向 AI 工程的特性:LLM-as-a-Judge 评估prompt 管理实验和数据集,以及自定义仪表盘。同时它是开源的,可以自托管。
Litefuse 会给我的应用增加延迟吗?
不会。Langfuse SDK 在后台异步发送 trace 数据。trace 事件会在本地排队并按批次刷新,因此不会影响应用的响应时间。详见队列与批处理
这个页面对你有帮助吗?