Litefuse 概览
Litefuse 是一个 Agent 可观测与评估平台，帮助团队协作调试、分析、迭代他们的 LLM 应用。所有平台能力都做了原生集成，加速开发流程。Litefuse 开源、可自托管、可扩展。
可观测性
- 记录 trace
- 最底层的透明度
- 理解成本与延迟
提示词管理
- 版本管理与发布
- 团队协作 prompt
- 测试 prompt 与模型
评估
- 衡量输出质量
- 监控生产健康度
- 在开发期验证改动
平台能力
- API-first 架构
- 导出到对象存储
- 企业级安全与管理
可观测性
可观测性对理解和调试 LLM 应用至关重要。LLM 应用涉及复杂、非确定的交互，监控和调试都比传统软件更难。Litefuse 提供完整的 tracing 能力，让你清楚地看到应用内部发生了什么。
- Trace 涵盖所有 LLM 与非 LLM 调用，包括检索、嵌入、API 调用等
- 支持以 session 形式跟踪多轮对话以及用户维度
- Agent 可以图（graph）的形式呈现
- 通过我们的 Python/JS 原生 SDK、50+ 库/框架集成、OpenTelemetry 或 LiteLLM 这类 LLM Gateway 上报 trace
- 基于 OpenTelemetry，提升兼容性、降低 vendor lock-in
想看实际效果？体验交互式 Demo。
Traces allow you to track every LLM call and other relevant logic in your app.
Prompt 管理
Prompt 管理是构建高效 LLM 应用的关键。Litefuse 提供工具帮助你在整个开发周期内管理、版本化和优化你的 prompt。
- 快速开始 Prompt 管理
- 在整个开发周期内管理、版本化、优化 prompt
- 在 LLM Playground 里交互式测试 prompt
- 在 Litefuse 里直接对数据集运行实验，验证新 prompt 版本
Create a new prompt via UI, SDKs, or API.
评估
评估是确保 LLM 应用质量与可靠性的关键。Litefuse 提供灵活的评估工具，覆盖开发期测试到生产监控的不同场景。
- 入门多种评估方式：LLM-as-a-judge、用户反馈、人工标注或自定义
- 通过对生产 trace 跑评估，尽早发现问题
- 创建并管理数据集，在开发阶段做系统化测试，确保应用在各种场景下表现稳定
- 运行实验，对你的 LLM 应用做系统化的测试
Plot evaluation results in the Dashboard.
从哪里开始？
完整搭建在线 tracing、prompt 管理、生产评估、以及离线数据集评估是需要时间的。本指南帮你判断哪部分对你的场景最关键。
从 PoC 到生产的简化生命周期：
快速开始
几分钟内跑通 Litefuse。按你当前的需求选择路径：
为什么选 Litefuse？
- 生产优化：针对最小化性能开销而设计
- 一流的 SDK：Python 与 JavaScript 原生 SDK
- 框架支持：与 OpenAI SDK、LangChain、LlamaIndex 等主流框架集成
- 多模态：支持文本、图像等多种模态的 tracing
- 完整平台：覆盖 LLM 应用开发完整生命周期的工具集
- 成本友好：Fork 自 Langfuse，针对简洁性与成本做了优化
这个页面对你有帮助吗？