把 Litefuse 与 OpenWebUI 集成

OpenWebUI 是一款可离线运行的自托管 WebUI,支持多种 LLM 运行时,包括 Ollama 和 OpenAI 兼容 API。OpenWebUI 是开源的,可以方便地部署到你自己的基础设施上。

如何把 Litefuse 与 OpenWebUI 集成

Litefuse 为 OpenWebUI 提供开源的可观测性与评估。启用 Litefuse 集成后,你可以用 Litefuse 追踪应用数据,从而开发、监控并改进 OpenWebUI 的使用,包括:

  • 应用 trace
  • 使用模式
  • 按用户和模型的成本数据
  • 评估

如何把 Litefuse 与 OpenWebUI 集成:

OpenWebUI 的 Pipelines 是一个与 UI 无关的 OpenAI API 插件框架。它允许注入插件,拦截、处理用户 prompt 并将其转发给最终的 LLM,从而对 prompt 处理进行更强的控制和定制。

要把应用数据 trace 到 Litefuse,可以使用 Litefuse pipeline,对消息交互进行实时监控和分析。

快速开始

配置 OpenWebUI

确保 OpenWebUI 已经运行。安装步骤参考 OpenWebUI 文档

配置 Pipelines

通过 Docker 启动 Pipelines。用下面这条命令启动:

docker run -p 9099:9099 --add-host=host.docker.internal:host-gateway -v pipelines:/app/pipelines --name pipelines --restart always ghcr.io/open-webui/pipelines:main

将 OpenWebUI 与 Pipelines 连接

Admin Panel > Settings 中,创建并保存一个 OpenAI API 类型的新连接,填入:

OpenWebUI Settings

添加 Litefuse Filter Pipeline

接下来进入 Admin Panel > Settings > Pipelines,添加 Litefuse Filter Pipeline。指定 Pipelines 监听在 http://host.docker.internal:9099(按上一步配置),并使用 Install from GitHub URL 选项通过下面这个 URL 安装 Litefuse Filter Pipeline

https://github.com/open-webui/pipelines/blob/main/examples/filters/langfuse_v3_filter_pipeline.py

然后把你的 Litefuse API Key 填进去。如果还没注册 Litefuse,可以在 这里 创建账号获取 API Key。

OpenWebUI add Litefuse Pipeline

要在启用 streaming 时也能捕获 OpenAI 模型的用量(token 计数),需要在 OpenWebUI 的模型设置里、Capabilities 下勾选 “Usage” 选项

第 4 步:在 Litefuse 中查看 trace

现在你可以与 OpenWebUI 应用交互,并在 Litefuse 中看到 trace。

OpenWebUI Example Trace in Litefuse

Litefuse UI 中的示例 trace

了解更多

关于 OpenWebUI Pipelines 的完整指南,见 这篇文章

关于配置 OpenWebUI 的更多信息,见 官方文档

反馈

如有任何反馈或建议,欢迎创建 GitHub Issue,或在 Discord 上与社区分享你的工作。

这个页面对你有帮助吗?