Dify —— 为你的 LLM 应用提供可观测性与指标
Dify (GitHub)是一款开源 LLM 应用开发平台,原生集成 Litefuse。通过原生集成,你可以用 Dify 快速构建复杂的 LLM 应用,然后用 Litefuse 监控和持续改进它们。
配置
- 在 Litefuse 中创建项目,并在项目设置中拿到 API 凭据。
- 在 Dify 中:进入你的 Dify 应用的
Monitoring设置。 - 通过
Third-party LLMOps provider菜单接入 Litefuse。 - 通过 UI 或 API 调用 Dify 应用,开始把 trace 与指标采集到 Litefuse。
Dify 到 Litefuse 的字段映射
集成会自动把 Dify 的以下字段映射到 Litefuse:
| Dify | Litefuse |
|---|---|
user | userId |
message_id | trace_id |
conversation_id | sessionId |
trace.name | |
| 应用类型、模型类型 | tags |
Litefuse Prompt 管理
Litefuse Prompt Management 插件(社区维护)让你在 Dify 应用中使用 Litefuse 管理和版本化的 prompt,提升 LLM 应用开发流程。主要功能:
- Get Prompt:拉取 Litefuse 中管理的特定 prompt。
- Search Prompts:使用各种过滤条件在 Litefuse 中搜索 prompt。
- Update Prompt:在 Litefuse 中创建 prompt 的新版本,并设置标签/label。
该集成简化了 prompt 的管理和版本化流程,让开发与迭代更高效。插件与安装说明见 这里。
关于 Dify
来源:Dify Readme
Dify 是开源的 LLM 应用开发平台。它的直观界面将 AI 工作流、RAG 流水线、Agent 能力、模型管理、可观测性等结合在一起,让你能从原型快速走向生产。核心功能如下:
-
Workflow:在可视化画布上构建并测试强大的 AI 工作流,利用以下所有能力,并能进一步扩展。
-
全面的模型支持:与数十家推理 provider 和自托管方案的数百个专有 / 开源 LLM 无缝集成,覆盖 GPT、Mistral、Llama3 以及任何兼容 OpenAI API 的模型。完整的模型 provider 列表见 这里。
-
Prompt IDE:直观地编写 prompt、对比模型表现,并为聊天应用添加文本转语音等额外能力。
-
RAG 流水线:完整的 RAG 能力覆盖从文档摄取到检索的全过程,内置对 PDF、PPT 等常见文档格式的文本提取支持。
-
Agent 能力:你可以基于 LLM Function Calling 或 ReAct 定义 Agent,并为 Agent 添加预置或自定义工具。Dify 为 AI Agent 提供 50+ 内置工具,如 Google Search、DELL·E、Stable Diffusion 和 WolframAlpha。
-
LLMOps:长期监控并分析应用日志与性能。你可以基于生产数据和标注持续改进 prompt、数据集和模型。
-
Backend-as-a-Service:Dify 的所有能力都附带对应 API,让你轻松把 Dify 嵌入自己的业务逻辑。