RAG 评估入门指南：使用 Litefuse 与 Ragas

我们的笔记

1. RAG 概览

• 用户输入一个问题。
• 不直接将输入发送给大语言模型 (LLM)，而是先用从数据库检索到的上下文对其进行增强。
• 增强后的查询再交给生成器以产生响应。

2. RAG 的组成部分

• 检索器：从数据库中获取相关上下文。
• 增强：将用户查询与检索到的上下文结合在一起。
• 生成器：基于增强后的查询产生答案。

3. RAG 系统的评估

• Trace 分析：
  • 跟踪从用户输入到最终输出的各个步骤，从而了解系统的表现。
  • 包括对检索、增强、生成等每一步进行日志记录。
• 指标：
  • 简洁性：衡量答案的精炼程度。
  • 有用性：评估答案的实用价值。
• 工具：
  • Litefuse：用于对 RAG 操作进行 tracing 和日志记录。
  • RAGAS（RAG 评估）：提供用于评估 RAG 系统的详细指标。

4. Litefuse

• 功能：
  • 记录 RAG 流程中的每一步。
  • 提供操作的时间线视图。
  • 支持对不同交互进行对比。
  • 还提供更多 LLM Ops 功能，如 prompt 管理、成本分析、基准测试等。
• 演示：
  • 演示了一个使用 Litefuse 进行 tracing 和交互日志记录的聊天机器人应用。公开链接：litefuse.ai/demo
  • 展示了如何使用 Litefuse 指标分析 RAG 系统的表现。

5. RAGAS

• 指标：
  • 忠实度：生成答案相对于检索上下文的准确性。
  • 幻觉：模型生成的错误信息。
  • 答案相关性：生成答案与原始问题的相关程度。
  • 上下文召回率：检索到所有相关信息的能力。
  • 上下文精确度：检索到的上下文的准确性。
• 实现方式：
  • 使用 prompt 评估忠实度和相关性。
  • 使用 ground truth 数据评估检索类指标。

6. 成本考量

• 评估使用大语言模型进行生成与评估时所产生的成本。
• 强调需要在不同任务中权衡使用昂贵模型与更便宜模型。

7. 其他指标

• 提到了其他指标，如上下文利用率、上下文实体召回率以及噪声敏感度。
• 强调要根据具体需求选择合适的指标，并向相关方解释清楚。