Databricks 与 Litefuse
什么是 Databricks？ > Databricks 是由 Apache Spark 的创建者创立的统一分析平台。它提供了一个用于协作进行数据工程、机器学习和数据分析的交互式工作空间。借助 Databricks，团队可以大规模构建、训练和部署模型，高效利用大数据和先进的分析工具。
什么是 Litefuse？ > Litefuse 是一个全面的平台，旨在帮助开发者监控、追踪和评估生产环境中的语言模型。它通过详细的日志和事件追踪提供强大的洞察力，确保稳健的性能监控和更轻松的 AI 应用调试。
追踪与可观测性
将 Databricks 与 Litefuse 集成后，你可以追踪基于 Databricks 构建的应用，在 Litefuse Playground 中实验 prompt，并通过严格的评估对模型进行基准测试。
Playground 与评估
本指南将带你完成将 Databricks 语言模型端点与 Litefuse 集成的过程。这样你就可以在 Litefuse Playground 中快速实验 prompt 并调试交互，同时通过评估系统化地基准测试你的模型。
借助 Litefuse，你可以：
- 在 Playground 中实验： 交互式 Playground 让你能够实时测试语言模型。你可以发送自定义 prompt、查看详细响应，并将 prompt 添加到Prompt 库中。
- 使用评估进行基准测试： LLM-as-a-Judge 评估 提供了一种方式来对应用性能进行基准测试。你可以运行预定义的测试模板，分析延迟和准确率等指标，并基于可量化的结果改进模型。
在 Databricks 中设置 Serving Endpoint
首先在 Databricks 中设置一个 serving endpoint。这让你能够查询自定义微调的模型，或者通过网关（如 OpenAI、Anthropic）服务的模型。关于高级配置选项，请参阅 Databricks 文档。
在项目设置中添加模型
接下来，将你的 Databricks 模型端点添加到 Litefuse 项目设置中。
确保你输入了正确的端点 URL 和认证信息。model name 即你在 Databricks 中创建的 serving endpoint 的名称。
在 Playground 中使用模型
Litefuse Playground 提供了一个交互式界面，你可以：
- 发送 prompt 并快速查看结果。
- 将 prompt 添加到Prompt 库中。
选择 Databricks 作为你的 LLM 服务商，并选择之前配置的端点。
在评估中使用模型
LLM-as-a-judge 是一种通过将 LLM 作为评判者来评估 LLM 应用质量的技术。LLM 接收一个 trace 或数据集条目，对输出进行评分并给出推理。评分和推理结果会作为 score 存储在 Litefuse 中。
