AI 应用开发指南

Appearance

LLMOps ​

AI 应用的持续集成、评估与发布

学习目标 ​

  • 理解 LLMOps 与传统 MLOps 的区别
  • 建立提示词 CI/CD 流程
  • 掌握评估驱动的迭代方法

1. LLMOps 概述 ​

1.1 什么是 LLMOps ​

1.2 与 MLOps 的区别 ​

1.3 核心流程 ​

2. 提示词 CI/CD ​

2.1 版本管理 ​

2.2 自动化测试 ​

2.3 发布流程 ​

3. 评估框架 ​

3.1 LangSmith ​

3.2 Promptfoo ​

3.3 Braintrust ​

3.4 自定义评估 ​

4. A/B 测试 ​

4.1 实验设计 ​

4.2 统计分析 ​

4.3 决策框架 ​

5. 模型管理 ​

5.1 模型切换 ​

5.2 版本回滚 ​

5.3 配置管理 ​

练习 ​

  1. 为一个 RAG 应用建立 Promptfoo 评估流水线
  2. 实现提示词的 Git 版本管理与自动化测试
  3. 设计一个 A/B 测试方案并分析结果

延伸阅读 ​