了解如何构建多模式搜索和 RAG 系统。RAG 系统通过将专有数据纳入提示上下文来增强 LLM。通常情况下，RAG 应用程序使用文本文档，但是，如果所需的上下文包括图像、音频和视频等多媒体呢？本课程涵盖了使用多模态数据实施 RAG 以实现这一目标的技术方面。了解如何通过对比学习训练多模态模型，并在真实数据集上加以实现。2. 建立任意到任意的多模态搜索，以检索不同数据类型的相关上下文。了解如何通过 Visual instruction tuning 训练 LLM 来理解多模态数据，并将其用于多个图像推理实例上。4. 实现端到端多模态 RAG 系统，该系统可分析检索到的多模态上下文以生成有见地的答案。探索行业应用，如 Visualization 分析发票和流程图以输出结构化数据。创建一个多 Vector 推荐系统，通过比较多种模态的相似性来推荐相关项目。 随着 AI 系统越来越需要对多种数据模态进行处理和推理，学习如何构建此类系统是 AI 开发人员的一项重要技能。 本课程让您掌握在不同模态之间嵌入、检索和生成的关键技能。通过在多模态 AI 方面打下坚实的基础，您将为构建更智能的搜索、RAG 和推荐系统做好准备。