用 Transformer 建立生成式 AI 语言模型

用 Transformer 建立生成式 AI 语言模型

本课程是多个项目的一部分。

位教师：Joseph Santarcangelo

访问权限由 Coursera Learning Team 提供

26,208 人已注册

2个模块

深入了解一个主题并学习基础知识。

145 条评论

中级等级

推荐体验

灵活的计划

9 小时完成

自行安排学习进度

91%

大多数学生喜欢此课程

2个模块

深入了解一个主题并学习基础知识。

145 条评论

中级等级

推荐体验

灵活的计划

9 小时完成

自行安排学习进度

91%

大多数学生喜欢此课程

您将学到什么

解释注意机制在获取文本中上下文关系的 transformer 模型中的作用
说明 GPT 等基于解码器的模型和 BERT 等基于编码器的模型在语言建模方法上的区别
使用 PyTorch 实现 Transformer model 的关键组件，包括位置编码、注意机制和掩码
使用 PyTorch 和 Hugging Face 工具，在文本分类和语言翻译等实际 NLP 任务中应用基于 Transformer 的模型

您将获得的技能

您将学习的工具

要了解的详细信息

可分享的证书

添加到您的领英档案

作业

6 项作业

授课语言：英语（English）

了解顶级公司的员工如何掌握热门技能

了解关于 Coursera for Business 的更多信息

Petrobras, TATA, Danone, Capgemini, P&G 和 L'Oreal 的徽标

积累特定领域的专业知识

此课程作为的一部分提供

在注册此课程时，您还需要选择一个特定的合作项目。

向行业专家学习新概念
获得对主题或工具的基础理解
通过实践项目培养工作相关技能
获得可共享的职业证书

该课程共有2个模块

本课程实际介绍了如何将基于 transformer 的模型用于自然语言处理 (NLP) 应用。您将学习使用基于编码器的架构（如来自变换器的双向编码器表示（BERT））构建和训练用于文本分类的模型，并探索位置编码、单词嵌入和注意机制等核心概念。课程内容包括多头注意、自我注意以及使用 GPT 进行因果语言建模，以完成文本生成和翻译等任务。您将获得在 PyTorch 中实现 transformer model 的实践经验，包括预训练策略，如屏蔽语言建模 (MLM) 和下一句预测 (NSP)。通过指导下的实验，您将把编码器和解码器模型应用到实际场景中。本课程专为对 Generative AI 工程感兴趣的学习者设计，需要事先了解 Python、PyTorch 和机器学习知识。立即报名，利用 Transformer 培养您的 NLP 技能！

在本 Modulation 中，您将学习 Transformer 如何使用位置编码和注意力机制处理顺序数据。您将探索如何在 PyTorch 中实现位置编码，并了解注意力如何帮助模型关注输入序列的相关部分。您将深入研究多头的自我注意和 Scale 点积注意，了解它们如何有助于语言建模任务。该 Modulation 还将解释 transformer 架构如何有效利用这些机制。通过动手实验，您将在 PyTorch 中实现这些概念并构建变换器编码器层。最后，您将应用 transformer 模型进行文本分类，包括构建数据管道、定义模型和训练模型，同时还将探索优化 transformer 训练性能的技术。

涵盖的内容

6个视频4篇阅读材料2个作业2个应用程序项目2个插件

6个视频总计40分钟

课程介绍3分钟
位置编码7分钟
注意机制7分钟
自我关注机制7分钟
从注意力到变形金刚7分钟
用于分类的 Transformer：编码器9分钟

4篇阅读材料总计17分钟

课程概览5分钟
专业概述7分钟
高效变压器培训的优化技术3分钟
摘要和要点2分钟

2个作业总计45分钟

练习测验：位置编码、注意力和在分类中的应用15分钟
分级测验：变压器结构的基本概念30分钟

2个应用程序项目总计105分钟

动手实验室：注意机制和位置编码45分钟
实践实验室：应用变压器进行分类60分钟

2个插件总计7分钟

完成课程的有用提示2分钟
阅读变压器模型基础知识入门指南5分钟

在本 Module 中，您将了解如何使用因果语言建模训练 GPT 等基于解码器的模型，并在 PyTorch 中实现训练和推理。您将探索基于编码器的模型，如来自变换器的双向编码器表示（BERT），并了解其使用屏蔽语言建模（MLM）和下一句预测（NSP）的预训练策略，以及 PyTorch 中的数据准备技术。您还将研究如何将 Transformer 架构应用于机器翻译，包括使用 PyTorch 实现这些架构。通过动手实验，您将获得解码器模型、编码器模型和翻译任务的实际经验。Modulation 最后附有小抄、词汇表和摘要，帮助您巩固对关键概念的理解。