本课程实际介绍了如何将基于 transformer 的模型用于自然语言处理 (NLP) 应用。您将学习使用基于编码器的架构（如来自变换器的双向编码器表示（BERT））构建和训练用于文本分类的模型，并探索位置编码、单词嵌入和注意机制等核心概念。 课程内容包括多头注意、自我注意以及使用 GPT 进行因果语言建模，以完成文本生成和翻译等任务。您将获得在 PyTorch 中实现 transformer model 的实践经验，包括预训练策略，如屏蔽语言建模 (MLM) 和下一句预测 (NSP)。 通过指导下的实验，您将把编码器和解码器模型应用到实际场景中。本课程专为对 Generative AI 工程感兴趣的学习者设计，需要事先了解 Python、PyTorch 和机器学习知识。立即报名，利用 Transformer 培养您的 NLP 技能！
用 Transformer 建立生成式 AI 语言模型
用 Transformer 建立生成式 AI 语言模型
本课程是多个项目的一部分。
位教师：Joseph Santarcangelo另外 2 个
20,816 人已注册
包含在 中
您将学到什么
解释注意机制在获取文本中上下文关系的 transformer 模型中的作用
说明 GPT 等基于解码器的模型和 BERT 等基于编码器的模型在语言建模方法上的区别
使用 PyTorch 实现 Transformer model 的关键组件，包括位置编码、注意机制和掩码
使用 PyTorch 和 Hugging Face 工具，在文本分类和语言翻译等实际 NLP 任务中应用基于 Transformer 的模型
您将获得的技能
- 类别：迁移学习
- 类别：性能调整
- 类别：生成式人工智能
- 类别：嵌入
- 类别：PyTorch（机器学习库）
- 类别：大型语言模型
- 类别：自然语言处理
- 类别：应用机器学习
- 类别：文本挖掘
要了解的详细信息
可分享的证书
添加到您的领英档案
作业
6 项作业
授课语言：英语（English）
积累特定领域的专业知识
此课程作为 的一部分提供
在注册此课程时，您还需要选择一个特定的合作项目。
- 向行业专家学习新概念
- 获得对主题或工具的基础理解
- 通过实践项目培养工作相关技能
- 获得可共享的职业证书
该课程共有2个模块
在本 Modulation 中，您将学习 Transformer 如何使用位置编码和注意力机制处理顺序数据。您将探索如何在 PyTorch 中实现位置编码，并了解注意力如何帮助模型关注输入序列的相关部分。您将深入研究多头的自我注意和 Scale 点积注意，了解它们如何有助于语言建模任务。该 Modulation 还将解释 transformer 架构如何有效利用这些机制。通过动手实验，您将在 PyTorch 中实现这些概念并构建变换器编码器层。最后，您将应用 transformer 模型进行文本分类，包括构建数据管道、定义模型和训练模型，同时还将探索优化 transformer 训练性能的技术。
涵盖的内容
6个视频4篇阅读材料2个作业2个应用程序项目2个插件
在本 Module 中，您将了解如何使用因果语言建模训练 GPT 等基于解码器的模型，并在 PyTorch 中实现训练和推理。您将探索基于编码器的模型，如来自变换器的双向编码器表示（BERT），并了解其使用屏蔽语言建模（MLM）和下一句预测（NSP）的预训练策略，以及 PyTorch 中的数据准备技术。您还将研究如何将 Transformer 架构应用于机器翻译，包括使用 PyTorch 实现这些架构。通过动手实验，您将获得解码器模型、编码器模型和翻译任务的实际经验。Modulation 最后附有小抄、词汇表和摘要，帮助您巩固对关键概念的理解。
涵盖的内容
10个视频6篇阅读材料4个作业4个应用程序项目3个插件
获得职业证书
将此证书添加到您的 LinkedIn 个人资料、简历或履历中。在社交媒体和绩效考核中分享。
位教师
授课教师评分
4.2 (28个评价)Joseph Santarcangelo
IBM
36 门课程2,259,396 名学生
提供方
IBM
人们为什么选择 Coursera 来帮助自己实现职业发展
Felipe M.
自 2018开始学习的学生
''能够按照自己的速度和节奏学习课程是一次很棒的经历。只要符合自己的时间表和心情，我就可以学习。'
Jennifer J.
自 2020开始学习的学生
''我直接将从课程中学到的概念和技能应用到一个令人兴奋的新工作项目中。'
Larry W.
自 2021开始学习的学生
''如果我的大学不提供我需要的主题课程，Coursera 便是最好的去处之一。'
Chaitanya A.
''学习不仅仅是在工作中做的更好：它远不止于此。Coursera 让我无限制地学习。'
学生评论
4.5
128 条评论
- 5 stars
74.41%
- 4 stars
12.40%
- 3 stars
4.65%
- 2 stars
2.32%
- 1 star
6.20%
显示 3/128 个
AB
5
已于 Dec 29, 2024审阅
This course gives me a wide picture of what transformers can be.
PA
4
已于 Nov 4, 2025审阅
Excellent course to understand about AI/ML/GenAI. The videos are not very detailed and just the right amount to skim through the details.
VB
4
已于 Nov 16, 2024审阅
need assistance from humans, which seems lacking though a coach can give guidance but not to the extent of human touch.
常见问题
如果每周学习 3-5 个小时，只需两周时间即可完成课程。
如果您有 Python 基础知识，并熟悉机器学习和神经网络概念，那就更好了。如果您熟悉文本预处理步骤以及 N-gram、Word2Vec 和 sequence-to-sequence 模型，将大有裨益。熟悉双语评估劣等（BLEU）等评估指标将更有优势。
本课程是具有法学硕士学位的生成 AI 工程基础 PC 专项课程的一部分。完成该专项课程后，您将为自己做好准备，具备胜任 AI 工程师、NLP 工程师、机器学习工程师、深度学习工程师和数据科学家等工作的技能和信心。