我需要什么特定的软件或工具才能顺利完成课程吗？

<text variant="body1">只需使用现代网络浏览器即可完成本课程和所有动手实验。您将免费获得完成实验所需的云环境 Accessibility。

我什么时候能看到讲座和作业？

要获得课程资料、作业和证书，您需要在注册课程时购买证书体验。您可以尝试免费试听，或申请资助。课程可能提供 "完整课程，无证书"。通过该选项，您可以查看所有课程资料，提交必要的评估，并获得最终成绩。这也意味着您无法购买证书体验。

订阅此证书能得到什么？

注册课程后，您就可以访问证书中的所有课程，并在完成作业后获得证书。您的电子证书将被添加到您的 "成就 "页面--在那里，您可以打印证书或将其添加到您的 LinkedIn 个人资料中。

用 Transformer 建立生成式 AI 语言模型

通过 Coursera Plus 提高技能，仅需 239 美元/年（原价 399 美元）。立即节省

用 Transformer 建立生成式 AI 语言模型

Q: 我什么时候能看到讲座和作业？

要获得课程资料、作业和证书，您需要在注册课程时购买证书体验。 您可以尝试免费试听，或申请资助。课程可能提供 "完整课程，无证书"。通过该选项，您可以查看所有课程资料，提交必要的评估，并获得最终成绩。这也意味着您无法购买证书体验。

本课程是多个项目的一部分。

位教师：Joseph Santarcangelo另外 2 个

25,480 人已注册

包含在中

2个模块

深入了解一个主题并学习基础知识。

142 条评论

中级等级

推荐体验

灵活的计划

9 小时完成

自行安排学习进度

91%

大多数学生喜欢此课程

2个模块

深入了解一个主题并学习基础知识。

142 条评论

中级等级

推荐体验

灵活的计划

9 小时完成

自行安排学习进度

91%

大多数学生喜欢此课程

您将学到什么

解释注意机制在获取文本中上下文关系的 transformer 模型中的作用
说明 GPT 等基于解码器的模型和 BERT 等基于编码器的模型在语言建模方法上的区别
使用 PyTorch 实现 Transformer model 的关键组件，包括位置编码、注意机制和掩码
使用 PyTorch 和 Hugging Face 工具，在文本分类和语言翻译等实际 NLP 任务中应用基于 Transformer 的模型

您将获得的技能

类别：Text Mining
类别：Transfer Learning
类别：Embeddings
类别：Natural Language Processing
类别：Applied Machine Learning
类别：Performance Tuning
类别：Large Language Modeling

您将学习的工具

类别：Generative AI
类别：PyTorch (Machine Learning Library)

要了解的详细信息

可分享的证书

添加到您的领英档案

作业

6 项作业

授课语言：英语（English）

积累特定领域的专业知识

此课程作为的一部分提供

在注册此课程时，您还需要选择一个特定的合作项目。

向行业专家学习新概念
获得对主题或工具的基础理解
通过实践项目培养工作相关技能
获得可共享的职业证书

该课程共有2个模块

本课程实际介绍了如何将基于 transformer 的模型用于自然语言处理 (NLP) 应用。您将学习使用基于编码器的架构（如来自变换器的双向编码器表示（BERT））构建和训练用于文本分类的模型，并探索位置编码、单词嵌入和注意机制等核心概念。课程内容包括多头注意、自我注意以及使用 GPT 进行因果语言建模，以完成文本生成和翻译等任务。您将获得在 PyTorch 中实现 transformer model 的实践经验，包括预训练策略，如屏蔽语言建模 (MLM) 和下一句预测 (NSP)。通过指导下的实验，您将把编码器和解码器模型应用到实际场景中。本课程专为对 Generative AI 工程感兴趣的学习者设计，需要事先了解 Python、PyTorch 和机器学习知识。立即报名，利用 Transformer 培养您的 NLP 技能！

在本 Modulation 中，您将学习 Transformer 如何使用位置编码和注意力机制处理顺序数据。您将探索如何在 PyTorch 中实现位置编码，并了解注意力如何帮助模型关注输入序列的相关部分。您将深入研究多头的自我注意和 Scale 点积注意，了解它们如何有助于语言建模任务。该 Modulation 还将解释 transformer 架构如何有效利用这些机制。通过动手实验，您将在 PyTorch 中实现这些概念并构建变换器编码器层。最后，您将应用 transformer 模型进行文本分类，包括构建数据管道、定义模型和训练模型，同时还将探索优化 transformer 训练性能的技术。

涵盖的内容

6个视频4篇阅读材料2个作业2个应用程序项目2个插件

6个视频总计40分钟

课程介绍 3分钟
位置编码 7分钟
注意机制 7分钟
自我关注机制 7分钟
从注意力到变形金刚 7分钟
用于分类的 Transformer：编码器 9分钟

4篇阅读材料总计17分钟

课程概览 5分钟
专业概述 7分钟
高效变压器培训的优化技术 3分钟
摘要和要点 2分钟

2个作业总计45分钟

练习测验：位置编码、注意力和在分类中的应用 15分钟
分级测验：变压器结构的基本概念 30分钟

2个应用程序项目总计105分钟

动手实验室：注意机制和位置编码 45分钟
实践实验室：应用变压器进行分类 60分钟

2个插件总计7分钟

完成课程的有用提示 2分钟
阅读变压器模型基础知识入门指南 5分钟

在本 Module 中，您将了解如何使用因果语言建模训练 GPT 等基于解码器的模型，并在 PyTorch 中实现训练和推理。您将探索基于编码器的模型，如来自变换器的双向编码器表示（BERT），并了解其使用屏蔽语言建模（MLM）和下一句预测（NSP）的预训练策略，以及 PyTorch 中的数据准备技术。您还将研究如何将 Transformer 架构应用于机器翻译，包括使用 PyTorch 实现这些架构。通过动手实验，您将获得解码器模型、编码器模型和翻译任务的实际经验。Modulation 最后附有小抄、词汇表和摘要，帮助您巩固对关键概念的理解。

涵盖的内容

10个视频6篇阅读材料4个作业4个应用程序项目3个插件

10个视频总计67分钟

利用解码器和类 GPT 模型建立语言模型 7分钟
训练解码器模型 7分钟
解码器模型- PyTorch 实现-因果 LM 6分钟
解码器模型：利用训练和推理实现 PyTorch 5分钟
使用 BERT 的编码器模型：使用 MLM 进行预训练 6分钟
使用 BERT 的编码器模型：使用 NSP 进行预训练 6分钟
使用 PyTorch 为 BERT 准备数据 9分钟
用 PyTorch 预训练 BERT 模型 8分钟
语言翻译的 Transformer 架构 5分钟
用于翻译的 Transformer 架构：PyTorch 实现 8分钟

6篇阅读材料总计9分钟

摘要和要点 1分钟
摘要和要点 1分钟
摘要和要点 1分钟
课程总结 2分钟
课程团队的感谢 2分钟
祝贺和下一步行动 2分钟

4个作业总计63分钟

练习测验：解码器模型 12分钟
练习测验：编码器模型 12分钟
练习测验：变压器在平移中的应用 9分钟
分级测验：变压器结构的高级概念 30分钟

4个应用程序项目总计180分钟

实践实验室：解码器 GPT 类模型 45分钟
实践实验室：预培训 BERT 模型 60分钟
实践实验室：BERT 数据准备 45分钟
实验室：用于翻译的 Transformer 30分钟

3个插件总计25分钟

阅读入门：变压器模型的高级概念 7分钟
小抄：用 transformer 建立语言模型 15分钟
课程词汇：使用 transformer 建立语言模型 3分钟

获得职业证书

将此证书添加到您的 LinkedIn 个人资料、简历或履历中。在社交媒体和绩效考核中分享。

位教师

授课教师评分

(32个评价)

Joseph Santarcangelo

IBM

37 门课程 2,399,749 名学生

提供方

IBM

人们为什么选择 Coursera 来帮助自己实现职业发展

Felipe M.

自 2018开始学习的学生

''能够按照自己的速度和节奏学习课程是一次很棒的经历。只要符合自己的时间表和心情，我就可以学习。'

Jennifer J.

自 2020开始学习的学生

''我直接将从课程中学到的概念和技能应用到一个令人兴奋的新工作项目中。'

Larry W.

自 2021开始学习的学生

''如果我的大学不提供我需要的主题课程，Coursera 便是最好的去处之一。'

Chaitanya A.

''学习不仅仅是在工作中做的更好：它远不止于此。Coursera 让我无限制地学习。'

学生评论

5 stars
73.42%
4 stars
13.28%
3 stars
4.89%
2 stars
2.09%
1 star
6.29%

显示 3/142 个

已于 Nov 16, 2024审阅

need assistance from humans, which seems lacking though a coach can give guidance but not to the extent of human touch.

已于 Dec 29, 2024审阅

This course gives me a wide picture of what transformers can be.

已于 Sep 1, 2025审阅

I loved this course. It is very informative and has a lot of examples. It will take some time to master all this information.

常见问题

如果每周学习 3-5 个小时，只需两周时间即可完成课程。

如果您有 Python 基础知识，并熟悉机器学习和神经网络概念，那就更好了。如果您熟悉文本预处理步骤以及 N-gram、Word2Vec 和 sequence-to-sequence 模型，将大有裨益。熟悉双语评估劣等（BLEU）等评估指标将更有优势。

本课程是具有法学硕士学位的生成 AI 工程基础 PC 专项课程的一部分。完成该专项课程后，您将为自己做好准备，具备胜任 AI 工程师、NLP 工程师、机器学习工程师、深度学习工程师和数据科学家等工作的技能和信心。

用 Transformer 建立生成式 AI 语言模型

用 Transformer 建立生成式 AI 语言模型

您将学到什么

您将获得的技能

您将学习的工具

要了解的详细信息

积累特定领域的专业知识

该课程共有2个模块

变压器结构的基本概念

涵盖的内容

6个视频总计40分钟

4篇阅读材料总计17分钟

2个作业总计45分钟

2个应用程序项目总计105分钟

2个插件总计7分钟

变压器结构的先进理念

涵盖的内容

10个视频总计67分钟

6篇阅读材料总计9分钟

4个作业总计63分钟

4个应用程序项目总计180分钟

3个插件总计25分钟

获得职业证书

位教师

提供方

人们为什么选择 Coursera 来帮助自己实现职业发展

Felipe M.

Jennifer J.

Larry W.

Chaitanya A.

学生评论

常见问题

Coursera

社区

更多

移动应用程序

用 Transformer 建立生成式 AI 语言模型

用 Transformer 建立生成式 AI 语言模型

您将学到什么

您将获得的技能

您将学习的工具

要了解的详细信息

积累特定领域的专业知识

该课程共有2个模块

变压器结构的基本概念

涵盖的内容

变压器结构的先进理念

涵盖的内容

获得职业证书

位教师

提供方

人们为什么选择 Coursera 来帮助自己实现职业发展

Felipe M.

Jennifer J.

Larry W.

Chaitanya A.

学生评论

常见问题

完成专业学习需要多长时间？

要顺利完成本课程，我是否需要任何背景知识？

完成本课程后，我可以担任哪些职务？