本课程实际介绍了如何将基于 transformer 的模型用于自然语言处理 (NLP) 应用。您将学习使用基于编码器的架构（如来自变换器的双向编码器表示（BERT））构建和训练用于文本分类的模型，并探索位置编码、单词嵌入和注意机制等核心概念。 课程内容包括多头注意、自我注意以及使用 GPT 进行因果语言建模，以完成文本生成和翻译等任务。您将获得在 PyTorch 中实现 transformer model 的实践经验，包括预训练策略，如屏蔽语言建模 (MLM) 和下一句预测 (NSP)。 通过指导下的实验，您将把编码器和解码器模型应用到实际场景中。本课程专为对 Generative AI 工程感兴趣的学习者设计，需要事先了解 Python、PyTorch 和机器学习知识。立即报名，利用 Transformer 培养您的 NLP 技能！
用 Transformer 建立生成式 AI 语言模型
用 Transformer 建立生成式 AI 语言模型
本课程是多个项目的一部分。
位教师：Joseph Santarcangelo另外 2 个
28,103 人已注册
包含在 中
您将学到什么
解释注意机制在获取文本中上下文关系的 transformer 模型中的作用
说明 GPT 等基于解码器的模型和 BERT 等基于编码器的模型在语言建模方法上的区别
使用 PyTorch 实现 Transformer model 的关键组件，包括位置编码、注意机制和掩码
使用 PyTorch 和 Hugging Face 工具，在文本分类和语言翻译等实际 NLP 任务中应用基于 Transformer 的模型
您将获得的技能
- 类别：Model Optimization
- 类别：Large Language Modeling
- 类别：Model Training
- 类别：Data Preprocessing
- 类别：Embeddings
- 类别：Applied Machine Learning
- 类别：Transfer Learning
- 类别：Generative Model Architectures
- 类别：Natural Language Processing
您将学习的工具
- 类别：Generative AI
- 类别：PyTorch (Machine Learning Library)
要了解的详细信息
可分享的证书
添加到您的领英档案
作业
6 项作业
授课语言：英语（English）
91%
of learners achieved a positive career outcome
积累特定领域的专业知识
此课程作为 的一部分提供
在注册此课程时，您还需要选择一个特定的合作项目。
- 向行业专家学习新概念
- 获得对主题或工具的基础理解
- 通过实践项目培养工作相关技能
- 获得可共享的职业证书
该课程共有2个模块
获得职业证书
将此证书添加到您的 LinkedIn 个人资料、简历或履历中。在社交媒体和绩效考核中分享。
位教师
授课教师评分
(32个评价)Joseph Santarcangelo
IBM
37 门课程2,473,069 名学生
提供方
IBM
人们为什么选择 Coursera 来帮助自己实现职业发展
Felipe M.
自 2018开始学习的学生
''能够按照自己的速度和节奏学习课程是一次很棒的经历。只要符合自己的时间表和心情，我就可以学习。'
Jennifer J.
自 2020开始学习的学生
''我直接将从课程中学到的概念和技能应用到一个令人兴奋的新工作项目中。'
Larry W.
自 2021开始学习的学生
''如果我的大学不提供我需要的主题课程，Coursera 便是最好的去处之一。'
Chaitanya A.
''学习不仅仅是在工作中做的更好：它远不止于此。Coursera 让我无限制地学习。'
学生评论
- 5 stars
73.82%
- 4 stars
13.42%
- 3 stars
4.69%
- 2 stars
2.01%
- 1 star
6.04%
显示 3/148 个
MA
已于 Jan 17, 2025审阅
Exceptional course and all the labs are industry related
AB
已于 Dec 29, 2024审阅
This course gives me a wide picture of what transformers can be.
RR
已于 Oct 10, 2024审阅
Once again, great content and not that great documentation (printable cheatsheets, no slides, etc). Documentation is essential to review a course content in the future. Alas!