大数据整合与处理

大数据整合与处理

Q: 我什么时候能看到讲座和作业？

要获取课程资料、作业和证书，您需要在注册课程时购买证书体验。 您可以尝试免费试听，或申请资助。课程可能提供 "完整课程，无证书"。通过该选项，您可以查看所有课程资料，提交必要的评估，并获得最终成绩。这也意味着您无法购买证书体验。

本课程是大数据专项课程的一部分

位教师：Ilkay Altintas

81,298 人已注册

包含在 Coursera Plus 中

了解更多

7个模块

深入了解一个主题并学习基础知识。

4.4

（2,426 条评论）

初级等级

无需具备相关经验

灵活的计划

2 周在 10 小时一周

自行安排学习进度

90%

大多数学生喜欢此课程

7个模块

深入了解一个主题并学习基础知识。

4.4

（2,426 条评论）

初级等级

无需具备相关经验

灵活的计划

2 周在 10 小时一周

自行安排学习进度

90%

大多数学生喜欢此课程

您将获得的技能

要了解的详细信息

可分享的证书

添加到您的领英档案

作业

10 项作业

授课语言：英语（English）

了解顶级公司的员工如何掌握热门技能

了解关于 Coursera for Business 的更多信息

Petrobras, TATA, Danone, Capgemini, P&G 和 L'Oreal 的徽标

积累特定领域的专业知识

本课程是大数据专项课程专项课程的一部分

在注册此课程时，您还会同时注册此专项课程。

向行业专家学习新概念
获得对主题或工具的基础理解
通过实践项目培养工作相关技能
获得可共享的职业证书

该课程共有7个模块

课程结束时，您将能够： *从示例数据库和大数据管理系统中检索数据 *描述数据管理操作与在大规模分析应用中使用这些操作所需的大数据处理模式之间的联系 *确定大数据问题何时需要数据集成 *在 Hadoop 和 Spark 平台上执行简单的大数据集成和处理本课程适合数据科学新手。建议完成大数据入门课程。无需编程经验，但需要具备安装应用程序和使用虚拟机的能力，以完成实践作业。有关完整的硬件和软件规格，请参阅专业技术要求。硬件要求：

(A) 四核处理器（建议支持 VT-x 或 AMD-V），64 位；(B) 8 GB 内存；(C) 20 GB 可用磁盘。如何查找硬件信息：（Windows）：单击 "开始 "按钮打开 "系统"，右键单击 "计算机"，然后单击 "属性"；（Mac）：单击 Apple 菜单并单击 "关于此 Mac"，打开 "概述"。您需要高速网络连接，因为您需要下载最大 4GB 的文件。软件要求：本课程依赖于多个开源软件工具，包括 Apache Hadoop。所有所需软件均可免费下载和安装（互联网提供商收取的数据费除外）。软件要求包括Windows 7+、Mac OS X 10.10+、Ubuntu 14.04+ 或 CentOS 6+ VirtualBox 5+。

欢迎来到 Big Data 专业的第三课。本周将向您介绍 Big Data Integration 和处理的基本概念。我们将指导您安装 Docker、下载本课程使用的数据 Set，并学习如何使用 Jupyter Notebook。

涵盖的内容

3个视频5篇阅读材料1个讨论话题

3个视频总计18分钟

本课程有哪些内容？2分钟
大数据建模与管理概述7分钟
为什么大数据处理与众不同？8分钟

5篇阅读材料总计50分钟

幻灯片摘要及为什么大数据处理与众不同10分钟
下载和安装 Docker 桌面说明10分钟
Jupyter 笔记本简介10分钟
下载上机材料10分钟
基本终端 Shell 命令10分钟

1个讨论话题总计10分钟

了解你：介绍一下你自己，以及为什么要学习这门课程。10分钟

本模块涵盖数据检索和关系查询的各个方面。您还将学习 Postgres 数据库。

涵盖的内容

5个视频2篇阅读材料

本模块涵盖 NoSQL 数据检索的各个方面，以及数据聚合和数据帧处理。您将了解 MongoDB 和 Aerospike，并学习如何使用 Pandas 从它们中检索数据。

涵盖的内容

5个视频3篇阅读材料2个作业1个讨论话题

5个视频总计50分钟

使用 MongoDB 查询 JSON 数据17分钟
聚合功能9分钟
查询 Aerospike6分钟
在 MongoDB 中查询文档11分钟
探索 Pandas 数据框6分钟

3篇阅读材料总计40分钟

幻灯片查询数据第 2 部分10分钟
在 MongoDB 中查询文档10分钟
探索 Pandas 数据框20分钟

2个作业总计40分钟

检索大数据问答20分钟
Postgres、MongoDB 和 Pandas20分钟

1个讨论话题总计10分钟

我们来讨论一下：MongoDB10分钟

在本模块中，您将了解到包括 Splunk 和 Datameer 在内的数据集成工具，并对如何执行信息集成流程有一些实际的了解。

涵盖的内容

11个视频4篇阅读材料2个作业1个讨论话题

11个视频总计82分钟

信息集成概述18分钟
数据集成方案13分钟
集成多渠道客户分析功能6分钟
使用 Splunk 和 Datameer 管理和处理大数据1分钟
为什么选择 Splunk？3分钟
利用福特 OpenXC 和 Splunk 实现车联网3分钟
使用 Datameer 进行大数据管理和处理15分钟
在 Windows 上安装 Splunk Enterprise2分钟
在 Linux 上安装 Splunk Enterprise4分钟
探索 Splunk 查询4分钟
可选：在 Splunk 中创建透视报告8分钟

4篇阅读材料总计50分钟

幻灯片信息整合10分钟
下载 Splunk Enterprise10分钟
探索 Splunk 查询20分钟
可选：Splunk Pivot 教程说明10分钟

2个作业总计29分钟

信息整合 - 小测验14分钟
亲身体验 Splunk15分钟

1个讨论话题总计10分钟

我们来讨论一下：大数据整合10分钟

本模块向学员介绍大数据管道和工作流，以及使用 Apache Spark 处理和分析大数据。

涵盖的内容

9个视频4篇阅读材料2个作业3个讨论话题

9个视频总计69分钟

大数据处理管道7分钟
大数据管道中的一些高级处理操作8分钟
大数据管道中的聚合操作5分钟
大数据管道中的典型分析操作10分钟
大数据处理系统概述7分钟
集成与处理层8分钟
Apache Spark 简介8分钟
Spark 入门10分钟
Spark 中的字数3分钟

4篇阅读材料总计50分钟

大数据处理管道幻灯片10分钟
大数据工作流程管理10分钟
大数据处理工具和系统幻灯片10分钟
Spark 中的字数20分钟

2个作业总计26分钟

管道和工具18分钟
Spark 中的字数8分钟

3个讨论话题总计40分钟

我们来讨论一下：您世界中的大数据管道15分钟
我们来讨论一下大数据处理系统15分钟
我们来讨论一下字数10分钟

在本模块中，您将通过学习 Spark Core 的内部工作原理深入了解大数据处理。您将了解 Spark 工具包中的两个关键工具：Spark MLlib 和 GraphX。

涵盖的内容

9个视频4篇阅读材料2个作业1个讨论话题

9个视频总计44分钟

Spark 核心：在 Spark 中使用管道中的 RDDs 编程6分钟
星火核心：转换11分钟
火花核心：行动2分钟
Spark SQL3分钟
Spark 流3分钟
星火 MLLib5分钟
Spark GraphX3分钟
探索 SparkSQL 和 Spark DataFrames5分钟
利用 Spark 流分析传感器数据4分钟

4篇阅读材料总计70分钟

第 5 单元第 1 课的幻灯片10分钟
第 5 单元第 2 课的幻灯片10分钟
探索 SparkSQL 和 Spark DataFrames20分钟
利用 Spark 流分析传感器数据30分钟

2个作业总计23分钟

关于星火的更多信息15分钟
SparkSQL 和 Spark Streaming8分钟

1个讨论话题总计10分钟

我们来讨论一下星火生态系统10分钟

在本模块中，您将获得一些应用所学 Spark 和 MongoDB 分析 Twitter 数据的实际动手经验。

涵盖的内容

4篇阅读材料2个作业

获得职业证书

将此证书添加到您的 LinkedIn 个人资料、简历或履历中。在社交媒体和绩效考核中分享。

位教师

授课教师评分

4.4 (131个评价)

Ilkay Altintas

University of California San Diego

14 门课程507,492 名学生

Amarnath Gupta

University of California San Diego

10 门课程479,710 名学生

提供方

University of California San Diego

从数据分析浏览更多内容

状态：免费试用
Johns Hopkins University
Big Data Processing Using Hadoop
专项课程
状态：免费试用
University of California San Diego
Big Data Modeling and Management Systems
课程
状态：免费试用
University of California San Diego
Introduction to Big Data
课程
状态：免费试用
Illinois Tech
Big Data Technologies
课程

人们为什么选择 Coursera 来帮助自己实现职业发展

Felipe M.

自 2018开始学习的学生

''能够按照自己的速度和节奏学习课程是一次很棒的经历。只要符合自己的时间表和心情，我就可以学习。'

Jennifer J.

自 2020开始学习的学生

''我直接将从课程中学到的概念和技能应用到一个令人兴奋的新工作项目中。'

Larry W.

自 2021开始学习的学生

''如果我的大学不提供我需要的主题课程，Coursera 便是最好的去处之一。'

Chaitanya A.

''学习不仅仅是在工作中做的更好：它远不止于此。Coursera 让我无限制地学习。'

学生评论

4.4

2,426 条评论

5 stars
62.01%
4 stars
25.66%
3 stars
6.92%
2 stars
2.59%
1 star
2.80%

显示 3/2426 个

已于 Oct 8, 2017审阅

Lot of new information, excellent delivery. Given 4 as I feel real-use case flavor is inadequate -exercises could be more intensive, real case studies can be added.

已于 Sep 27, 2017审阅

Good coverage of the issues. Splunk exercise smelled like a promotional thing, not very useful. I think the exercises should be harder and on more complex examples.

已于 Dec 3, 2016审阅

Some of the lectures seemed slightly lesser quality with regards to the materials. For moocs especially, I would like to have the lecture better documented in order to download and review later.

查看更多评论