大数据整合与处理

大数据整合与处理

本课程是大数据专项课程的一部分

位教师：Ilkay Altintas

访问权限由 Coursera Learning Team 提供

82,295 人已注册

7个模块

深入了解一个主题并学习基础知识。

2,428 条评论

初级等级

无需具备相关经验

灵活的计划

2 周在 10 小时一周

自行安排学习进度

90%

大多数学生喜欢此课程

7个模块

深入了解一个主题并学习基础知识。

2,428 条评论

初级等级

无需具备相关经验

灵活的计划

2 周在 10 小时一周

自行安排学习进度

90%

大多数学生喜欢此课程

您将获得的技能

要了解的详细信息

可分享的证书

添加到您的领英档案

作业

10 项作业

授课语言：英语（English）

了解顶级公司的员工如何掌握热门技能

了解关于 Coursera for Business 的更多信息

Petrobras, TATA, Danone, Capgemini, P&G 和 L'Oreal 的徽标

积累特定领域的专业知识

本课程是大数据专项课程专项课程的一部分

在注册此课程时，您还会同时注册此专项课程。

向行业专家学习新概念
获得对主题或工具的基础理解
通过实践项目培养工作相关技能
获得可共享的职业证书

该课程共有7个模块

课程结束时，您将能够： *从示例数据库和大数据管理系统中检索数据 *描述数据管理操作与在大规模分析应用中使用这些操作所需的大数据处理模式之间的联系 *确定大数据问题何时需要数据集成 *在 Hadoop 和 Spark 平台上执行简单的大数据集成和处理本课程适合数据科学新手。建议完成大数据入门课程。无需编程经验，但需要具备安装应用程序和使用虚拟机的能力，以完成实践作业。有关完整的硬件和软件规格，请参阅专业技术要求。硬件要求：

(A) 四核处理器（建议支持 VT-x 或 AMD-V），64 位；(B) 8 GB 内存；(C) 20 GB 可用磁盘。如何查找硬件信息：（Windows）：单击 "开始 "按钮打开 "系统"，右键单击 "计算机"，然后单击 "属性"；（Mac）：单击 Apple 菜单并单击 "关于此 Mac"，打开 "概述"。您需要高速网络连接，因为您需要下载最大 4GB 的文件。软件要求：本课程依赖于多个开源软件工具，包括 Apache Hadoop。所有所需软件均可免费下载和安装（互联网提供商收取的数据费除外）。软件要求包括Windows 7+、Mac OS X 10.10+、Ubuntu 14.04+ 或 CentOS 6+ VirtualBox 5+。

欢迎来到 Big Data 专业的第三课。本周将向您介绍 Big Data Integration 和处理的基本概念。我们将指导您安装 Docker、下载本课程使用的数据 Set，并学习如何使用 Jupyter Notebook。

涵盖的内容

3个视频5篇阅读材料1个讨论话题

3个视频总计18分钟

本课程有哪些内容？ 2分钟
大数据建模与管理概述 7分钟
为什么大数据处理与众不同？ 8分钟

5篇阅读材料总计50分钟

幻灯片摘要及为什么大数据处理与众不同 10分钟
下载和安装 Docker 桌面说明 10分钟
Jupyter 笔记本简介 10分钟
下载上机材料 10分钟
基本终端 Shell 命令 10分钟

1个讨论话题总计10分钟

了解你：介绍一下你自己，以及为什么要学习这门课程。 10分钟

本模块涵盖数据检索和关系查询的各个方面。您还将学习 Postgres 数据库。

涵盖的内容

5个视频2篇阅读材料

本模块涵盖 NoSQL 数据检索的各个方面，以及数据聚合和数据帧处理。您将了解 MongoDB 和 Aerospike，并学习如何使用 Pandas 从它们中检索数据。

涵盖的内容

5个视频3篇阅读材料2个作业1个讨论话题

5个视频总计50分钟

使用 MongoDB 查询 JSON 数据 17分钟
聚合功能 9分钟
查询 Aerospike 7分钟
在 MongoDB 中查询文档 11分钟
探索 Pandas 数据框 6分钟

3篇阅读材料总计40分钟

幻灯片查询数据第 2 部分 10分钟
在 MongoDB 中查询文档 10分钟
探索 Pandas 数据框 20分钟

2个作业总计40分钟

检索大数据问答 20分钟
Postgres、MongoDB 和 Pandas 20分钟

1个讨论话题总计10分钟

我们来讨论一下：MongoDB 10分钟

在本模块中，您将了解到包括 Splunk 和 Datameer 在内的数据集成工具，并对如何执行信息集成流程有一些实际的了解。

涵盖的内容

11个视频4篇阅读材料2个作业1个讨论话题

11个视频总计83分钟

信息集成概述 19分钟
数据集成方案 13分钟
集成多渠道客户分析功能 7分钟
使用 Splunk 和 Datameer 管理和处理大数据 1分钟
为什么选择 Splunk？ 4分钟
利用福特 OpenXC 和 Splunk 实现车联网 3分钟
使用 Datameer 进行大数据管理和处理 16分钟
在 Windows 上安装 Splunk Enterprise 2分钟
在 Linux 上安装 Splunk Enterprise 5分钟
探索 Splunk 查询 4分钟
可选：在 Splunk 中创建透视报告 8分钟

4篇阅读材料总计50分钟

幻灯片信息整合 10分钟
下载 Splunk Enterprise 10分钟
探索 Splunk 查询 20分钟
可选：Splunk Pivot 教程说明 10分钟

2个作业总计29分钟

信息整合 - 小测验 14分钟
亲身体验 Splunk 15分钟

1个讨论话题总计10分钟

我们来讨论一下：大数据整合 10分钟

本模块向学员介绍大数据管道和工作流，以及使用 Apache Spark 处理和分析大数据。

涵盖的内容

9个视频4篇阅读材料2个作业3个讨论话题

9个视频总计70分钟

大数据处理管道 7分钟
大数据管道中的一些高级处理操作 8分钟
大数据管道中的聚合操作 5分钟
大数据管道中的典型分析操作 11分钟
大数据处理系统概述 7分钟
集成与处理层 9分钟
Apache Spark 简介 8分钟
Spark 入门 10分钟
Spark 中的字数 4分钟

4篇阅读材料总计50分钟

大数据处理管道幻灯片 10分钟
大数据工作流程管理 10分钟
大数据处理工具和系统幻灯片 10分钟
Spark 中的字数 20分钟

2个作业总计26分钟

管道和工具 18分钟
Spark 中的字数 8分钟

3个讨论话题总计40分钟

我们来讨论一下：您世界中的大数据管道 15分钟
我们来讨论一下大数据处理系统 15分钟
我们来讨论一下字数 10分钟

在本模块中，您将通过学习 Spark Core 的内部工作原理深入了解大数据处理。您将了解 Spark 工具包中的两个关键工具：Spark MLlib 和 GraphX。

涵盖的内容

9个视频4篇阅读材料2个作业1个讨论话题

9个视频总计45分钟

Spark 核心：在 Spark 中使用管道中的 RDDs 编程 6分钟
星火核心：转换 11分钟
火花核心：行动 3分钟
Spark SQL 3分钟
Spark 流 4分钟
星火 MLLib 5分钟
Spark GraphX 3分钟
探索 SparkSQL 和 Spark DataFrames 5分钟
利用 Spark 流分析传感器数据 5分钟

4篇阅读材料总计70分钟

第 5 单元第 1 课的幻灯片 10分钟
第 5 单元第 2 课的幻灯片 10分钟
探索 SparkSQL 和 Spark DataFrames 20分钟
利用 Spark 流分析传感器数据 30分钟

2个作业总计23分钟

关于星火的更多信息 15分钟
SparkSQL 和 Spark Streaming 8分钟

1个讨论话题总计10分钟

我们来讨论一下星火生态系统 10分钟

在本模块中，您将获得一些应用所学 Spark 和 MongoDB 分析 Twitter 数据的实际动手经验。

涵盖的内容

4篇阅读材料2个作业

获得职业证书

将此证书添加到您的 LinkedIn 个人资料、简历或履历中。在社交媒体和绩效考核中分享。

位教师

授课教师评分

(132个评价)

Ilkay Altintas

University of California San Diego

14 门课程 513,872 名学生

Amarnath Gupta

University of California San Diego

10 门课程 484,431 名学生

提供方

University of California San Diego

人们为什么选择 Coursera 来帮助自己实现职业发展

Felipe M.

自 2018开始学习的学生

''能够按照自己的速度和节奏学习课程是一次很棒的经历。只要符合自己的时间表和心情，我就可以学习。'

Jennifer J.

自 2020开始学习的学生

''我直接将从课程中学到的概念和技能应用到一个令人兴奋的新工作项目中。'

Larry W.

自 2021开始学习的学生

''如果我的大学不提供我需要的主题课程，Coursera 便是最好的去处之一。'

Chaitanya A.

''学习不仅仅是在工作中做的更好：它远不止于此。Coursera 让我无限制地学习。'

学生评论

5 stars
62.04%
4 stars
25.64%
3 stars
6.91%
2 stars
2.59%
1 star
2.79%

显示 3/2428 个

已于 Dec 28, 2019审阅

Assigments would be more complexity but for a beginner they are enough to understand framework. More code practice should be presented. They need to be repeated to remember of syntax

已于 Dec 3, 2016审阅

Some of the lectures seemed slightly lesser quality with regards to the materials. For moocs especially, I would like to have the lecture better documented in order to download and review later.

已于 Oct 8, 2017审阅

Lot of new information, excellent delivery. Given 4 as I feel real-use case flavor is inadequate -exercises could be more intensive, real case studies can be added.

查看更多评论