Process & Analyze Real-Time Data Fast

Ce cours n'est pas disponible en Français (France)

Nous sommes actuellement en train de le traduire dans plus de langues.

Process & Analyze Real-Time Data Fast

Ce cours fait partie de Spécialisation "Real-Time, Real Fast: Kafka & Spark for Data Engineers"

Instructeurs : Jairo Sanchez

Inclus avec

3 modules

Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.

niveau Intermédiaire

Expérience recommandée

5 heures à compléter

Planning flexible

Apprenez à votre propre rythme

3 modules

Obtenez un aperçu d'un sujet et apprenez les principes fondamentaux.

niveau Intermédiaire

Expérience recommandée

5 heures à compléter

Planning flexible

Apprenez à votre propre rythme

Ce que vous apprendrez

Architect a streaming data solution by differentiating between batch, micro-batch, and streaming patterns to solve a specific business problem.
Develop real-time analytics pipelines using window functions and watermarking to aggregate and analyze streaming data.
Optimize a production streaming application by diagnosing performance bottlenecks like data skew and implementing mitigation techniques.

Compétences que vous acquerrez

Catégorie : Big Data
Catégorie : Internet Of Things
Catégorie : Performance Analysis
Catégorie : Trend Analysis
Catégorie : Data Processing
Catégorie : Data Pipelines
Catégorie : Data Analysis
Catégorie : Real Time Data
Catégorie : Performance Tuning
Catégorie : Anomaly Detection

Outils que vous découvrirez

Catégorie : Apache Spark
Catégorie : Dashboard
Catégorie : Databricks
Catégorie : Operational Databases
Catégorie : Fraud detection
Catégorie : PySpark

Détails à connaître

Certificat partageable

Ajouter à votre profil LinkedIn

Récemment mis à jour !

février 2026

Évaluations

1 devoir

Enseigné en Anglais

Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées

En savoir plus sur Coursera pour les affaires

logos de Petrobras, TATA, Danone, Capgemini, P&G et L'Oreal

Élaborez votre expertise du sujet

Ce cours fait partie de la Spécialisation "Real-Time, Real Fast: Kafka & Spark for Data Engineers"

Lorsque vous vous inscrivez à ce cours, vous êtes également inscrit(e) à cette Spécialisation.

Apprenez de nouveaux concepts auprès d'experts du secteur
Acquérez une compréhension de base d'un sujet ou d'un outil
Développez des compétences professionnelles avec des projets pratiques
Obtenez un certificat professionnel partageable

Il y a 3 modules dans ce cours

In a world where business decisions happen in seconds, is your data fast enough? Traditional batch processing creates a critical "insight lag," forcing you to react to yesterday's news. This hands-on course empowers you to design, build, and optimize high-speed data pipelines that serve as the nervous system of modern business. Working in a ready-to-use cloud environment with industry-standard Apache Spark, you will master the complete lifecycle of real-time data engineering. Through practical, real-world case studies from e-commerce, IoT, and FinTech, you'll learn to build live operational dashboards, apply window functions to analyze trends over time, and design a sophisticated, real-time fraud detection engine. You will leave this course with the skills to transform massive, high-speed data streams into immediate, actionable business value and become the go-to expert for creating low-latency solutions that give companies their competitive edge.

This course is designed for professionals and aspiring practitioners who want to harness the power of real-time analytics. Whether you are a data analyst, data engineer, or data scientist seeking to advance your skills, or an IT professional and developer working with IoT, cloud, or streaming systems, this course will equip you with the practical tools and techniques to analyze data as it flows. Business professionals will also benefit from understanding how real-time insights can accelerate smarter decision-making across industries. Learners should have a basic understanding of Python and SQL to follow the exercises effectively. The hands-on labs use a free Databricks account, and a setup guide is provided, so no prior experience with Databricks or Spark is required to get started. By the end of this course, learners will be able to design and implement efficient real-time data solutions using streaming technologies. They will learn to differentiate between batch, micro-batch, and continuous streaming patterns to solve business problems, apply time-based functions and watermarking for stateful data analysis, and optimize streaming pipelines by identifying and resolving performance challenges such as data skew.

In this module, learner will step into the role of a data analyst at a fast-growing e-commerce company. Learner will tackle their biggest challenge: replacing slow, nightly reports with a live dashboard to monitor a critical flash sale. Learner will master the fundamentals of stream processing and learn why real-time data is a competitive necessity. This module demonstrates these concepts using Apache Spark.

Inclus

4 vidéos2 lectures1 évaluation par les pairs

4 vidéos Total 35 minutes

The Real-Time Revolution 4 minutes
Data Processing Paradigms 8 minutes
Introduction to Spark Structured Streaming 10 minutes
Your First Streaming Pipeline 14 minutes

2 lectures Total 10 minutes

Welcome to the Course: Course Overview 5 minutes
Key Streaming Terminologies for Real-Time Analytics 5 minutes

1 évaluation par les pairs Total 30 minutes

Hands-On-Learning: Building a Real-Time E-commerce Dashboard 30 minutes

As an IoT Engineer for a smart city initiative, you are responsible for making sense of hundreds of traffic sensors generating chaotic, often delayed data. In this module, you will explore the critical distinction between event time and processing time, master stateful analytics using window functions, and apply watermarking to handle late-arriving data. By the end, you'll be able to design robust real-time pipelines that reveal trends and actionable insights from complex, continuous streams.

Inclus

3 vidéos1 lecture1 évaluation par les pairs

This module will guide you through identifying and resolving performance bottlenecks using techniques like salting, and then applying stateful analytics to build a prototype for real-time fraud detection. In your role as a Platform Engineer at a fast-growing FinTech company, you are challenged with stabilizing a critical payment pipeline crippled by data skew and tasked with defending against rapidly evolving fraud threats. By the end, you will have mastered the skills needed to optimize and operationalize production-grade streaming applications in high-stakes environments.

Inclus

4 vidéos1 lecture1 devoir2 évaluations par les pairs

4 vidéos Total 36 minutes

Understanding and Diagnosing Data Skew 9 minutes
Implementing Salting 10 minutes
Applying Streaming to Fraud Detection 12 minutes
Congratulations and Next Steps in Your Data Engineering Career 5 minutes

1 lecture Total 5 minutes

The Salting Technique 5 minutes

1 devoir Total 20 minutes

Process & Analyze Real-Time Data Fast 20 minutes

2 évaluations par les pairs Total 90 minutes

Hands-On-Learning: Diagnosing and Mitigating Data Skew in a Payment Pipeline 30 minutes
Project: Build a Real-Time Fraud Detection Pipeline 60 minutes

Obtenez un certificat professionnel

Ajoutez ce titre à votre profil LinkedIn, à votre curriculum vitae ou à votre CV. Partagez-le sur les médias sociaux et dans votre évaluation des performances.

Instructeurs

Jairo Sanchez

5 Cours 8 251 apprenants

Offert par

Coursera

En savoir plus sur Data Analysis

Coursera
Optimize Spark Performance & Throughput
Cours
Coursera
Manage Schema Evolution in Real‑Time Data
Cours
Coursera
Build Real-Time Dashboards with Spark
Cours
Coursera
Stream & Optimize Real-Time Data Flows
Cours

Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?

Felipe M.

Étudiant(e) depuis 2018

’Pouvoir suivre des cours à mon rythme à été une expérience extraordinaire. Je peux apprendre chaque fois que mon emploi du temps me le permet et en fonction de mon humeur.’

Jennifer J.

Étudiant(e) depuis 2020

’J'ai directement appliqué les concepts et les compétences que j'ai appris de mes cours à un nouveau projet passionnant au travail.’

Larry W.

Étudiant(e) depuis 2021

’Lorsque j'ai besoin de cours sur des sujets que mon université ne propose pas, Coursera est l'un des meilleurs endroits où se rendre.’

Chaitanya A.

’Apprendre, ce n'est pas seulement s'améliorer dans son travail : c'est bien plus que cela. Coursera me permet d'apprendre sans limites.’

Ouvrez de nouvelles portes avec Coursera Plus

Accès illimité à 10,000+ cours de niveau international, projets pratiques et programmes de certification prêts à l'emploi - tous inclus dans votre abonnement.

Faites progresser votre carrière avec un diplôme en ligne

Obtenez un diplôme auprès d’universités de renommée mondiale - 100 % en ligne

Découvrir les diplômes

Rejoignez plus de 3 400 entreprises mondiales qui ont choisi Coursera pour les affaires

Améliorez les compétences de vos employés pour exceller dans l’économie numérique

Foire Aux Questions

To access the course materials, assignments and to earn a Certificate, you will need to purchase the Certificate experience when you enroll in a course. You can try a Free Trial instead, or apply for Financial Aid. The course may offer 'Full Course, No Certificate' instead. This option lets you see all course materials, submit required assessments, and get a final grade. This also means that you will not be able to purchase a Certificate experience.

When you enroll in the course, you get access to all of the courses in the Specialization, and you earn a certificate when you complete the work. Your electronic Certificate will be added to your Accomplishments page - from there, you can print your Certificate or add it to your LinkedIn profile.

Yes. In select learning programs, you can apply for financial aid or a scholarship if you can’t afford the enrollment fee. If fin aid or scholarship is available for your learning program selection, you’ll find a link to apply on the description page.