Coursera
Spécialisation Real-Time, Real Fast: Kafka & Spark for Data Engineers

Acquérir des compétences de haut niveau avec Coursera Plus pour 199 $ (régulièrement 399 $). Économisez maintenant.

Ce spécialisation n'est pas disponible en Français (France)

Nous sommes actuellement en train de le traduire dans plus de langues.
Coursera

Spécialisation Real-Time, Real Fast: Kafka & Spark for Data Engineers

Real-Time Kafka & Spark Data Engineering. Build fault-tolerant streaming pipelines processing millions of events with Kafka & Spark.

Caio Avelino
Jairo Sanchez

Instructeurs :

Inclus avec Coursera Plus

Approfondissez votre connaissance d’un sujet
niveau Intermédiaire

Expérience recommandée

4 semaines à compléter
à 10 heures par semaine
Planning flexible
Apprenez à votre propre rythme
Approfondissez votre connaissance d’un sujet
niveau Intermédiaire

Expérience recommandée

4 semaines à compléter
à 10 heures par semaine
Planning flexible
Apprenez à votre propre rythme

Ce que vous apprendrez

  • Design and optimize Kafka clusters for high throughput, low latency, and fault tolerance in production environments

  • Build end-to-end streaming pipelines with Spark Structured Streaming, exactly-once semantics, and schema evolution

  • Implement real-time dashboards, orchestration, and disaster recovery for enterprise streaming architectures

Compétences que vous acquerrez

  • Catégorie : Performance Tuning
  • Catégorie : Data Governance
  • Catégorie : Data Pipelines
  • Catégorie : Apache Kafka
  • Catégorie : Data Architecture
  • Catégorie : Data Transformation
  • Catégorie : Apache Spark
  • Catégorie : Scalability
  • Catégorie : Disaster Recovery
  • Catégorie : Prometheus (Software)
  • Catégorie : Docker (Software)
  • Catégorie : Data Processing
  • Catégorie : Fraud detection
  • Catégorie : Event-Driven Programming
  • Catégorie : Operational Databases
  • Catégorie : System Monitoring
  • Catégorie : Grafana
  • Catégorie : Data Integrity
  • Catégorie : Real Time Data
  • Catégorie : PySpark

Détails à connaître

Certificat partageable

Ajouter à votre profil LinkedIn

Enseigné en Anglais
Récemment mis à jour !

janvier 2026

Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées

 logos de Petrobras, TATA, Danone, Capgemini, P&G et L'Oreal

Améliorez votre expertise en la matière

  • Acquérez des compétences recherchées auprès d’universités et d’experts du secteur
  • Maîtrisez un sujet ou un outil avec des projets pratiques
  • Développez une compréhension approfondie de concepts clés
  • Obtenez un certificat professionnel auprès de Coursera

Spécialisation - série de 4 cours

Ce que vous apprendrez

  • Configure Kafka topics with appropriate replication factors, partition counts, and durability settings to ensure high availability.

  • Diagnose performance bottlenecks using consumer lag metrics, broker health indicators, and throughput analysis.

  • Optimize producer and consumer configurations including batching, compression, and parallelism to maximize throughput while meeting latency SLAs.

Compétences que vous acquerrez

Catégorie : Apache Kafka
Catégorie : Prometheus (Software)
Catégorie : Real Time Data
Catégorie : Scalability
Catégorie : Performance Tuning
Catégorie : Command-Line Interface
Catégorie : Distributed Computing
Catégorie : Data Loss Prevention
Catégorie : Content Strategy
Catégorie : Process Optimization
Catégorie : Grafana
Catégorie : System Monitoring
Catégorie : System Configuration

Ce que vous apprendrez

  • Explain the execution model of Spark Structured Streaming and build a simple pipeline from a file source to a console sink.

  • Develop streaming pipelines that integrate with Kafka, apply event-time processing with watermarks, and write reliable outputs to Delta Lake.

  • Build an end-to-end Spark streaming pipeline that can be deployed in real-world production environments.

Compétences que vous acquerrez

Catégorie : Apache Spark
Catégorie : Apache Kafka
Catégorie : Real Time Data
Catégorie : Data Transformation
Catégorie : Data Processing
Catégorie : Data Integrity
Catégorie : PySpark
Catégorie : Event Management
Catégorie : Event Monitoring
Catégorie : Data-Driven Decision-Making
Catégorie : Data Pipelines
Catégorie : Scalability
Catégorie : JSON

Ce que vous apprendrez

  • Explain Spark’s streaming model and produce a dashboard-ready table from a simple file source.

  • Construct a real-time pipeline that ingests from Kafka, processes with Spark, and stores result in Delta using event-time windows and watermarks.

  • Operate a production-oriented dashboard with refresh policies, monitoring, and failure recovery.

Compétences que vous acquerrez

Catégorie : Data Persistence
Catégorie : Dashboard
Catégorie : Continuous Monitoring
Catégorie : JSON
Catégorie : Real Time Data
Catégorie : Data Pipelines
Catégorie : Apache Kafka
Catégorie : Scalability
Catégorie : Data Integrity
Catégorie : Business Intelligence
Catégorie : Business Metrics
Catégorie : Apache Spark
Catégorie : PySpark

Ce que vous apprendrez

  • Explain CDC fundamentals (binlog/WAL) and schema evolution strategies.

  • Configure a Schema Registry pipeline locally using Debezium and Kafka.

  • Use streaming SQL (Flink/ksqlDB) to map, cast, and merge divergent schemas into a canonical model.

Compétences que vous acquerrez

Catégorie : Data Validation
Catégorie : Data Storage Technologies
Catégorie : Apache Kafka
Catégorie : Data Modeling
Catégorie : Data Integrity
Catégorie : Data Pipelines
Catégorie : Data Capture
Catégorie : Continuous Monitoring
Catégorie : Database Design
Catégorie : PostgreSQL
Catégorie : Continuous Integration
Catégorie : Data Transformation
Catégorie : Software Versioning
Catégorie : Data Mapping
Catégorie : Real Time Data
Catégorie : SQL
Catégorie : Schematic Diagrams
Catégorie : Query Languages

Obtenez un certificat professionnel

Ajoutez ce titre à votre profil LinkedIn, à votre curriculum vitae ou à votre CV. Partagez-le sur les médias sociaux et dans votre évaluation des performances.

Instructeurs

Coursera
0 Cours0 apprenants

Offert par

Coursera

Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?

Felipe M.
Étudiant(e) depuis 2018
’Pouvoir suivre des cours à mon rythme à été une expérience extraordinaire. Je peux apprendre chaque fois que mon emploi du temps me le permet et en fonction de mon humeur.’
Jennifer J.
Étudiant(e) depuis 2020
’J'ai directement appliqué les concepts et les compétences que j'ai appris de mes cours à un nouveau projet passionnant au travail.’
Larry W.
Étudiant(e) depuis 2021
’Lorsque j'ai besoin de cours sur des sujets que mon université ne propose pas, Coursera est l'un des meilleurs endroits où se rendre.’
Chaitanya A.
’Apprendre, ce n'est pas seulement s'améliorer dans son travail : c'est bien plus que cela. Coursera me permet d'apprendre sans limites.’

Foire Aux Questions