Master the design, implementation, and optimization of production-ready streaming data pipelines using Apache Kafka and Flink. This intermediate-level course teaches you to evaluate log configurations against governance requirements (PCI-DSS, GDPR, SOC2) and cost constraints, design stream processing topologies that join and aggregate data in real time with exactly-once semantics, and optimize pipelines through partition tuning, compression, and cost modeling. You'll work through hands-on labs that mirror real-world scenarios at DoorDash, Netflix, and Robinhood: comparing retention policies against compliance rules, building a Kafka Streams application that joins orders and payments to calculate 5-minute revenue totals, and diagnosing performance bottlenecks to meet SLAs within budget.
Stream & Optimize Real-Time Data Flows
Saisissez l'occasion de faire des économies ! Bénéficiez de 40 % de réduction sur 3 mois de Coursera Plus et d'un accès complet à des milliers de cours.
Stream & Optimize Real-Time Data Flows
Ce cours fait partie de Spécialisation "Real-Time, Real Fast: Kafka & Spark for Data Engineers"
Instructeurs : Starweaver
Inclus avec
Expérience recommandée
Ce que vous apprendrez
Evaluate log configurations to recommend tiered storage, retention policies, and access controls.
Design stream processing topologies that implement join patterns, aggregation windows, and state management for real-time data transformation.
Optimize real-time data flows by analyzing throughput bottlenecks, partition strategies, and resource allocation to meet SLAs within budget limits.
Compétences que vous acquerrez
- Catégorie : Real Time Data
- Catégorie : Scalability
- Catégorie : Multi-Tenant Cloud Environments
- Catégorie : Data Pipelines
- Catégorie : Apache
- Catégorie : Payment Card Industry (PCI) Data Security Standards
- Catégorie : Cost Management
- Catégorie : Data Governance
- Catégorie : Performance Tuning
- Catégorie : Computer Architecture
- Catégorie : Compliance Management
- Catégorie : Governance
- Catégorie : Data Architecture
Outils que vous découvrirez
- Catégorie : Operational Databases
- Catégorie : Apache Kafka
Détails à connaître
Ajouter Ă votre profil LinkedIn
janvier 2026
1 devoir
Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées
Élaborez votre expertise du sujet
- Apprenez de nouveaux concepts auprès d'experts du secteur
- Acquérez une compréhension de base d'un sujet ou d'un outil
- Développez des compétences professionnelles avec des projets pratiques
- Obtenez un certificat professionnel partageable
Il y a 3 modules dans ce cours
Learn to analyze logging architectures against regulatory requirements and budget constraints. You'll evaluate retention policies for audit logs versus operational events, map data classifications to storage tiers, and quantify the cost impact of different configuration choices. By working through cost modeling exercises and compliance gap analysis, you'll recommend concrete changes to log configurations that balance compliance mandates with infrastructure costs.
Inclus
4 vidéos2 lectures1 évaluation par les pairs
Learn to architect stream processing pipelines that transform and enrich data in real time. You'll design topologies that join multiple event streams (orders with payments), implement windowing for time-based aggregations (5-minute revenue totals), and manage stateful operations with exactly-once semantics. By working through concrete patterns like stream-stream joins and fan-out architectures, you'll build production-ready data flows that power operational dashboards and decision systems.
Inclus
3 vidéos1 lecture1 évaluation par les pairs
Learn to diagnose and resolve performance bottlenecks in streaming pipelines while controlling costs. You'll analyze partition strategies against throughput requirements, evaluate replication factors versus latency SLAs, and implement compression and batching optimizations. Through cost modeling exercises and performance benchmarking, you'll balance throughput targets with infrastructure budgets and use monitoring data to make evidence-based recommendations for scaling streaming applications.
Inclus
4 vidéos1 lecture1 devoir2 évaluations par les pairs
Obtenez un certificat professionnel
Ajoutez ce titre à votre profil LinkedIn, à votre curriculum vitae ou à votre CV. Partagez-le sur les médias sociaux et dans votre évaluation des performances.
Offert par
En savoir plus sur Data Analysis
Statut : Essai gratuit
Statut : Essai gratuit
Statut : Essai gratuit
Statut : Essai gratuit
Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?
Felipe M.
Jennifer J.
Larry W.
Chaitanya A.
Ouvrez de nouvelles portes avec Coursera Plus
Accès illimité à 10,000+ cours de niveau international, projets pratiques et programmes de certification prêts à l'emploi - tous inclus dans votre abonnement.
Faites progresser votre carrière avec un diplôme en ligne
Obtenez un diplôme auprès d’universités de renommée mondiale - 100 % en ligne
Rejoignez plus de 3Â 400Â entreprises mondiales qui ont choisi Coursera pour les affaires
Améliorez les compétences de vos employés pour exceller dans l’économie numérique
Foire Aux Questions
To access the course materials, assignments and to earn a Certificate, you will need to purchase the Certificate experience when you enroll in a course. You can try a Free Trial instead, or apply for Financial Aid. The course may offer 'Full Course, No Certificate' instead. This option lets you see all course materials, submit required assessments, and get a final grade. This also means that you will not be able to purchase a Certificate experience.
When you enroll in the course, you get access to all of the courses in the Specialization, and you earn a certificate when you complete the work. Your electronic Certificate will be added to your Accomplishments page - from there, you can print your Certificate or add it to your LinkedIn profile.
Yes. In select learning programs, you can apply for financial aid or a scholarship if you can’t afford the enrollment fee. If fin aid or scholarship is available for your learning program selection, you’ll find a link to apply on the description page.
Plus de questions
Aide financière disponible,