Coursera

Spécialisation "Vision & Audio AI Systems"

Ce spécialisation n'est pas disponible en Français (France)

Nous sommes actuellement en train de le traduire dans plus de langues.
Coursera

Spécialisation "Vision & Audio AI Systems"

Build Multimodal AI for Vision and Audio.

Design, debug, and deploy AI systems that unify visual and audio data processing.

Hurix Digital

Instructeur : Hurix Digital

Inclus avec Coursera Plus

Approfondissez votre connaissance d’un sujet
niveau Avancées

Expérience recommandée

4 semaines à compléter
à 10 heures par semaine
Planning flexible
Apprenez à votre propre rythme
Approfondissez votre connaissance d’un sujet
niveau Avancées

Expérience recommandée

4 semaines à compléter
à 10 heures par semaine
Planning flexible
Apprenez à votre propre rythme

Ce que vous apprendrez

  • Design preprocessing pipelines for image, video, and audio data that transform raw inputs into model-ready features.

  • Implement cross-modal retrieval systems and fusion algorithms that unify visual and audio information effectively.

  • Debug and optimize multimodal AI systems through systematic error analysis and performance tuning techniques.

Compétences que vous acquerrez

  • Catégorie : Computer Vision
  • Catégorie : Data Integrity
  • Catégorie : Data Pipelines
  • Catégorie : Data Preprocessing
  • Catégorie : Data Validation
  • Catégorie : Debugging
  • Catégorie : Deep Learning
  • Catégorie : Digital Signal Processing
  • Catégorie : Embeddings
  • Catégorie : Feature Engineering
  • Catégorie : Image Analysis
  • Catégorie : MLOps (Machine Learning Operations)
  • Catégorie : Model Evaluation
  • Catégorie : Model Optimization
  • Catégorie : Model Training
  • Catégorie : Performance Tuning
  • Catégorie : Transfer Learning

Outils que vous découvrirez

  • Catégorie : Apache Airflow
  • Catégorie : PyTorch (Machine Learning Library)
  • Catégorie : Tensorflow

Détails à connaître

Certificat partageable

Ajouter à votre profil LinkedIn

Enseigné en Anglais
Récemment mis à jour !

janvier 2026

Découvrez comment les employés des entreprises prestigieuses maîtrisent des compétences recherchées

 logos de Petrobras, TATA, Danone, Capgemini, P&G et L'Oreal

Améliorez votre expertise en la matière

  • Acquérez des compétences recherchées auprès d’universités et d’experts du secteur
  • Maîtrisez un sujet ou un outil avec des projets pratiques
  • Développez une compréhension approfondie de concepts clés
  • Obtenez un certificat professionnel auprès de Coursera

Spécialisation - série de 11 cours

Fine-tune Multimodal Models with Transfer Learning

Fine-tune Multimodal Models with Transfer Learning

COURS 1, 2 heures

Ce que vous apprendrez

  • Multimodal architecture needs encoder-fusion-decoder pipelines balancing computational efficiency with cross-modal understanding capabilities.

  • Transfer learning transforms AI by enabling rapid adaptation of pre-trained knowledge to new domains with minimal data and training requirements.

  • Fine-tuning balances knowledge preservation and task adaptation through careful hyperparameter selection and strategic layer freezing techniques.

  • Production multimodal systems require systematic optimization approaches considering both model performance and computational resource constraints.

Compétences que vous acquerrez

Catégorie : Deep Learning
Catégorie : Fine-tuning
Catégorie : Generative Model Architectures
Catégorie : Model Optimization
Catégorie : PyTorch (Machine Learning Library)
Catégorie : Model Training
Catégorie : Keras (Neural Network Library)
Catégorie : Tensorflow
Catégorie : Multimodal Prompts
Catégorie : Data Processing
Catégorie : Artificial Neural Networks
Catégorie : Knowledge Transfer
Debug Neural Networks: Analyze Training Dynamics

Debug Neural Networks: Analyze Training Dynamics

COURS 2, 2 heures

Ce que vous apprendrez

  • Training and validation metric divergence patterns are reliable indicators of overfitting that require early intervention to avoid model degradation.

  • Gradient magnitude tracking during backpropagation reveals critical stability issues that can be systematically diagnosed and corrected.

  • Proactive diagnostic workflows using visualization tools like TensorBoard enable timely interventions that save significant computational resources

  • Successful model development depends on establishing continuous monitoring practices that catch training failures before they become costly problems.

Compétences que vous acquerrez

Catégorie : Model Training
Catégorie : Performance Analysis
Catégorie : Applied Machine Learning
Catégorie : Model Optimization
Process Images, Create Captioning AI Models

Process Images, Create Captioning AI Models

COURS 3, 2 heures

Ce que vous apprendrez

  • Image preprocessing using normalization and color-space conversion ensures stable training and consistent model performance.

  • Optical flow and frame differencing complement motion analysis, helping systems capture scene dynamics over time.

  • Preprocessing is essential for vision tasks, directly affecting model convergence, stability, and real-world results

  • Motion feature extraction links static images with dynamic understanding for recognition, tracking, and navigation.

Compétences que vous acquerrez

Catégorie : Computer Vision
Catégorie : NumPy
Catégorie : Python Programming
Catégorie : Data Preprocessing
Catégorie : Image Analysis
Catégorie : Data Transformation
Evaluate Vision Errors: Identify Failure Patterns

Evaluate Vision Errors: Identify Failure Patterns

COURS 4, 2 heures

Ce que vous apprendrez

  • Systematic error analysis uncovers specific failure modes and root causes that guide focused model improvements.

  • Confusion matrices and error categories reveal class-level model strengths and weaknesses.

  • Visualizing predictions with ground truth adds qualitative insight to complement numeric metrics.

  • Linking errors to data traits enables targeted data collection and model tuning for stronger robustness.

Compétences que vous acquerrez

Catégorie : Model Evaluation
Catégorie : Computer Vision
Catégorie : Scientific Visualization
Catégorie : Data Visualization
Catégorie : Correlation Analysis
Catégorie : Quality Assurance
Catégorie : Image Analysis
Catégorie : Root Cause Analysis
Catégorie : Statistical Reporting
Catégorie : Failure Mode And Effects Analysis
Catégorie : Analysis
Unify Modalities: Cross-Modal Retrieval

Unify Modalities: Cross-Modal Retrieval

COURS 5, 2 heures

Ce que vous apprendrez

  • Cross-modal retrieval aligns vector spaces to bridge semantic gaps between text, images, and other data types.

  • ANN tools like FAISS enable fast similarity search across millions of embeddings with production-scale performance.

  • Attention mechanisms fuse visual and textual features by learning contextual relationships across multiple representations.

  • Multimodal systems balance accuracy, speed, and memory through careful index choice and parameter tuning.

Compétences que vous acquerrez

Catégorie : Embeddings
Catégorie : Image Analysis
Catégorie : Applied Machine Learning
Catégorie : Artificial Intelligence and Machine Learning (AI/ML)
Catégorie : Vector Databases
Catégorie : Scalability
Analyze and Optimize Fusion Algorithms

Analyze and Optimize Fusion Algorithms

COURS 6, 2 heures

Ce que vous apprendrez

  • Systematic complexity analysis with Big O notation for time and space is fundamental to predicting performance in scalable AI system design.

  • Trade-off evaluation between speed and memory usage requires formal assessment methodologies rather than intuitive guessing.

  • Resource optimization decisions must be grounded in empirical profiling data combined with theoretical complexity analysis.

  • Algorithm selection for deployment environments requires matching complexity profiles to specific hardware constraints and performance requirements.

Compétences que vous acquerrez

Catégorie : Algorithms
Catégorie : Scalability
Catégorie : Resource Utilization
Catégorie : Memory Management
Catégorie : Model Optimization
Catégorie : Performance Testing
Process Images & Extract Motion Features

Process Images & Extract Motion Features

COURS 7, 2 heures

Ce que vous apprendrez

  • Image preprocessing with normalization and color-space conversion ensures stable training and consistent performance across visuals.

  • Motion features from optical flow and frame differencing help systems learn temporal dynamics for tracking and action tasks.

  • Strong preprocessing improves model accuracy and training efficiency, making it essential in any vision pipeline

  • Mastering pixel changes and motion patterns enables advanced AI systems to understand dynamic visual scenes.

Compétences que vous acquerrez

Catégorie : Computer Vision
Catégorie : NumPy
Catégorie : Color Theory
Catégorie : Data Preprocessing
Catégorie : Image Analysis
Catégorie : Data Transformation
Catégorie : Model Training
Transform Audio: Extract Features & Augment Models

Transform Audio: Extract Features & Augment Models

COURS 8, 2 heures

Ce que vous apprendrez

  • Raw audio waveforms must be transformed into structured numerical representations to enable effective processing by machine learning models.

  • Spectral features, STFT, MFSCs, & cepstral features, MFCCs, capture complementary signal info supporting ML classification, detection, recognition.

  • Noise injection, time-shifting, pitch modification & speed adjustment improve model generalization in real-world acoustic environments.

  • Automated audio augmentation pipelines are essential for production-ready AI systems ensuring reliable performance across diverse conditions.

Compétences que vous acquerrez

Catégorie : Data Transformation
Catégorie : Digital Signal Processing
Catégorie : Data Manipulation
Catégorie : Model Deployment
Catégorie : Machine Learning Methods
Catégorie : Feature Engineering
Catégorie : Data Pipelines
Catégorie : Data Processing
Catégorie : Data Preprocessing
Catégorie : Applied Machine Learning
Catégorie : Model Training
Catégorie : Data Wrangling
Debug Audio Models: Performance and Root Cause

Debug Audio Models: Performance and Root Cause

COURS 9, 2 heures

Ce que vous apprendrez

  • Performance monitoring needs quantitative metrics and audio sample analysis to understand model behaviour and failures.

  • Audio failures often link to environmental conditions found through spectrogram and signal quality analysis.

  • Effective debugging combines statistical measures with audio analysis techniques for actionable insights

  • Root cause analysis requires understanding data quality, environmental factors, and model architecture relationships.

Compétences que vous acquerrez

Catégorie : Analysis
Catégorie : Responsible AI
Catégorie : Debugging
Catégorie : Data Preprocessing
Catégorie : Root Cause Analysis
Catégorie : Exploratory Data Analysis
Catégorie : Digital Signal Processing
Catégorie : Scenario Testing
Catégorie : Quantitative Research
Catégorie : Performance Analysis
Catégorie : Software Visualization
Catégorie : Model Evaluation
Unify Multimodal Data with Automated ETL

Unify Multimodal Data with Automated ETL

COURS 10, 2 heures

Ce que vous apprendrez

  • Unified data schemas with common metadata fields enable efficient querying and joining of diverse data types for machine learning applications.

  • DAG-based orchestration platforms enable reliable data pipelines with built-in dependency control and robust error handling.

  • Strategic indexing and data type selection in schema design directly impacts storage efficiency and retrieval performance for ML training at scale.

  • Automated ETL with scheduling and monitoring converts raw multimodal data into ML-ready features while reducing manual effort .

Compétences que vous acquerrez

Catégorie : Data Pipelines
Catégorie : Apache Airflow
Catégorie : Data Processing
Catégorie : Extract, Transform, Load
Catégorie : Data Modeling
Catégorie : Data Architecture
Catégorie : Data Integration
Catégorie : AI Workflows
Catégorie : Data Infrastructure
Catégorie : Scalability
Catégorie : Workflow Management
Catégorie : AI Orchestration
Catégorie : Data Quality
Catégorie : Feature Engineering
Catégorie : Data Storage
Catégorie : Database Design
Validate Multimodal Data: Ensure Quality

Validate Multimodal Data: Ensure Quality

COURS 11, 1 heure

Ce que vous apprendrez

  • Data quality is the foundation of reliable multimodal AI systems - poor quality input inevitably leads to poor system performance regardless.

  • Systematic validation across modalities requires understanding the technical alignment (timestamps, IDs) and semantic consistency (content matching).

  • Automated validation pipelines are essential for scaling multimodal data operations and catching issues before they propagate to model training.

  • Cross-modal integrity checks must be designed with domain-specific knowledge about how different data types should relate to each other properly.

Compétences que vous acquerrez

Catégorie : Record Keeping
Catégorie : Reconciliation
Catégorie : Auditing
Catégorie : Debugging
Catégorie : Data Integrity
Catégorie : Verification And Validation

Obtenez un certificat professionnel

Ajoutez ce titre à votre profil LinkedIn, à votre curriculum vitae ou à votre CV. Partagez-le sur les médias sociaux et dans votre évaluation des performances.

Instructeur

Hurix Digital
442 Cours44 588 apprenants

Offert par

Coursera

Pour quelles raisons les étudiants sur Coursera nous choisissent-ils pour leur carrière ?

Felipe M.

Étudiant(e) depuis 2018
’Pouvoir suivre des cours à mon rythme à été une expérience extraordinaire. Je peux apprendre chaque fois que mon emploi du temps me le permet et en fonction de mon humeur.’

Jennifer J.

Étudiant(e) depuis 2020
’J'ai directement appliqué les concepts et les compétences que j'ai appris de mes cours à un nouveau projet passionnant au travail.’

Larry W.

Étudiant(e) depuis 2021
’Lorsque j'ai besoin de cours sur des sujets que mon université ne propose pas, Coursera est l'un des meilleurs endroits où se rendre.’

Chaitanya A.

’Apprendre, ce n'est pas seulement s'améliorer dans son travail : c'est bien plus que cela. Coursera me permet d'apprendre sans limites.’
Coursera Plus

Ouvrez de nouvelles portes avec Coursera Plus

Accès illimité à 10,000+ cours de niveau international, projets pratiques et programmes de certification prêts à l'emploi - tous inclus dans votre abonnement.

Faites progresser votre carrière avec un diplôme en ligne

Obtenez un diplôme auprès d’universités de renommée mondiale - 100 % en ligne

Rejoignez plus de 3 400 entreprises mondiales qui ont choisi Coursera pour les affaires

Améliorez les compétences de vos employés pour exceller dans l’économie numérique

Foire Aux Questions