Bienvenue au module 2 de Math 569 : Apprentissage statistique. Nous explorons ici ce qui est sans doute le modèle fondamental du domaine : la régression linéaire. Ce modèle simple mais très utile nous aide à mieux comprendre le problème de l'apprentissage statistique abordé dans le module 1. Dans la leçon 1, nous examinerons attentivement ce que la régression linéaire vise à faire, comment nous construisons les paramètres du modèle avec un ensemble de données donné, et quels types de tests statistiques nous pouvons effectuer sur nos coefficients estimés. Dans la leçon 2, nous aborderons une méthode connue sous le nom de sélection de sous-ensembles, qui vise à améliorer la régression linéaire en éliminant les variables indépendantes qui n'ont pas d'impact. Dans la leçon 3, nous étudierons l'introduction d'un biais dans le modèle de régression linéaire à l'aide de deux méthodes de régularisation : Ridge Regression et LASSO. Ces méthodes utilisent un hyperparamètre, un concept clé de ce cours, pour limiter la croissance des coefficients. C'est la source du biais et cela nous aidera à comprendre pourquoi un estimateur biaisé peut surpasser notre estimateur sans biais pour les coefficients de la régression linéaire de la leçon 1. Enfin, la leçon 4 introduit le concept de transformation de données, qui permet de traiter les complexités d'un ensemble de données. Elle fournit également un moyen simple de convertir un modèle linéaire en un modèle non linéaire.

Bienvenue au module 3 de Math 569 : Apprentissage statistique, où nous nous penchons sur la classification linéaire. Dans la leçon 1, nous avons exploré comment la régression linéaire, généralement utilisée pour prédire des résultats continus, peut être adaptée aux tâches de classification, c'est-à-dire à la prédiction de catégories discrètes. Nous aborderons la conversion des données catégoriques en un format numérique adapté à la classification et présenterons des mesures de classification essentielles telles que l'exactitude, la précision et le rappel. Dans la leçon 2, nous explorerons l'analyse discriminante linéaire (LDA) en tant que méthode alternative pour construire des classifications linéaires. Cette méthode introduit la notion selon laquelle la classification maximise la probabilité d'une catégorie étant donné un point de données, un cadre sur lequel nous reviendrons plus tard dans le cours. La maximisation de la probabilité de classification, compte tenu de certaines hypothèses simplificatrices, conduit à un modèle linéaire qui peut également réduire la dimensionnalité du problème. Enfin, dans la leçon 3, nous aborderons la régression logistique, qui est construite en supposant que les log-vraisemblances sont des modèles linéaires. Le résultat, similaire à la LDA, produit une limite de décision linéaire.

Bienvenue au module 4 de Math 569 : Apprentissage statistique, qui se concentre sur les méthodes avancées de modélisation statistique. Ce module commence par une introduction aux méthodes d'expansion de base, explorant comment ces techniques améliorent les modèles linéaires en incorporant des relations non linéaires. Nous nous penchons ensuite sur les polynômes par morceaux, en discutant de leur utilité pour capturer les tendances variables à travers différents segments de données. Dans la leçon 2, nous explorons les splines de lissage, en soulignant leur rôle dans l'équilibre efficace entre l'ajustement et la complexité du modèle. Enfin, la leçon 3 traite de la régularisation et des fonctions noyaux, en expliquant comment ces concepts contribuent à la construction de modèles plus complexes sans augmenter de manière significative la complexité algorithmique.

Bienvenue au module 5 de Math 569 : Apprentissage statistique, consacré aux techniques avancées de modélisation des données non linéaires. Dans la leçon 1, nous nous penchons sur les lisseurs à noyau, en explorant la façon dont ils font des prédictions basées sur des données locales et leur comparaison avec les modèles kNN (plus proches voisins). La leçon 2 se concentre sur la régression locale, en particulier la régression linéaire locale (LLR) et la régression polynomiale locale (LPR). Nous examinerons comment la LLR surmonte certaines limitations du lissage du noyau et comment la LPR offre une flexibilité dans la capture de la structure des données locales. Le module met l'accent sur l'adaptabilité de ces techniques aux relations de données complexes et aborde les défis liés à la sélection des hyperparamètres et aux exigences de calcul, en particulier pour les grands ensembles de données.

Le module 6 de Math 569 : Apprentissage statistique se penche sur l'évaluation de modèles et la sélection de modèles via le choix d'hyperparamètres. Il commence par une compréhension de la décomposition biais-variance, en soulignant le compromis entre la simplicité et la précision du modèle. Le module explore ensuite la complexité des modèles et propose des stratégies pour équilibrer cette complexité avec la performance prédictive. En s'appuyant sur l'importance de l'équilibre entre la complexité et la performance des modèles, nous abordons ensuite les mesures de sélection des modèles, à savoir : AIC, BIC et MDL. Il s'agit de mesures fondées sur la théorie de l'information qui permettent d'équilibrer l'erreur avec la complexité du modèle, comme le nombre de paramètres. Enfin, le module se termine par des leçons sur l'estimation de l'erreur de test sans ensemble de test, en utilisant des concepts tels que VC Dimension, la validation croisée et le Bootstrap. Ce module est essentiel pour maîtriser l'évaluation et la sélection des modèles en apprentissage statistique.

Le module 7 de Math 569 : Statistiques déductives introduit des techniques déductives avancées. La leçon 1 se concentre sur l'inférence du maximum de vraisemblance, expliquant comment trouver les paramètres optimaux du modèle en maximisant la fonction de vraisemblance. Cette méthode est essentielle pour estimer les paramètres pour lesquels un ensemble de données est le plus probable. La leçon 2 se penche sur l'inférence bayésienne, en l'opposant aux approches fréquentistes. Elle aborde le théorème de Bayes, qui intègre les croyances antérieures aux nouvelles données afin de mettre à jour les croyances de manière dynamique. Le module aborde en détail le processus de modélisation bayésienne, y compris la construction et la mise à jour de modèles utilisant des distributions a priori et a posteriori. Ce module est essentiel pour comprendre les méthodes d'inférence complexes dans l'apprentissage statistique.

Le module 8 de Math 569 : Apprentissage statistique couvre diverses techniques avancées d'apprentissage automatique. Il commence par les Arbres décisionnels, en se concentrant sur leur structure et leur application dans les tâches de classification et de régression. Ensuite, il explore les machines à vecteurs de support (SVM), en détaillant leur fonction dans la création de limites de décision optimales. Le module examine ensuite le K-moyennes Clustering, une méthode d'apprentissage non supervisée pour le regroupement des données. Enfin, il se termine par les Réseaux de neurones, dont il examine l'architecture et le rôle dans la reconnaissance de formes complexes. Chaque leçon propose une plongée en profondeur dans ces techniques, mettant en évidence leurs avantages uniques et leurs applications dans l'apprentissage statistique.

Ce module contient l'évaluation sommative du cours qui a été conçue pour évaluer votre compréhension du matériel du cours et votre capacité à appliquer les connaissances que vous avez acquises tout au long du cours. Veillez à bien réviser le matériel de cours avant de passer l'évaluation.