Les classificateurs linéaires font partie des méthodes de classification les plus pratiques. Par exemple, dans notre étude de cas sur l'analyse des sentiments, un classificateur linéaire associe un coefficient au nombre de mots dans la phrase. Dans ce module, vous apprendrez à maîtriser ce type de représentation. Vous vous concentrerez sur un type de classificateur linéaire particulièrement utile, appelé régression logistique, qui, en plus de vous permettre de prédire une classe, fournit une probabilité associée à la prédiction. Ces probabilités sont extrêmement utiles, car elles fournissent un degré de confiance dans les prédictions. Dans ce module, vous serez également en mesure de construire des caractéristiques à partir d'entrées catégorielles et d'aborder des problèmes de classification avec plus de deux classes (problèmes multi-classes). Vous examinerez les résultats de ces techniques dans le cadre d'une tâche réelle d'analyse des sentiments à l'égard d'un produit.

Une fois familiarisé avec les classificateurs linéaires et la régression logistique, vous pouvez maintenant vous plonger dans l'écriture de votre premier algorithme d'apprentissage pour la classification. En particulier, vous utiliserez l'ascension de gradient pour apprendre les coefficients de votre classificateur à partir des données. Vous devrez d'abord définir la métrique de qualité pour ces tâches à l'aide d'une approche appelée estimation du maximum de vraisemblance (MLE). Vous vous familiariserez également avec une technique simple de sélection de la taille du pas pour la montée en gradient. Une partie optionnelle et avancée de ce module couvrira la dérivation du gradient pour la régression logistique. Vous implémenterez votre propre algorithme d'apprentissage pour la régression logistique à partir de zéro et l'utiliserez pour apprendre un classificateur d'analyse de sentiments.

Comme nous l'avons vu dans le cours sur la régression, l'ajustement excessif est peut-être le défi le plus important auquel vous serez confronté lorsque vous appliquerez des approches d'apprentissage automatique dans la pratique. Ce défi peut être particulièrement important pour la régression logistique, comme vous le découvrirez dans ce module, car nous risquons non seulement d'obtenir une frontière de décision trop complexe, mais votre classificateur peut également devenir trop confiant dans les probabilités qu'il prédit. Dans ce module, vous étudierez en détail le surajustement dans la classification et obtiendrez de larges aperçus pratiques à partir de quelques visualisations intéressantes des résultats des classificateurs. Vous ajouterez ensuite un terme de régularisation à votre optimisation afin d'atténuer l'overfitting. Vous étudierez à la fois la régularisation L2 pour pénaliser les grandes valeurs des coefficients, et la régularisation L1 pour obtenir des coefficients plus espacés. Enfin, vous modifierez votre algorithme d'ascension du gradient pour apprendre des classificateurs de régression logistique régularisés. Vous implémenterez votre propre classificateur de régression logistique régularisé à partir de zéro et étudierez l'impact de la pénalisation L2 sur des données réelles d'analyse de sentiments.

Avec les classificateurs linéaires, les arbres de décision font partie des techniques de classification les plus utilisées dans le monde réel. Cette méthode est extrêmement intuitive, simple à mettre en œuvre et fournit des prédictions interprétables. Dans ce module, vous vous familiariserez avec la représentation de base des arbres de décision. Vous concevrez ensuite un algorithme simple et récursif pour apprendre les arbres de décision à partir de données. Enfin, vous étendrez cette approche pour traiter les entrées continues, une exigence fondamentale pour les problèmes pratiques. Dans ce module, vous étudierez un tout nouveau cas d'étude dans le secteur financier : la prédiction du risque associé à un prêt bancaire. Vous mettrez en œuvre votre propre algorithme d'apprentissage par arbre de décision sur des données de prêt réelles.

Parmi toutes les techniques d'apprentissage automatique, les arbres de décision sont parmi les plus susceptibles d'être surajoutés. Aucune mise en œuvre pratique n'est possible sans inclure des approches qui atténuent ce problème. Dans ce module, à l'aide de diverses visualisations et investigations, vous chercherez à comprendre pourquoi les arbres de décision souffrent d'importants problèmes d'overfitting. En utilisant le principe du rasoir d'Occam, vous atténuerez l'overfitting en apprenant des arbres plus simples. Dans un premier temps, vous concevrez des algorithmes qui arrêtent le processus d'apprentissage avant que les arbres de décision ne deviennent trop complexes. Dans un segment facultatif, vous concevrez une approche très pratique qui apprend un arbre trop complexe, puis le simplifie par élagage. Votre mise en œuvre étudiera l'effet de ces techniques sur l'atténuation de l'overfitting sur notre ensemble de données de prêt du monde réel.

Les problèmes d'apprentissage automatique du monde réel sont truffés de données manquantes. En d'autres termes, il arrive très souvent que certaines entrées ne soient pas observées pour tous les points de données. Ce défi est très important, il se présente dans la plupart des cas et doit être traité avec soin pour obtenir de bonnes performances. Or, cette question est rarement abordée dans les cours d'apprentissage automatique. Dans ce module, vous vous attaquerez de front au problème des données manquantes. Vous commencerez par les deux techniques les plus élémentaires pour convertir un ensemble de données manquantes en un ensemble de données propres, à savoir le saut des valeurs manquantes et la saisie des valeurs manquantes. Dans une section avancée, vous concevrez également une modification de l'algorithme d'apprentissage par arbre de décision qui intègre les décisions relatives aux données manquantes dans le modèle. Vous explorerez également ces techniques dans votre mise en œuvre de données réelles.

L'une des questions théoriques les plus passionnantes qui ont été posées au sujet de l'apprentissage automatique est de savoir si des classificateurs simples peuvent être combinés en un ensemble très précis. Cette question a conduit au développement du boosting, l'une des techniques les plus importantes et les plus pratiques de l'apprentissage automatique aujourd'hui. Cette approche simple peut augmenter la précision de n'importe quel classificateur et est largement utilisée dans la pratique, par exemple par plus de la moitié des équipes qui gagnent les compétitions d'apprentissage automatique Kaggle. Dans ce module, vous définirez d'abord le classificateur d'ensemble, dans lequel plusieurs modèles votent pour la meilleure prédiction. Vous explorerez ensuite un algorithme de boosting appelé AdaBoost, qui fournit une excellente approche pour booster les classificateurs. Grâce à des visualisations, vous vous familiariserez avec de nombreux aspects pratiques de cette technique. Vous créerez votre propre implémentation d'AdaBoost, à partir de zéro, et l'utiliserez pour améliorer les performances de votre prédicteur de risque de prêt sur des données réelles.

Dans de nombreux contextes réels, la précision ou l'erreur ne sont pas les meilleures mesures de qualité pour la classification. Vous explorerez une étude de cas qui met en évidence cette question : l'utilisation de l'analyse des sentiments pour afficher les critiques positives sur le site web d'un restaurant. Au lieu de la précision, vous définirez deux mesures : la précision et le rappel, qui sont largement utilisées dans les applications réelles pour mesurer la qualité des classificateurs. Vous explorerez comment les probabilités produites par votre classificateur peuvent être utilisées pour arbitrer entre la précision et le rappel, et vous plongerez dans ce spectre, en utilisant les courbes de précision-rappel. Dans votre mise en œuvre pratique, vous calculerez ces mesures avec votre classificateur appris sur des données réelles d'analyse de sentiments.

Avec l'avènement de l'internet, la croissance des médias sociaux et l'installation de capteurs dans le monde, l'ampleur des données que nos algorithmes d'apprentissage automatique doivent traiter s'est considérablement accrue au cours de la dernière décennie. Cet effet est parfois appelé "Big Data". Nos algorithmes d'apprentissage doivent donc s'adapter à des ensembles de données de plus en plus importants. Dans ce module, vous développerez une petite modification de l'ascension de gradient appelée gradient stochastique, qui permet d'accélérer considérablement le temps d'exécution de nos algorithmes. Cette simple modification peut améliorer considérablement la mise à l'échelle, mais rend l'algorithme moins stable et plus difficile à utiliser en pratique. Dans ce module, vous étudierez les techniques pratiques nécessaires pour rendre le gradient stochastique viable et obtenir ainsi des algorithmes d'apprentissage qui s'adaptent à d'énormes ensembles de données. Vous aborderez également un nouveau type de problème d'apprentissage automatique, l'apprentissage en ligne, où les données affluent au fil du temps et où nous devons apprendre les coefficients au fur et à mesure que les données arrivent. Cette tâche peut également être résolue à l'aide du gradient stochastique. Vous implémenterez votre propre algorithme de montée de gradient stochastique pour la régression logistique et l'évaluerez sur des données d'analyse de sentiments.