Cours de data mining

Leçon 1 • Qualité des données et défis

Examine le bruit, les valeurs manquantes, les valeurs aberrantes et la redondance comme obstacles à une exploration précise. Les étudiants apprennent à diagnostiquer les problèmes de qualité avant de commencer la modélisation.

Leçon 2 • Considérations éthiques et relatives à la vie privée

Aborde le consentement, les préjugés, l'équité et la divulgation responsable dans les projets d'exploration de données. Établit une lentille éthique appliquée tout au long du cours.

Leçon 3 • Types de données et attributs

Couvre les échelles nominale, ordinale, d'intervalle et de ratio, ainsi que les données structurées et non structurées. Le type d'attribut détermine les algorithmes applicables.

Leçon 4 • Qu'est-ce que l'exploration de données

Définit l'exploration de données, ses objectifs et sa position dans le processus plus large de découverte de connaissances. Ancre toutes les techniques subséquentes dans un cadre conceptuel unifié.

Leçon 1 • Techniques de nettoyage des données

Couvre les stratégies d'imputation, le lissage du bruit et la suppression des doublons. Des données propres sont le prérequis pour une découverte fiable de tendances dans les chapitres suivants.

Leçon 2 • Fondamentaux de l'ingénierie des caractéristiques

Enseigne la construction de nouvelles caractéristiques à partir d'attributs bruts pour exposer des tendances cachées. Des caractéristiques solides amplifient la performance de chaque algorithme d'exploration abordé plus tard.

Leçon 3 • Intégration et fusion de données

Explique l'appariement de schémas, la résolution d'entités et la résolution de conflits lors de la fusion de sources multiples. Des ensembles de données intégrés permettent des modèles plus riches et plus généralisables.

Leçon 4 • Méthodes de réduction de données

Présente la réduction de dimensionnalité, la réduction de numérosité et la compression des données. Des ensembles de données plus petits et représentatifs réduisent les calculs sans sacrifier les informations exploitables.

Leçon 1 • Visualisation des valeurs aberrantes et des anomalies

Utilise des méthodes visuelles pour faire apparaître les anomalies avant l'application des algorithmes de détection formels. Une détection visuelle précoce empêche les valeurs aberrantes de fausser les modèles ultérieurs.

Leçon 2 • Analyse univariée et bivariée

Examine les distributions à variable unique et les relations par paires à l'aide d'histogrammes, de diagrammes en boîtes et de nuages de points. Révèle les tendances marginales et conjointes dans les données.

Leçon 3 • Communication des résultats de l'analyse exploratoire des données

Enseigne la sélection de graphiques, l'annotation et la structure narrative pour présenter les résultats exploratoires. Une communication claire aligne les parties prenantes avant le début de l'investissement dans la modélisation.

Leçon 4 • Techniques de visualisation multivariée

Présente les coordonnées parallèles, les cartes thermiques et les graphiques à dimensionnalité réduite pour les données de grande dimension. Permet l'inspection simultanée de nombreuses variables.

Leçon 1 • Métriques d'évaluation des classificateurs

Couvre l'exactitude, la précision, le rappel, le F1, la courbe ROC-AUC et les matrices de confusion. Le choix de la métrique dépend du déséquilibre des classes et du coût de chaque type d'erreur.

Leçon 2 • Machines à vecteurs de support

Explique les hyperplans à marge maximale, les fonctions noyau et les machines à vecteurs de support à marge souple. Les machines à vecteurs de support excellent dans les espaces de grande dimension courants dans les données textuelles et génomiques.

Leçon 3 • Arbres de décision et induction de règles

Couvre les algorithmes ID3, C4.5 et CART, y compris les critères de division et l'élagage. Les arbres de décision fournissent des modèles interprétables adaptés aux parties prenantes de l'entreprise.

Leçon 4 • Concepts de classification et flux de travail

Définit l'apprentissage supervisé, les divisions entraînement/test et le compromis biais-variance. Établit l'état d'esprit d'évaluation utilisé dans tous les algorithmes de classification.

Leçon 1 • Méthodes de régression régularisée

Couvre la régression Ridge, Lasso et Elastic Net pour contrôler le surapprentissage et effectuer la sélection de caractéristiques. La régularisation est essentielle lorsque le nombre de caractéristiques dépasse le nombre d'observations.

Leçon 2 • Régression linéaire pour la prédiction

Passe en revue les moindres carrés ordinaires, les hypothèses et les diagrammes de diagnostic pour les modèles linéaires. La régression linéaire fournit une base de référence interprétable pour les tâches de prédiction numérique.

Leçon 3 • Évaluation du modèle de régression

Applique l'erreur absolue moyenne, l'erreur quadratique moyenne, le R-carré et l'analyse des résidus pour comparer les modèles de régression. Une évaluation appropriée empêche le déploiement de modèles qui échouent sur des données non vues.

Leçon 4 • Régression non linéaire et polynomiale

Étend les modèles linéaires avec des termes polynomiaux, des splines et des modèles additifs généralisés. Les méthodes non linéaires capturent les relations curvilignes manquées par les approches linéaires.

Leçon 1 • Validation et interprétation des regroupements

Applique le score de silhouette, l'indice de Davies-Bouldin et les connaissances du domaine pour évaluer la qualité des regroupements. La validation empêche une confiance excessive dans des regroupements arbitraires.

Leçon 2 • Regroupement hiérarchique

Explique les approches agglomératives et divisives avec des critères de liaison et des dendrogrammes. Les méthodes hiérarchiques révèlent une structure multi-échelle sans spécifier k à l'avance.

Leçon 3 • Méthodes de partitionnement

Couvre les algorithmes k-moyennes, k-médoïdes et k-modes avec des stratégies d'initialisation. Les méthodes de partitionnement passent bien à l'échelle et conviennent aux regroupements de grande taille et de forme globulaire.

Leçon 4 • Regroupement basé sur la densité

Présente DBSCAN et OPTICS pour découvrir des regroupements de forme arbitraire et des points de bruit. Les méthodes de densité gèrent les géométries irrégulières que k-moyennes ne peut pas capturer.

Leçon 1 • Algorithme Apriori

Explique la propriété Apriori, la génération de candidats et l'élagage pour une découverte efficace d'ensembles d'articles. Les étudiants implémentent Apriori sur des ensembles de données de transactions de vente au détail.

Leçon 2 • Algorithme FP-Growth

Présente la structure arborescente FP et la base de motifs conditionnels pour une exploration plus rapide sans génération de candidats. FP-Growth surpasse Apriori sur les ensembles de données denses.

Leçon 3 • Concepts d'ensembles d'articles fréquents

Définit le support, la confiance, le lift et la conviction comme mesures de qualité des règles. Ces métriques déterminent quels motifs sont statistiquement et pratiquement significatifs.

Leçon 4 • Applications de l'exploration d'association

Applique les règles d'association à l'analyse du panier d'achat, du flux de clics Web et de la cooccurrence médicale. Le contexte du domaine détermine quelles règles se traduisent en valeur d'affaires.

Leçon 1 • Surveillance et maintenance des modèles

Enseigne la détection de dérive, les déclencheurs de réentraînement et les tableaux de bord de performance pour les modèles déployés. Une surveillance continue empêche la dégradation silencieuse des modèles en production.

Leçon 2 • Méthodes d'ensemble et de méta-apprentissage

Couvre le boosting, le stacking et le blending pour combiner des apprenants faibles en prédicteurs forts. Les stratégies de méta-apprentissage maximisent la précision sur des références concurrentielles.

Leçon 3 • Déploiement et mise en service des modèles

Couvre la sérialisation, le service par API REST, la notation par lots et la conteneurisation pour les modèles de production. Le déploiement comble le fossé entre les notebooks expérimentaux et les systèmes en direct.

Leçon 4 • Détection des anomalies et des valeurs aberrantes

Applique des méthodes statistiques, de proximité et basées sur l'isolement pour détecter les événements rares. La détection d'anomalies sous-tend la détection des fraudes, la surveillance des pannes et la sécurité.