Formation Deep Learning Appliqué

Leçon 1 • Le Perceptron et les Fonctions d'Activation

Présente le modèle à un seul neurone et les fonctions d'activation non linéaires qui permettent des représentations complexes. Relie l'inspiration biologique à la formulation mathématique.

Leçon 2 • Architecture du Réseau de Neurones à Propagation Avant

Explique comment les couches de neurones composent un réseau à propagation avant et comment l'information circule vers l'avant. Fournit le vocabulaire structurel pour toutes les architectures ultérieures.

Leçon 3 • Fonctions de Perte et Bases de l'Optimisation

Définit les fonctions de perte pour la régression et la classification et introduit la descente de gradient. Relie l'objectif d'entraînement aux mises à jour des paramètres.

Leçon 4 • Mathématiques pour l'Apprentissage Profond

Couvre les vecteurs, matrices, dérivées et la règle de chaîne appliquées aux calculs neuronaux. Établit le langage mathématique utilisé tout au long du cours.

Leçon 1 • Rétropropagation en Profondeur

Dérive l'algorithme de rétropropagation à partir de la règle de chaîne et trace les gradients à travers chaque couche. Fournit la compréhension mécaniste nécessaire pour déboguer les problèmes d'entraînement.

Leçon 2 • Évaluation et Diagnostic des Modèles

Couvre les divisions entraînement/validation/test, les matrices de confusion et les courbes d'apprentissage pour le diagnostic des modèles. Permet aux étudiants d'identifier le sous-apprentissage, le sur-apprentissage et les fuites de données.

Leçon 3 • Techniques de Régularisation

Présente les pénalités de poids L1/L2, l'abandon (dropout) et l'augmentation des données pour réduire le sur-apprentissage. Relie chaque technique au compromis biais-variance.

Leçon 4 • Réglage des Hyperparamètres

Enseigne des stratégies de recherche systématique pour le taux d'apprentissage, la taille des lots et les choix d'architecture. Relie les décisions de réglage à la performance du modèle sur les données de validation.

Leçon 1 • Techniques de Segmentation d'Images

Couvre la segmentation sémantique et d'instance en utilisant des architectures encodeur-décodeur telles que U-Net. Étend la détection d'objets à la compréhension au niveau du pixel.

Leçon 2 • Fondamentaux de la Détection d'Objets

Présente les boîtes d'ancrage, les propositions de régions et les détecteurs à une seule étape pour localiser des objets dans les images. Relie les compétences de classification aux tâches de prédiction spatiale.

Leçon 3 • Apprentissage par Transfert et Ajustement Fin

Démontre comment les poids préentraînés d'ImageNet accélèrent l'entraînement sur de petits ensembles de données. Couvre les stratégies de gel de couches et les techniques d'adaptation de domaine.

Leçon 4 • Opérations de Convolution et de Mise en Commun

Explique l'opération de convolution, l'apprentissage des filtres et la mise en commun spatiale pour l'extraction de caractéristiques. Établit les éléments constitutifs fondamentaux de toutes les architectures CNN.

Leçon 1 • Unités Récurrentes à Portes (GRU)

Présente la GRU comme une alternative simplifiée au LSTM avec moins de paramètres et des performances comparables. Guide les étudiants dans le choix entre LSTM et GRU pour des tâches spécifiques.

Leçon 2 • Fondamentaux du Réseau de Neurones Récurrent

Présente le graphe de calcul récurrent, l'état caché et la rétropropagation à travers le temps. Établit pourquoi le contexte séquentiel nécessite une architecture différente des réseaux à propagation avant.

Leçon 3 • Modèles Séquence-à-Séquence

Construit des architectures encodeur-décodeur pour des tâches telles que la traduction automatique et le résumé de texte. Présente l'attention comme une solution au problème du goulot d'étranglement informationnel.

Leçon 4 • Réseaux de Mémoire à Long et Court Terme (LSTM)

Explique les portes LSTM — d'entrée, d'oubli et de sortie — et comment elles préservent les dépendances à longue distance. Relie la mécanique des portes aux améliorations pratiques par rapport aux RNN classiques.

Leçon 1 • Attention Multi-Têtes et Encodage Positionnel

Explique comment plusieurs têtes d'attention capturent des relations diverses et comment les encodages positionnels injectent l'ordre de la séquence. Fournit la représentation d'entrée complète pour les couches du Transformeur.

Leçon 2 • Mécanisme d'Auto-Attention

Dérive l'attention par produit scalaire mis à l'échelle à partir des requêtes, clés et valeurs et explique son rôle computationnel. Relie l'auto-attention aux limitations qu'elle surmonte dans les modèles récurrents.

Leçon 3 • Modèles de Langage Préentraînés

Couvre les objectifs de préentraînement de BERT, GPT et T5 ainsi que leurs protocoles d'ajustement fin pour les tâches en aval. Relie l'échelle de préentraînement à l'efficacité de l'apprentissage par transfert.

Leçon 4 • Transformeurs de Vision et Utilisation Trans-Domaine

Présente le schéma d'encapsulation de patchs d'image du Transformeur de Vision et le compare aux approches basées sur les CNN. Démontre comment les principes du Transformeur se généralisent au-delà du texte.

Leçon 1 • Autoencodeurs et Représentations Latentes

Présente les autoencodeurs comme des modèles de compression non supervisés et explique le concept d'espace latent. Fournit la base pour les extensions variationnelles et génératives.

Leçon 2 • Autoencodeurs Variationnels

Dérive l'objectif VAE combinant la perte de reconstruction et la divergence KL pour la génération probabiliste. Permet aux étudiants d'échantillonner de nouveaux points de données à partir d'une distribution apprise.

Leçon 3 • Modèles de Diffusion

Couvre le processus de bruitage direct et le réseau de débruitage inverse qui sous-tendent les modèles de diffusion modernes. Relie la diffusion à la qualité de synthèse d'image de pointe.

Leçon 4 • Évaluation des Modèles Génératifs

Présente les métriques FID, IS et précision-rappel pour quantifier la qualité des modèles génératifs. Permet une comparaison objective entre les sorties des VAE, GAN et modèles de diffusion.

Leçon 1 • Surveillance des Modèles en Production

Couvre la détection de dérive des données, la journalisation des prédictions et les alertes pour maintenir la fiabilité du modèle dans le temps. Permet une identification proactive de la dégradation des performances.

Leçon 2 • Exportation et Sérialisation des Modèles

Explique les formats ONNX, TorchScript et SavedModel pour un déploiement indépendant du framework. Garantit que les modèles sont portables entre les environnements de service.

Leçon 3 • Déploiement sur Périphériques et Mobile

Présente TensorFlow Lite et ONNX Runtime pour déployer des modèles sur des appareils aux ressources limitées. Aborde les contraintes uniques de latence et de mémoire de l'inférence en périphérie.

Leçon 4 • Mise en Service des Modèles avec des API

Construit des points de terminaison d'inférence REST et gRPC en utilisant des frameworks de service et la conteneurisation. Relie les artefacts de modèle aux services de prédiction orientés client.

Leçon 1 • Apprentissage Auto-Supervisé et Contrastif

Couvre les frameworks SimCLR, MoCo et BYOL pour apprendre des représentations sans données étiquetées. Relie les objectifs contrastifs à l'efficacité de l'ajustement fin en aval.

Leçon 2 • Entraînement Distribué à Grande Échelle

Couvre le parallélisme des données, le parallélisme des modèles et l'accumulation de gradients pour l'entraînement à grande échelle. Permet aux étudiants d'utiliser efficacement des clusters multi-GPU et multi-nœuds.

Leçon 3 • Réseaux de Neurones Graphiques

Présente la convolution de graphes, le passage de messages et la mise en commun pour l'apprentissage sur des données non euclidiennes. Étend l'apprentissage profond aux domaines moléculaires, sociaux et des graphes de connaissances.

Leçon 4 • Lecture et Implémentation d'Articles de Recherche

Enseigne une approche structurée pour analyser, critiquer et reproduire la recherche en apprentissage profond. Développe la compétence de traduire les contributions d'un article en code fonctionnel.