Formation Deep Learning

Leçon 1 • Le Perceptron et les Fonctions d'Activation

Présente le modèle à neurone unique et les fonctions d'activation non linéaires qui permettent des représentations complexes. Relie l'inspiration biologique à la formulation mathématique.

Leçon 2 • Architecture du Réseau de Neurones Feedforward

Explique comment les couches de neurones composent un réseau feedforward et comment l'information circule vers l'avant. Fournit le vocabulaire structurel pour toutes les architectures ultérieures.

Leçon 3 • Fonctions de Perte et Bases de l'Optimisation

Définit les fonctions de perte pour la régression et la classification et introduit la descente de gradient. Relie l'objectif d'entraînement aux mises à jour des paramètres.

Leçon 4 • Mathématiques pour l'Apprentissage Profond

Couvre les vecteurs, les matrices, les dérivées et la règle de chaîne appliquées aux calculs neuronaux. Établit le langage mathématique utilisé tout au long du cours.

Leçon 1 • Rétropropagation Approfondie

Dérive l'algorithme de rétropropagation à partir de la règle de chaîne et trace les gradients à travers chaque couche. Fournit la compréhension mécanistique nécessaire pour déboguer les problèmes d'entraînement.

Leçon 2 • Évaluation et Diagnostic des Modèles

Couvre les divisions entraînement/validation/test, les matrices de confusion et les courbes d'apprentissage pour le diagnostic des modèles. Permet aux étudiants d'identifier le sous-apprentissage, le surapprentissage et les fuites de données.

Leçon 3 • Techniques de Régularisation

Introduit les pénalités de poids L1/L2, le dropout et l'augmentation de données pour réduire le surapprentissage. Relie chaque technique au compromis biais-variance.

Leçon 4 • Réglage des Hyperparamètres

Enseigne les stratégies de recherche systématique pour le taux d'apprentissage, la taille de lot et les choix d'architecture. Relie les décisions de réglage aux performances du modèle sur les données de validation.

Leçon 1 • Techniques de Segmentation d'Images

Couvre la segmentation sémantique et d'instance à l'aide d'architectures encodeur-décodeur telles que U-Net. Étend la détection d'objets à la compréhension au niveau du pixel.

Leçon 2 • Fondamentaux de la Détection d'Objets

Introduit les boîtes d'ancrage, les propositions de régions et les détecteurs à un seul passage pour localiser les objets dans les images. Relie les compétences de classification aux tâches de prédiction spatiale.

Leçon 3 • Apprentissage par Transfert et Ajustement Fin

Démontre comment les poids pré-entraînés d'ImageNet accélèrent l'entraînement sur de petits ensembles de données. Couvre les stratégies de gel de couches et les techniques d'adaptation de domaine.

Leçon 4 • Opérations de Convolution et de Pooling

Explique l'opération de convolution, l'apprentissage des filtres et le pooling spatial pour l'extraction de caractéristiques. Établit les éléments de base de toutes les architectures CNN.

Leçon 1 • Unités Récurrentes à Portes

Présente la GRU comme une alternative simplifiée à la LSTM avec moins de paramètres et des performances comparables. Guide les étudiants dans le choix entre LSTM et GRU pour des tâches spécifiques.

Leçon 2 • Fondamentaux des Réseaux de Neurones Récurrents

Introduit le graphe de calcul récurrent, l'état caché et la rétropropagation à travers le temps. Établit pourquoi le contexte séquentiel nécessite une architecture différente des réseaux feedforward.

Leçon 3 • Modèles Séquence-à-Séquence

Construit des architectures encodeur-décodeur pour des tâches telles que la traduction automatique et le résumé de texte. Introduit l'attention comme solution au problème du goulot d'étranglement informationnel.

Leçon 4 • Réseaux à Mémoire Court et Long Terme

Explique les portes LSTM — entrée, oubli et sortie — et comment elles préservent les dépendances à long terme. Relie les mécaniques des portes aux améliorations pratiques par rapport aux RNN classiques.

Leçon 1 • Attention Multi-Têtes et Codage Positionnel

Explique comment plusieurs têtes d'attention capturent des relations diverses et comment les codages positionnels injectent l'ordre de la séquence. Fournit la représentation d'entrée complète pour les couches Transformer.

Leçon 2 • Mécanisme d'Auto-Attention

Dérive l'attention softmax pondérée par produit scalaire à partir des requêtes, clés et valeurs et explique son rôle computationnel. Relie l'auto-attention aux limitations qu'elle surmonte dans les modèles récurrents.

Leçon 3 • Modèles de Langue Pré-entraînés

Couvre les objectifs de pré-entraînement de BERT, GPT et T5 et leurs protocoles d'ajustement fin pour les tâches en aval. Relie l'échelle du pré-entraînement à l'efficacité de l'apprentissage par transfert.

Leçon 4 • Transformers de Vision et Utilisation Trans-Domaine

Introduit le schéma de tokenisation par patch du Vision Transformer et le compare aux approches basées sur CNN. Démontre comment les principes du Transformer se généralisent au-delà du texte.

Leçon 1 • Autoencodeurs et Représentations Latentes

Introduit les autoencodeurs en tant que modèles de compression non supervisée et explique le concept d'espace latent. Fournit la base pour les extensions variationnelles et génératives.

Leçon 2 • Autoencodeurs Variationnels

Dérive l'objectif du VAE combinant la perte de reconstruction et la divergence KL pour la génération probabiliste. Permet aux étudiants d'échantillonner de nouveaux points de données à partir d'une distribution apprise.

Leçon 3 • Modèles de Diffusion

Couvre le processus de bruit direct et le réseau de débruitage inverse qui sous-tendent les modèles de diffusion modernes. Relie la diffusion à la qualité de synthèse d'image de pointe.

Leçon 4 • Évaluation des Modèles Génératifs

Introduit les métriques FID, IS et de précision-rappel pour quantifier la qualité des modèles génétatifs. Permet une comparaison objective entre les sorties des VAE, GAN et modèles de diffusion.

Leçon 1 • Surveillance des Modèles en Production

Couvre la détection de dérive des données, la journalisation des prédictions et les alertes pour maintenir la fiabilité du modèle dans le temps. Permet une identification proactive de la dégradation des performances.

Leçon 2 • Exportation et Sérialisation des Modèles

Explique les formats ONNX, TorchScript et SavedModel pour un déploiement indépendant du framework. Garantit que les modèles sont portables entre les environnements de service.

Leçon 3 • Déploiement sur Périphériques et Mobile

Introduit TensorFlow Lite et ONNX Runtime pour déployer des modèles sur des appareils aux ressources limitées. Aborde les contraintes uniques de latence et de mémoire de l'inférence sur périphérique.

Leçon 4 • Service de Modèles avec des API

Construit des points de terminaison d'inférence REST et gRPC à l'aide de frameworks de service et de conteneurisation. Relie les artefacts de modèle aux services de prédiction destinés aux clients.

Leçon 1 • Apprentissage Auto-Supervisé et Contrastif

Couvre les frameworks SimCLR, MoCo et BYOL pour apprendre des représentations sans données étiquetées. Relie les objectifs contrastifs à l'efficacité de l'ajustement fin en aval.

Leçon 2 • Entraînement Distribué à Grande Échelle

Couvre le parallélisme de données, le parallélisme de modèle et l'accumulation de gradient pour l'entraînement à grande échelle. Permet aux étudiants d'utiliser efficacement les clusters multi-GPU et multi-nœuds.

Leçon 3 • Réseaux de Neurones Graphiques

Introduit la convolution graphique, le passage de messages et le pooling pour l'apprentissage sur des données non euclidiennes. Étend l'apprentissage profond aux domaines moléculaire, social et des graphes de connaissances.

Leçon 4 • Lecture et Implémentation d'Articles de Recherche

Enseigne une approche structurée pour analyser, critiquer et reproduire la recherche en apprentissage profond. Développe la compétence de traduire les contributions d'un article en code fonctionnel.