Formation Deep Learning

Leçon 1 • Le perceptron et les fonctions d'activation

Présente le modèle à un seul neurone et les fonctions d'activation non linéaires qui permettent des représentations complexes. Relie l'inspiration biologique à la formulation mathématique.

Leçon 2 • Architecture du réseau de neurones feedforward

Explique comment des couches de neurones composent un réseau feedforward et comment l'information circule vers l'avant. Fournit le vocabulaire structurel pour toutes les architectures ultérieures.

Leçon 3 • Fonctions de perte et notions d'optimisation de base

Définit les fonctions de perte pour la régression et la classification, et introduit la descente de gradient. Relie l'objectif d'entraînement aux mises à jour des paramètres.

Leçon 4 • Mathématiques pour l'apprentissage profond

Couvre les vecteurs, les matrices, les dérivées et la règle de chaîne telles qu'appliquées aux calculs neuronaux. Établit le langage mathématique utilisé tout au long du cours.

Leçon 1 • La rétropropagation en profondeur

Dérive l'algorithme de rétropropagation à partir de la règle de chaîne et trace les gradients à travers chaque couche. Fournit la compréhension mécaniste nécessaire pour déboguer les problèmes d'entraînement.

Leçon 2 • Évaluation et diagnostic des modèles

Couvre les divisions en ensembles d'entraînement, de validation et de test, les matrices de confusion et les courbes d'apprentissage pour le diagnostic des modèles. Permet aux étudiants d'identifier le sous-apprentissage, le surapprentissage et la fuite de données.

Leçon 3 • Techniques de régularisation

Présente les pénalités de poids L1/L2, le dropout et l'augmentation de données pour réduire le surapprentissage. Relie chaque technique au compromis biais-variance.

Leçon 4 • Réglage des hyperparamètres

Enseigne les stratégies de recherche systématique pour le taux d'apprentissage, la taille de lot et les choix architecturaux. Relie les décisions de réglage à la performance du modèle sur les données de validation.

Leçon 1 • Techniques de segmentation d'image

Couvre la segmentation sémantique et d'instance à l'aide d'architectures encodeur-décodeur telles que U-Net. Étend la détection d'objets à la compréhension au niveau du pixel.

Leçon 2 • Fondamentaux de la détection d'objets

Présente les boîtes d'ancrage, les propositions de régions et les détecteurs à une seule étape pour localiser les objets dans les images. Relie les compétences de classification aux tâches de prédiction spatiale.

Leçon 3 • Apprentissage par transfert et réglage fin

Montre comment les poids pré-entraînés d'ImageNet accélèrent l'entraînement sur de petits ensembles de données. Couvre les stratégies de gel des couches et les techniques d'adaptation au domaine.

Leçon 4 • Opérations de convolution et de pooling

Explique l'opération de convolution, l'apprentissage des filtres et le pooling spatial pour l'extraction de caractéristiques. Établit les éléments de base de toutes les architectures CNN.

Leçon 1 • Unités récurrentes à portes

Présente la GRU comme une alternative simplifiée au LSTM, avec moins de paramètres et des performances comparables. Guide les étudiants dans le choix entre LSTM et GRU pour des tâches spécifiques.

Leçon 2 • Fondamentaux du réseau de neurones récurrents

Présente le graphe de calcul récurrent, l'état caché et la rétropropagation à travers le temps. Établit pourquoi le contexte séquentiel nécessite une architecture différente de celle des réseaux feedforward.

Leçon 3 • Modèles séquence-à-séquence

Construit des architectures encodeur-décodeur pour des tâches telles que la traduction automatique et le résumé de texte. Présente l'attention comme une solution au problème du goulot d'étranglement de l'information.

Leçon 4 • Réseaux à mémoire long court terme

Explique les portes LSTM — entrée, oubli et sortie — et comment elles préservent les dépendances à long terme. Relie la mécanique des portes aux améliorations pratiques par rapport aux RNN classiques.

Leçon 1 • Attention multi-têtes et encodage positionnel

Explique comment les multiples têtes d'attention capturent des relations diverses et comment les encodages positionnels injectent l'ordre de la séquence. Fournit la représentation d'entrée complète pour les couches du Transformer.

Leçon 2 • Mécanisme d'auto-attention

Dérive l'attention produit scalaire mise à l'échelle à partir des requêtes, clés et valeurs, et explique son rôle computationnel. Relie l'auto-attention aux limitations qu'elle surmonte dans les modèles récurrents.

Leçon 3 • Modèles de langue pré-entraînés

Couvre les objectifs de pré-entraînement de BERT, GPT et T5 ainsi que leurs protocoles de réglage fin pour les tâches en aval. Relie l'échelle du pré-entraînement à l'efficacité de l'apprentissage par transfert.

Leçon 4 • Vision Transformers et utilisation inter-domaines

Présente le schéma de patch embedding du Vision Transformer et le compare aux approches basées sur les CNN. Montre comment les principes du Transformer se généralisent au-delà du texte.

Leçon 1 • Autoencodeurs et représentations latentes

Présente les autoencodeurs comme des modèles de compression non supervisée et explique le concept d'espace latent. Fournit la base pour les extensions variationnelles et génératives.

Leçon 2 • Autoencodeurs variationnels

Dérive l'objectif du VAE combinant la perte de reconstruction et la divergence KL pour la génération probabiliste. Permet aux étudiants d'échantillonner de nouveaux points de données à partir d'une distribution apprise.

Leçon 3 • Modèles de diffusion

Couvre le processus de bruitage direct et le réseau de débruitage inverse qui sous-tendent les modèles de diffusion modernes. Relie la diffusion à la qualité de pointe de la synthèse d'images.

Leçon 4 • Évaluation des modèles génératifs

Présente les métriques FID, IS et précision-rappel pour quantifier la qualité des modèles génératifs. Permet une comparaison objective entre les sorties des VAE, GAN et modèles de diffusion.

Leçon 1 • Surveillance des modèles en production

Couvre la détection de dérive des données, la journalisation des prédictions et les alertes pour maintenir la fiabilité du modèle dans le temps. Permet une identification proactive de la dégradation des performances.

Leçon 2 • Exportation et sérialisation des modèles

Explique les formats ONNX, TorchScript et SavedModel pour un déploiement indépendant du framework. Garantit que les modèles sont portables entre les environnements de service.

Leçon 3 • Déploiement sur edge et mobile

Présente TensorFlow Lite et ONNX Runtime pour déployer des modèles sur des appareils aux ressources limitées. Aborde les contraintes spécifiques de latence et de mémoire de l'inférence sur edge.

Leçon 4 • Service de modèles avec API

Construit des points de terminaison d'inférence REST et gRPC à l'aide de frameworks de service et de la conteneurisation. Relie les artefacts de modèle aux services de prédiction orientés client.

Leçon 1 • Apprentissage auto-supervisé et contrastif

Couvre les frameworks SimCLR, MoCo et BYOL pour apprendre des représentations sans données étiquetées. Relie les objectifs contrastifs à l'efficacité du réglage fin en aval.

Leçon 2 • Entraînement distribué à grande échelle

Couvre le parallélisme de données, le parallélisme de modèle et l'accumulation de gradient pour l'entraînement à grande échelle. Permet aux étudiants d'utiliser efficacement des clusters multi-GPU et multi-nœuds.

Leçon 3 • Réseaux de neurones graphiques

Introduit la convolution sur graphe, le passage de messages et le pooling pour l'apprentissage sur des données non euclidiennes. Étend l'apprentissage profond aux domaines moléculaire, social et des graphes de connaissances.

Leçon 4 • Lecture et mise en œuvre d'articles de recherche

Enseigne une approche structurée pour analyser, critiquer et reproduire la recherche en apprentissage profond. Développe la compétence de traduire les contributions d'un article en code fonctionnel.