Cours de Deep Learning avancé en vision par ordinateur

Leçon 1 • Fonctions de perte et optimisation

Examine l’entropie croisée, l’erreur quadratique moyenne et les pertes personnalisées en parallèle avec SGD, Adam et les stratégies de taux d’apprentissage. Permet directement un entraînement efficace des modèles dans les chapitres suivants.

Leçon 2 • Protocoles d’entraînement, de validation et de test

Définit les divisions entraînement/validation/test, le diagnostic de surapprentissage et les bases de la régularisation. Établit des habitudes d’évaluation rigoureuses utilisées tout au long du cours.

Leçon 3 • Pipelines de données pour les tâches d’image

Enseigne le chargement efficace des images, le groupement en lots, la normalisation et les pipelines d’augmentation. Assure que les étudiants peuvent alimenter correctement les données à tout modèle de vision.

Leçon 4 • Notions essentielles d’algèbre linéaire et de calcul différentiel

Couvre les tenseurs, les opérations matricielles, les gradients et la règle de dérivation en chaîne appliqués aux réseaux neuronaux. Fournit le socle mathématique pour tous les concepts ultérieurs d’entraînement de modèles.

Leçon 1 • Mécanismes de l’opération de convolution

Explique les noyaux, le pas, le remplissage et les champs récepteurs avec une intuition spatiale. Ancre les étudiants dans l’opération fondamentale qui définit tous les modèles de vision basés sur les CNN.

Leçon 2 • Normalisation par lots et régularisation

Enseigne la normalisation par lots, la normalisation de couche et le placement de l’abandon dans les blocs CNN. Permet un entraînement stable et rapide des réseaux profonds présentés dans les chapitres suivants.

Leçon 3 • Architectures CNN classiques et modernes

Passe en revue AlexNet jusqu’à EfficientNet, en mettant en évidence les choix de conception et les gains de rendement. Fournit le vocabulaire architectural utilisé dans l’apprentissage par transfert et la conception personnalisée.

Leçon 4 • Analyse du regroupement et des cartes de caractéristiques

Couvre le regroupement maximal, le regroupement moyen et le regroupement global pour le sous-échantillonnage spatial. Relie la réduction des cartes de caractéristiques à l’invariance par translation et à l’efficacité du modèle.

Leçon 1 • Écosystèmes de modèles pré-entraînés

Passe en revue les répertoires de modèles, les poids pré-entraînés et les ensembles de données de référence utilisés dans l’apprentissage par transfert. Oriente les étudiants vers les ressources disponibles avant d’appliquer les techniques de réglage fin.

Leçon 2 • Extraction de caractéristiques vs réglage fin complet

Met en contraste l’extraction de caractéristiques par backbone gelé avec les approches de réglage fin de bout en bout. Guide les étudiants dans le choix de la bonne stratégie en fonction de la taille et de la similarité de l’ensemble de données.

Leçon 3 • Notions fondamentales de l’adaptation de domaine

Couvre le décalage de covariable, la mesure de l’écart de domaine et les stratégies d’adaptation pour les modèles de vision. Étend l’apprentissage par transfert aux scénarios où les domaines source et cible diffèrent considérablement.

Leçon 4 • Évaluation des résultats de l’apprentissage par transfert

Définit les métriques pour comparer l’entraînement par transfert vs l’entraînement de novo et diagnostiquer le transfert négatif. Ferme le flux de travail de réglage fin avec une évaluation rigoureuse du rendement.

Leçon 1 • Détecteurs à deux étapes

Couvre en détail les réseaux de propositions de région R-CNN, Fast R-CNN et Faster R-CNN. Fournit la base historique et technique pour comprendre les pipelines de détection modernes.

Leçon 2 • Détecteurs monophases et sans ancre

Examine SSD, les variantes YOLO, FCOS et CenterNet pour la détection en temps réel. Met en contraste les compromis vitesse-précision avec les approches à deux étapes pour les décisions de déploiement.

Leçon 3 • Métriques d’évaluation de la détection

Enseigne la précision moyenne, les courbes précision-rappel et les protocoles d’évaluation COCO. Permet un étalonnage rigoureux et la comparaison du rendement des modèles de détection.

Leçon 4 • Formulation du problème de détection

Définit la régression de la boîte englobante, les têtes de classification et la perte multitâche pour la détection. Établit le cadre conceptuel avant d’introduire les architectures de détection spécifiques.

Leçon 1 • Préparation d’ensemble de données de segmentation

Aborde les flux de travail d’annotation de masque, la supervision faible et les stratégies d’étiquetage semi-supervisées. Réduit le coût d’annotation tout en maintenant la qualité du modèle pour les projets de segmentation concrets.

Leçon 2 • Notions fondamentales de la segmentation sémantique

Présente les réseaux entièrement convolutionnels, la conception encodeur-décodeur et les connexions de saut. Établit le paradigme de prédiction dense qui sous-tend toutes les architectures de segmentation.

Leçon 3 • Méthodes de segmentation par instance

Enseigne Mask R-CNN, SOLO et CondInst pour prédire des masques binaires par instance. Fait le pont entre les connaissances en détection d’objets et la différenciation des instances au niveau du pixel.

Leçon 4 • Fonctions de perte et métriques de segmentation

Couvre la perte Dice, la perte focale et l’intersection moyenne sur l’union pour l’entraînement et l’évaluation des modèles de segmentation. Fournit les outils quantitatifs nécessaires pour optimiser et comparer les sorties de prédiction dense.

Leçon 1 • Réglage fin des transformateurs pour les tâches de vision

Couvre l’insertion de couches d’adaptation, le réglage par indications visuelles et LoRA pour le réglage fin efficace en paramètres des transformateurs. Réduit le coût de calcul tout en adaptant les grands transformateurs de vision pré-entraînés à des tâches personnalisées.

Leçon 2 • Visualisation de l’attention et interprétabilité

Enseigne l’extraction de cartes d’attention, le déploiement et l’attribution par gradient pour les transformateurs. Permet le débogage de modèles et la communication avec les parties prenantes grâce à des explications visuelles.

Leçon 3 • Auto-attention et notions de base des transformateurs

Explique l’attention requête-clé-valeur, l’attention multi-têtes et les encodages positionnels pour les séquences. Fournit la base théorique avant d’appliquer les transformateurs aux données d’image.

Leçon 4 • Architecture du transformateur de vision

Couvre l’intégration de patchs, les jetons de classe et les exigences d’entraînement de ViT à grande échelle. Relie les concepts de transformateur NLP à la classification d’images par tokenisation basée sur les patchs.

Leçon 1 • Modèles de diffusion pour la synthèse d’images

Enseigne le processus de bruitage avant, l’appariement de score par débruitage et l’échantillonnage DDPM pour la génération d’images. Positionne les modèles de diffusion comme l’état actuel de l’art en synthèse haute-fidélité.

Leçon 2 • Autoencodeurs variationnels pour les images

Présente l’objectif VAE, l’astuce de reparamétrisation et la structure de l’espace latent pour les images. Établit la modélisation générative probabiliste avant de passer aux méthodes antagonistes et de diffusion.

Leçon 3 • Notions fondamentales des réseaux antagonistes génératifs

Couvre l’objectif minimax, la conception du discriminateur et les problèmes d’instabilité d’entraînement dans les GAN. Fournit la base d’entraînement antagoniste pour la synthèse d’images et le transfert de domaine.

Leçon 4 • Modèles génératifs comme augmentation de données

Couvre la génération de données synthétiques, l’augmentation par GAN et le filtrage qualité pour les tâches en aval. Applique directement les techniques génératives pour améliorer le rendement des modèles discriminatifs.

Leçon 1 • Distillation de connaissances

Présente les cadres enseignant-étudiant, les cibles douces et la distillation au niveau des caractéristiques pour les modèles de vision. Transfère la précision des grands modèles vers des réseaux étudiants compacts pour un déploiement efficace.

Leçon 2 • Exportation de modèle et optimisation d’exécution

Couvre l’exportation ONNX, l’optimisation TensorRT et la compilation spécifique au matériel pour l’inférence. Fait le pont entre l’entraînement de modèles de recherche et le service en production sur diverses cibles matérielles.

Leçon 3 • Techniques de compression de modèle

Enseigne l’élagage de poids, l’élagage structuré et la factorisation de bas rang pour réduire la taille du modèle. Permet le déploiement sur des dispositifs à ressources limitées sans perte significative de précision.

Leçon 4 • Service, surveillance et cycle de vie du modèle

Enseigne le service REST et gRPC, les tests A/B et la surveillance de la dérive des données pour les modèles de vision déployés. Complète le pipeline de production avec des pratiques opérationnelles exemplaires pour la fiabilité à long terme.