Cours de théorie de l'information

Leçon 1 • Révision des probabilités pour la théorie de l'information

Rafraîchit les concepts de probabilité essentiels pour dériver les mesures d'information. Établit un lien entre les variables aléatoires, les distributions et la quantification de l'incertitude.

Leçon 2 • Surprise et auto-information

Définit l'auto-information comme la surprise d'un résultat unique. Motive la mesure logarithmique et ses propriétés intuitives.

Leçon 3 • Qu'est-ce que la théorie de l'information

Retrace les origines de la théorie de l'information, du génie des communications à la science des données moderne. Établit pourquoi la quantification de l'information est importante dans toutes les disciplines.

Leçon 4 • Fondements axiomatiques de l'entropie

Présente les axiomes de Shannon qui caractérisent l'entropie de manière unique. Renforce pourquoi l'entropie est la mesure correcte de l'incertitude.

Leçon 1 • Divergence KL et entropie relative

Mesure le coût de l'hypothèse d'une distribution erronée. Les étudiants appliquent la divergence KL à la comparaison de modèles et aux tests d'hypothèses.

Leçon 2 • Diagrammes d'information et relations

Visualise les relations entre l'entropie, l'information mutuelle et la divergence à l'aide de diagrammes de type Venn. Consolide toutes les mesures en un cadre unifié.

Leçon 3 • Entropie croisée et ses applications

Définit l'entropie croisée comme la longueur moyenne du code sous un modèle inadapté. Établit un lien entre l'entropie croisée, la divergence KL et les fonctions de perte en apprentissage automatique.

Leçon 4 • Entropie conjointe et conditionnelle

Définit l'entropie pour des paires de variables et l'incertitude résiduelle étant donné une information auxiliaire. Construit la règle de dérivation en chaîne pour l'entropie.

Leçon 1 • Codes et propriétés des codes

Introduit les codes de symboles, les codes uniquement décodables et les codes à préfixe libre. Établit l'inégalité de Kraft comme condition nécessaire à l'efficacité.

Leçon 2 • Codage par dictionnaire et codage universel

Couvre les algorithmes de la famille LZ qui s'adaptent aux statistiques de source inconnues. Établit un lien entre le codage universel et le concept de taux d'entropie pour les sources stationnaires.

Leçon 3 • Codage arithmétique

Code les messages entiers sous forme d'intervalles pour s'approcher plus près de l'entropie que le codage de Huffman. Couvre le codage, le décodage et les problèmes de précision.

Leçon 4 • Théorème du codage de source de Shannon

Démontre que l'entropie est la limite fondamentale de la compression sans perte. Les étudiants interprètent l'atteignabilité et la réciproque du théorème.

Leçon 1 • Méthodes de calcul de la capacité d'un canal

Applique l'algorithme de Blahut-Arimoto pour calculer la capacité numériquement. Les étudiants itèrent l'algorithme et vérifient la convergence sur des exemples de canaux.

Leçon 2 • Canaux gaussiens et largeur de bande

Étend l'analyse de la capacité aux canaux à bruit blanc gaussien additif. Dérive la formule de Shannon-Hartley reliant la largeur de bande, la puissance et la capacité.

Leçon 3 • Canaux discrets sans mémoire

Définit le canal discret sans mémoire via des matrices de probabilité de transition. Les étudiants calculent les distributions de sortie et identifient la symétrie du canal.

Leçon 4 • Théorème du codage de canal de Shannon

Énonce qu'une communication fiable est possible à tout débit inférieur à la capacité. Couvre l'atteignabilité via le codage aléatoire et l'argument de la réciproque.

Leçon 1 • Codes convolutifs et décodage de Viterbi

Code les flux à l'aide de circuits à registre à décalage et décode avec l'algorithme de Viterbi. Les étudiants parcourent les diagrammes en treillis pour trouver les chemins à vraisemblance maximale.

Leçon 2 • Codes cycliques et codes de Reed-Solomon

Exploite une structure algébrique pour un codage efficace et la correction d'erreurs en rafale. Couvre la représentation polynomiale et les applications de Reed-Solomon.

Leçon 3 • Codes modernes : Turbo et LDPC

Introduit les codes approchant la capacité et le décodage itératif par propagation de croyance. Établit un lien entre la performance des codes modernes et les limites de Shannon.

Leçon 4 • Notions de base sur la détection et la correction d'erreurs

Introduit la distance de Hamming, la détection d'erreurs et les capacités de correction. Établit un lien entre les paramètres du code et le modèle de bruit du canal.

Leçon 1 • Fonction taux-distorsion

Définit la fonction taux-distorsion comme le débit minimal pour un niveau de distorsion donné. Les étudiants la dérivent pour des sources gaussiennes et binaires.

Leçon 2 • Théorie de la quantification

Applique les principes taux-distorsion à la conception de quantification scalaire et vectorielle. Les étudiants analysent le bruit de quantification et les approximations à haute résolution.

Leçon 3 • Normes pratiques de compression avec perte

Établit un lien entre la théorie taux-distorsion et le codage par transformée utilisé dans la compression audio et image. Analyse comment les normes se rapprochent des limites théoriques.

Leçon 4 • Théorème taux-distorsion de Shannon

Démontre que tout débit supérieur à la fonction taux-distorsion est atteignable. Couvre la réciproque montrant que les débits inférieurs à la fonction sont impossibles.

Leçon 1 • Information mutuelle dans la sélection de caractéristiques

Utilise l'information mutuelle pour classer et sélectionner les caractéristiques informatives pour la classification. Les étudiants appliquent le gain d'information et le comparent aux méthodes basées sur la corrélation.

Leçon 2 • Inférence variationnelle et théorie de l'information

Présente l'inférence variationnelle comme une minimisation de la divergence KL. Les étudiants établissent un lien entre la borne inférieure de la preuve et le taux-distorsion et l'information mutuelle.

Leçon 3 • Principe de la longueur de description minimale

Présente la sélection de modèles comme un problème de compression utilisant le principe MDL. Établit un lien entre le MDL, la comparaison de modèles bayésienne et le rasoir d'Occam.

Leçon 4 • Tests d'hypothèses et divergence

Établit un lien entre la divergence KL et les exposants d'erreur dans les tests d'hypothèses binaires. Les étudiants dérivent le lemme de Chernoff-Stein et interprètent sa signification opérationnelle.

Leçon 1 • Sécurité informationnelle

Définit le secret parfait et le modèle du canal d'écoute clandestine. Les étudiants calculent la capacité de secret et comparent la sécurité informationnelle à la sécurité calculatoire.

Leçon 2 • Théorie de l'information en neurosciences

Applique l'entropie et l'information mutuelle au codage neuronal et aux systèmes sensoriels. Les étudiants analysent des données de trains de potentiels d'action à l'aide de métriques informationnelles.

Leçon 3 • Frontières émergentes en théorie de l'information

Passe en revue les domaines de recherche actifs, y compris le calcul distribué codé et la communication sémantique. Les étudiants identifient des problèmes ouverts et des orientations de recherche.

Leçon 4 • Théorie de l'information des réseaux

Étend les résultats de canal unique aux réseaux multi-utilisateurs, y compris les canaux de diffusion et à accès multiple. Les étudiants calculent les régions de capacité pour les cas à deux utilisateurs.