Cours de théorie de l'information

Leçon 1 • Révision des probabilités pour la théorie de l'information

Rafraîchit les concepts probabilistes essentiels nécessaires pour dériver les mesures d'information. Établit le lien entre variables aléatoires, distributions et quantification de l'incertitude.

Leçon 2 • Surprise et auto-information

Définit l'auto-information comme la surprise d'un seul résultat. Justifie la mesure logarithmique et ses propriétés intuitives.

Leçon 3 • Qu'est-ce que la théorie de l'information ?

Retrace les origines de la théorie de l'information, depuis le génie des communications jusqu'à la science des données moderne. Établit pourquoi la quantification de l'information est importante dans toutes les disciplines.

Leçon 4 • Fondements axiomatiques de l'entropie

Présente les axiomes de Shannon qui caractérisent l'entropie de manière unique. Renforce l'idée que l'entropie est la mesure correcte de l'incertitude.

Leçon 1 • Divergence KL et entropie relative

Mesure le coût de l'hypothèse d'une distribution incorrecte. Les étudiants appliquent la divergence KL à la comparaison de modèles et aux tests d'hypothèses.

Leçon 2 • Diagrammes d'information et relations

Visualise les relations entre l'entropie, l'information mutuelle et la divergence à l'aide de diagrammes de type Venn. Consolide toutes les mesures dans un cadre unifié.

Leçon 3 • Entropie croisée et ses applications

Définit l'entropie croisée comme la longueur moyenne du code sous un modèle inadapté. Établit le lien entre l'entropie croisée, la divergence KL et les fonctions de perte en apprentissage automatique.

Leçon 4 • Entropie conjointe et conditionnelle

Définit l'entropie pour des paires de variables et l'incertitude résiduelle compte tenu d'une information latérale. Construit la règle de dérivation en chaîne pour l'entropie.

Leçon 1 • Codes et propriétés des codes

Introduit les codes de symboles, les codes uniquement décodables et les codes sans préfixe. Établit l'inégalité de Kraft comme condition nécessaire d'efficacité.

Leçon 2 • Codage universel et par dictionnaire

Couvre les algorithmes de la famille LZ qui s'adaptent aux statistiques de source inconnues. Établit le lien entre le codage universel et le concept de taux d'entropie pour les sources stationnaires.

Leçon 3 • Codage arithmétique

Code les messages entiers sous forme d'intervalles pour se rapprocher plus étroitement de l'entropie que le codage de Huffman. Couvre le codage, le décodage et les problèmes de précision.

Leçon 4 • Théorème du codage de source de Shannon

Démontre que l'entropie est la limite fondamentale de la compression sans perte. Les étudiants interprètent l'accessibilité et la réciproque du théorème.

Leçon 1 • Méthodes de calcul de la capacité du canal

Applique l'algorithme de Blahut-Arimoto pour calculer la capacité numériquement. Les étudiants itèrent l'algorithme et vérifient la convergence sur des exemples de canaux.

Leçon 2 • Canaux gaussiens et bande passante

Étend l'analyse de la capacité aux canaux à bruit blanc gaussien additif. Dérive la formule de Shannon-Hartley reliant la bande passante, la puissance et la capacité.

Leçon 3 • Canaux discrets sans mémoire

Définit le canal discret sans mémoire via des matrices de probabilités de transition. Les étudiants calculent les distributions de sortie et identifient la symétrie du canal.

Leçon 4 • Théorème du codage de canal de Shannon

Énonce que la communication fiable est possible à tout débit inférieur à la capacité. Couvre l'accessibilité via le codage aléatoire et l'argument de la réciproque.

Leçon 1 • Codes convolutifs et décodage de Viterbi

Code des flux à l'aide de circuits à registre à décalage et décode avec l'algorithme de Viterbi. Les étudiants parcourent des diagrammes en treillis pour trouver les chemins de vraisemblance maximale.

Leçon 2 • Codes cycliques et codes de Reed-Solomon

Exploite la structure algébrique pour un codage efficace et la correction d'erreurs par paquets. Couvre la représentation polynomiale et les applications de Reed-Solomon.

Leçon 3 • Codes modernes : Turbo et LDPC

Introduit les codes approchant la capacité et le décodage itératif par propagation de croyances. Établit le lien entre les performances des codes modernes et les limites de Shannon.

Leçon 4 • Bases de la détection et de la correction d'erreurs

Introduit la distance de Hamming, la capacité de détection et de correction d'erreurs. Établit le lien entre les paramètres du code et le modèle de bruit du canal.

Leçon 1 • Fonction taux-distorsion

Définit la fonction taux-distorsion comme le débit minimal pour un niveau de distorsion donné. Les étudiants la dérivent pour des sources gaussiennes et binaires.

Leçon 2 • Théorie de la quantification

Applique les principes du taux-distorsion à la conception de quantification scalaire et vectorielle. Les étudiants analysent le bruit de quantification et les approximations haute résolution.

Leçon 3 • Normes pratiques de compression avec perte

Établit le lien entre la théorie taux-distorsion et le codage par transformée utilisé dans la compression audio et image. Analyse comment les normes se rapprochent des limites théoriques.

Leçon 4 • Théorème taux-distorsion de Shannon

Démontre que tout débit supérieur à la fonction taux-distorsion est accessible. Couvre la réciproque montrant que les débits inférieurs à la fonction sont impossibles.

Leçon 1 • Information mutuelle dans la sélection de caractéristiques

Utilise l'information mutuelle pour classer et sélectionner des caractéristiques informatives pour la classification. Les étudiants appliquent le gain d'information et le comparent aux méthodes basées sur la corrélation.

Leçon 2 • Inférence variationnelle et théorie de l'information

Présente l'inférence variationnelle comme une minimisation de la divergence KL. Les étudiants établissent le lien entre la borne inférieure de la vraisemblance et le taux-distorsion et l'information mutuelle.

Leçon 3 • Principe de la longueur de description minimale

Présente la sélection de modèles comme un problème de compression utilisant le principe MDL. Établit le lien entre MDL, la comparaison de modèles bayésienne et le rasoir d'Occam.

Leçon 4 • Tests d'hypothèses et divergence

Établit le lien entre la divergence KL et les exposants d'erreur dans les tests d'hypothèses binaires. Les étudiants dérivent le lemme de Chernoff-Stein et interprètent sa signification opérationnelle.

Leçon 1 • Sécurité informationnelle

Définit le secret parfait et le modèle de canal d'écoute. Les étudiants calculent la capacité de secret et comparent la sécurité informationnelle à la sécurité informatique.

Leçon 2 • Théorie de l'information en neurosciences

Applique l'entropie et l'information mutuelle au codage neuronal et aux systèmes sensoriels. Les étudiants analysent les données de trains de potentiels d'action à l'aide de mesures informationnelles.

Leçon 3 • Frontières émergentes de la théorie de l'information

Passe en revue les domaines de recherche actifs, notamment le calcul distribué codé et la communication sémantique. Les étudiants identifient les problèmes ouverts et les axes de recherche.

Leçon 4 • Théorie de l'information réseau

Étend les résultats d'un canal unique aux réseaux multi-utilisateurs, y compris les canaux de diffusion et à accès multiple. Les étudiants calculent les régions de capacité pour les cas à deux utilisateurs.