Cours de statistique bayésienne

Leçon 1 • Distributions conjointe, marginale et conditionnelle

Examine les structures de probabilité multivariées essentielles pour la mise à jour bayésienne. Relie les distributions conjointes au mécanisme du théorème de Bayes.

Leçon 2 • Variables aléatoires et lois de probabilité

Introduit les variables aléatoires discrètes et continues ainsi que leurs lois. Fournit le vocabulaire des lois nécessaire à la modélisation bayésienne.

Leçon 3 • Perspectives fréquentiste vs bayésienne

Oppose les deux grandes écoles de l'inférence statistique. Les étudiants identifient dans quel cas chaque approche est appropriée et pourquoi les méthodes bayésiennes offrent des avantages uniques.

Leçon 1 • A priori, vraisemblance et a posteriori

Définit les trois composantes fondamentales de l'inférence bayésienne et leurs relations. Les étudiants interprètent le rôle de chaque composante dans la mise à jour des croyances avec les données.

Leçon 2 • Dérivation du théorème de Bayes

Dérive le théorème de Bayes à partir de la définition de la probabilité conditionnelle. Ancre la formule dans les axiomes de la probabilité établis au chapitre 1.

Leçon 3 • Exemples simples travaillés

Applique le théorème de Bayes à des problèmes discrets classiques tels que les tests médicaux et le filtrage anti-spam. Développe l'intuition computationnelle avant de passer aux cas continus.

Leçon 1 • Fonctions de vraisemblance pour données continues

Dérive les vraisemblances gaussienne, exponentielle et bêta pour les résultats continus. Prépare les étudiants à modéliser des mesures à valeurs réelles dans des cadres bayésiens.

Leçon 2 • Modèle de régression linéaire bayésien

Construit un modèle complet de régression linéaire bayésienne avec des lois a priori sur les coefficients et le bruit. Sert d'exemple appliqué principal pour les chapitres computationnels suivants.

Leçon 3 • Spécification du modèle génératif

Introduit la perspective de la modélisation générative où les données sont traitées comme des tirages d'un processus paramétré. Les étudiants rédigent des descriptions complètes de modèles probabilistes.

Leçon 1 • Familles de lois a priori conjuguées

Introduit les lois a priori conjuguées qui conduisent à des distributions a posteriori analytiquement traitables. Les étudiants associent les familles conjuguées aux modèles de vraisemblance courants.

Leçon 2 • Élicitation des lois a priori auprès d'experts du domaine

Couvre les techniques structurées pour transformer la connaissance experte en distributions de probabilité. Relie l'élicitation des lois a priori à une pratique de modélisation reproductible et défendable.

Leçon 3 • Analyse de sensibilité aux lois a priori

Enseigne la comparaison systématique des distributions a posteriori sous des spécifications alternatives de lois a priori. Les étudiants quantifient dans quelle mesure les conclusions dépendent des hypothèses a priori.

Leçon 1 • Distributions prédictives a posteriori

Dérive les distributions prédictives en marginalisant sur l'incertitude a posteriori. Les étudiants utilisent les distributions prédictives pour la prévision et la vérification du modèle.

Leçon 2 • Analyse conjuguée en pratique

Applique des paires de lois a priori et de vraisemblance conjuguées pour dériver des distributions a posteriori à forme fermée. Les étudiants pratiquent le cycle complet de mise à jour, de la loi a priori à la loi a posteriori puis à la loi prédictive.

Leçon 3 • Limites des méthodes analytiques

Identifie quand la conjugaison échoue et que les solutions analytiques deviennent intraduisibles. Motive les méthodes numériques et d'échantillonnage introduites dans le chapitre suivant.

Leçon 1 • Diagnostics MCMC et convergence

Couvre les trace plots, le R-hat, la taille d'échantillon effective et l'autocorrélation comme diagnostics de convergence. Les étudiants identifient et corrigent les chaînes à faible mélange.

Leçon 2 • Monte-Carlo Hamiltonien

Introduit le HMC comme un échantillonneur basé sur le gradient qui réduit le comportement de marche aléatoire. Les étudiants comprennent pourquoi le HMC est préféré pour les distributions a posteriori en haute dimension.

Leçon 3 • Bases de l'intégration de Monte-Carlo

Introduit l'estimation de Monte-Carlo comme stratégie générale pour calculer des intégrales via l'échantillonnage. Établit la base théorique des méthodes MCMC.

Leçon 4 • Échantillonnage de Gibbs

Présente l'échantillonnage de Gibbs comme un cas particulier de Metropolis-Hastings utilisant les distributions conditionnelles complètes. Les étudiants mettent en œuvre des échantillonneurs de Gibbs pour des modèles hiérarchiques.

Leçon 1 • Facteurs de Bayes

Introduit les facteurs de Bayes comme rapports d'évidences de modèles pour la comparaison par paires de modèles. Les étudiants interprètent les échelles de facteurs de Bayes et les appliquent aux tests d'hypothèse.

Leçon 2 • Évidence du modèle bayésien

Définit la vraisemblance marginale comme la mesure bayésienne de l'ajustement du modèle intégrée sur les paramètres. Les étudiants calculent et interprètent l'évidence du modèle pour des modèles simples.

Leçon 3 • Critères d'information pour les modèles bayésiens

Couvre le WAIC et le LOO-CV comme outils pratiques de comparaison de modèles qui évitent le calcul de la vraisemblance marginale. Les étudiants appliquent ces critères en utilisant les échantillons a posteriori.

Leçon 1 • Ajustement de modèles hiérarchiques avec MCMC

Applique les échantillonneurs de Gibbs et HMC aux modèles hiérarchiques et aborde les défis de la géométrie en entonnoir. Les étudiants utilisent la reparamétrisation pour améliorer l'efficacité de l'échantillonneur.

Leçon 2 • Modèles de régression hiérarchique

Étend la structure hiérarchique aux contextes de régression avec des ordonnées à l'origine et des pentes variables. Les étudiants ajustent et interprètent des modèles de régression bayésiens à effets mixtes.

Leçon 3 • Structures hiérarchiques avancées

Introduit les modèles hiérarchiques à trois niveaux et à classification croisée pour des structures de données complexes. Les étudiants étendent l'intuition à deux niveaux à des hiérarchies plus profondes et non imbriquées.

Leçon 4 • Structure du modèle hiérarchique à deux niveaux

Spécifie un modèle à deux niveaux avec des paramètres au niveau du groupe et au niveau de la population. Les étudiants rédigent le modèle génératif complet et identifient les choix d'hyperpriori.