Cours de chaîne de Markov

Leçon 1 • Introduction aux processus stochastiques

Définit les processus stochastiques comme des familles indexées de variables aléatoires. Positionne les chaînes de Markov comme une sous-classe particulière et traitable.

Leçon 2 • Variables aléatoires et distributions

Introduit les variables aléatoires discrètes et continues avec les distributions clés. Relie la pensée distributionnelle à la modélisation par états.

Leçon 3 • Révision des concepts fondamentaux des probabilités

Aborde les espaces d'échantillonnage, les événements et les axiomes des probabilités. Établit la notation et les compétences de raisonnement utilisées tout au long du cours.

Leçon 1 • Équations de Chapman-Kolmogorov

Déduit les équations de Chapman-Kolmogorov et les applique aux probabilités de transition à plusieurs pas. Relie la multiplication matricielle au raisonnement probabiliste.

Leçon 2 • Espaces d'états et probabilités de transition

Définit les espaces d'états finis et dénombrablement infinis ainsi que les probabilités de transition à un pas. Développe l'intuition de la manière dont les chaînes se déplacent entre les états.

Leçon 3 • La propriété de Markov

Énonce formellement la condition d'absence de mémoire et la distingue des dépendances non markoviennes. Ancre la propriété dans la notation des probabilités conditionnelles.

Leçon 4 • Distributions initiales et évolution de la chaîne

Combine les distributions initiales d'état avec les matrices de transition pour calculer les distributions à plusieurs pas. Introduit l'exponentiation matricielle pour l'évolution de la chaîne.

Leçon 1 • Chaînes ergodiques

Définit les chaînes ergodiques comme irréductibles, récurrentes positives et apériodiques. Établit les conditions garantissant l'existence de distributions stationnaires uniques.

Leçon 2 • Périodicité des états

Définit la période d'un état et identifie les chaînes apériodiques. Explique comment la périodicité affecte la convergence vers l'état stationnaire.

Leçon 3 • États communicants et classes

Définit l'accessibilité et la communication entre états et partitionne les chaînes en classes communicantes. Identifie les chaînes irréductibles.

Leçon 4 • États absorbants et chaînes absorbantes

Identifie les états absorbants et analyse les chaînes comportant des barrières absorbantes. Prépare les étudiants au calcul des temps et probabilités d'absorption.

Leçon 1 • Moyennes à long terme et théorème ergodique

Applique le théorème ergodique pour calculer des quantités moyennes temporelles à partir des distributions stationnaires. Relie la théorie à l'estimation par simulation.

Leçon 2 • Définition de la distribution stationnaire

Définit les distributions stationnaires comme des points fixes de l'opérateur de transition. Déduit les équations d'équilibre utilisées pour le calcul.

Leçon 3 • Équilibre détaillé et réversibilité

Introduit les équations d'équilibre détaillé comme condition suffisante pour la stationnarité. Identifie les chaînes réversibles et leurs avantages calculatoires.

Leçon 4 • Calcul des distributions stationnaires

Applique des techniques d'algèbre linéaire pour résoudre les équations d'équilibre pour des chaînes finies. Couvre les méthodes de résolution directes et itératives.

Leçon 1 • Temps d'absorption attendus

Déduit le temps attendu jusqu'à l'absorption à l'aide de la matrice fondamentale. Applique les résultats à la ruine du joueur et aux modèles de gestion de stocks.

Leçon 2 • Temps d'occupation et nombres de visites

Calcule le nombre attendu de visites dans chaque état avant l'absorption. Relie les mesures d'occupation à la modélisation des récompenses et des coûts.

Leçon 3 • Probabilités d'absorption

Calcule la probabilité d'être absorbé dans chaque état absorbant à partir de tout état transient. Applique la matrice fondamentale des chaînes absorbantes.

Leçon 4 • Analyse du temps de premier passage

Définit les temps de premier passage et déduit leurs distributions à l'aide de l'analyse du premier pas. Relie les temps de passage à la classification par récurrence.

Leçon 1 • Matrice génératrice et équations de Kolmogorov

Définit la matrice génératrice infinitésimale Q et déduit les équations de Kolmogorov progressives et rétrogrades. Relie Q à la structure des taux de transition.

Leçon 2 • Temps d'attente exponentiels

Établit que la distribution exponentielle est l'unique distribution continue sans mémoire. Déduit les propriétés du temps d'attente pour les chaînes à temps continu.

Leçon 3 • Uniformisation et chaînes embarquées

Introduit l'uniformisation pour convertir les chaînes à temps continu en équivalents à temps discret. Permet le calcul numérique des probabilités de transition.

Leçon 4 • Chaînes de naissance et de mort

Analyse les chaînes de naissance et de mort comme une sous-classe traitable à temps continu. Déduit des distributions stationnaires explicites grâce à l'équilibre détaillé.

Leçon 1 • Modèles de stocks et de chaîne logistique

Formule la dynamique du niveau de stock comme une chaîne de Markov avec des transitions de demande et de réapprovisionnement. Optimise les politiques de réapprovisionnement à l'aide de l'analyse stationnaire.

Leçon 2 • Modèles de Markov en finance

Applique les chaînes de Markov à la migration des notations de crédit et aux modèles à changement de régime. Calcule les probabilités de défaut et les transitions de portefeuille attendues.

Leçon 3 • Modèles biologiques et épidémiologiques

Modélise la dynamique des populations et la propagation des maladies à l'aide de chaînes de Markov. Analyse les équilibres endémiques et les probabilités d'extinction.

Leçon 4 • Systèmes de files d'attente comme chaînes de Markov

Modélise les files d'attente à un serveur et à serveurs multiples comme des chaînes de naissance et de mort. Déduit des métriques de performance, notamment le débit, l'utilisation et la longueur moyenne de la file.

Leçon 1 • Algorithme de Metropolis-Hastings

Déduit la règle d'acceptation de Metropolis-Hastings à partir de l'équilibre détaillé. Implémente l'algorithme et analyse les choix de distribution de proposition.

Leçon 2 • Fondements et motivation du MCMC

Explique pourquoi le MCMC utilise des chaînes de Markov pour échantillonner des distributions complexes. Relie la théorie de la distribution stationnaire à la correction de l'échantillonnage.

Leçon 3 • Échantillonnage de Gibbs

Introduit l'échantillonnage de Gibbs comme un cas particulier de Metropolis-Hastings avec un taux d'acceptation unitaire. L'applique aux distributions postérieures multivariées.

Leçon 4 • Techniques MCMC avancées

Passe en revue le Monte Carlo Hamiltonien et le tempering parallèle pour les postérieures difficiles. Compare l'efficacité et l'applicabilité des différentes méthodes.