Cours de chaîne de Markov

Leçon 1 • Introduction aux processus stochastiques

Définit les processus stochastiques comme des familles indexées de variables aléatoires. Positionne les chaînes de Markov comme une sous-classe particulière et traitable.

Leçon 2 • Variables aléatoires et distributions

Présente les variables aléatoires discrètes et continues avec les distributions clés. Relie la pensée distributionnelle à la modélisation par états.

Leçon 3 • Révision des concepts fondamentaux de probabilité

Couvre les espaces échantillonnaux, les événements et les axiomes de probabilité. Établit la notation et les compétences de raisonnement utilisées tout au long du cours.

Leçon 1 • Équations de Chapman-Kolmogorov

Dérive les équations de Chapman-Kolmogorov et les applique aux probabilités de transition multi-étapes. Relie la multiplication matricielle au raisonnement probabiliste.

Leçon 2 • Espaces d'états et probabilités de transition

Définit les espaces d'états finis et dénombrablement infinis ainsi que les probabilités de transition à un pas. Développe l'intuition sur la façon dont les chaînes se déplacent entre les états.

Leçon 3 • La propriété de Markov

Énonce formellement la condition d'absence de mémoire et la contraste avec la dépendance non markovienne. Ancre la propriété dans la notation de probabilité conditionnelle.

Leçon 4 • Distributions initiales et évolution de la chaîne

Combine les distributions initiales des états avec les matrices de transition pour calculer les distributions multi-étapes. Introduit l'exponentiation matricielle pour l'évolution de la chaîne.

Leçon 1 • Chaînes ergodiques

Définit les chaînes ergodiques comme irréductibles, récurrentes positives et apériodiques. Établit les conditions garantissant des distributions stationnaires uniques.

Leçon 2 • Périodicité des états

Définit la période d'un état et identifie les chaînes apériodiques. Explique comment la périodicité affecte la convergence vers l'état stationnaire.

Leçon 3 • États communicants et classes

Définit l'accessibilité et la communication entre les états et partitionne les chaînes en classes communicantes. Identifie les chaînes irréductibles.

Leçon 4 • États absorbants et chaînes absorbantes

Identifie les états absorbants et analyse les chaînes avec des barrières absorbantes. Prépare les étudiants aux calculs du temps d'absorption et des probabilités d'absorption.

Leçon 1 • Moyennes à long terme et théorème ergodique

Applique le théorème ergodique pour calculer les quantités de moyenne temporelle à partir des distributions stationnaires. Relie la théorie à l'estimation par simulation.

Leçon 2 • Définition de la distribution stationnaire

Définit les distributions stationnaires comme des points fixes de l'opérateur de transition. Dérive les équations d'équilibre utilisées pour le calcul.

Leçon 3 • Équilibre détaillé et réversibilité

Introduit les équations d'équilibre détaillé comme condition suffisante pour la stationnarité. Identifie les chaînes réversibles et leurs avantages computationnels.

Leçon 4 • Calcul des distributions stationnaires

Applique les techniques d'algèbre linéaire pour résoudre les équations d'équilibre pour les chaînes finies. Couvre les méthodes de solution directes et itératives.

Leçon 1 • Temps d'absorption attendus

Dérive le temps attendu jusqu'à l'absorption à l'aide de la matrice fondamentale. Applique les résultats à la ruine du joueur et aux modèles de stocks.

Leçon 2 • Temps d'occupation et nombres de visites

Calcule le nombre attendu de visites à chaque état avant l'absorption. Relie les mesures d'occupation à la modélisation des récompenses et des coûts.

Leçon 3 • Probabilités d'absorption

Calcule la probabilité d'être absorbé dans chaque état absorbant à partir de tout état transitoire. Applique la matrice fondamentale des chaînes absorbantes.

Leçon 4 • Analyse du temps de premier passage

Définit les temps de premier passage et dérive leurs distributions à l'aide de l'analyse du premier pas. Relie les temps de passage à la classification de la récurrence.

Leçon 1 • Matrice génératrice et équations de Kolmogorov

Définit la matrice génératrice infinitésimale Q et dérive les équations de Kolmogorov prospectives et rétrogrades. Relie Q à la structure des taux de transition.

Leçon 2 • Temps d'attente exponentiels

Établit la distribution exponentielle comme la seule distribution continue sans mémoire. Dérive les propriétés des temps d'attente pour les chaînes à temps continu.

Leçon 3 • Uniformisation et chaînes embarquées

Introduit l'uniformisation pour convertir des chaînes à temps continu en équivalents à temps discret. Permet le calcul numérique des probabilités de transition.

Leçon 4 • Chaînes de naissance et de mort

Analyse les chaînes de naissance et de mort comme une sous-classe à temps continu traitable. Dérive des distributions stationnaires de forme fermée à l'aide de l'équilibre détaillé.

Leçon 1 • Modèles de stocks et de chaîne d'approvisionnement

Formule la dynamique du niveau de stock comme une chaîne de Markov avec des transitions de demande et de réapprovisionnement. Optimise les politiques de réapprovisionnement à l'aide d'une analyse stationnaire.

Leçon 2 • Modèles de Markov en finance

Applique les chaînes de Markov à la migration des notations de crédit et aux modèles à changement de régime. Calcule les probabilités de défaut et les transitions de portefeuille attendues.

Leçon 3 • Modèles biologiques et épidémiologiques

Modélise la dynamique des populations et la propagation des maladies à l'aide de chaînes de Markov. Analyse les équilibres endémiques et les probabilités d'extinction.

Leçon 4 • Systèmes de files d'attente comme chaînes de Markov

Modélise des files d'attente à un seul serveur et à serveurs multiples comme des chaînes de naissance et de mort. Dérive des mesures de performance telles que le débit, l'utilisation et la longueur moyenne de la file d'attente.

Leçon 1 • Algorithme de Metropolis-Hastings

Dérive la règle d'acceptation de Metropolis-Hastings à partir de l'équilibre détaillé. Implémente l'algorithme et analyse les choix de distribution de proposition.

Leçon 2 • Fondements du MCMC et motivation

Explique pourquoi le MCMC utilise des chaînes de Markov pour échantillonner à partir de distributions complexes. Relie la théorie de la distribution stationnaire à la correction de l'échantillonnage.

Leçon 3 • Échantillonnage de Gibbs

Présente l'échantillonnage de Gibbs comme un cas particulier de Metropolis-Hastings avec une acceptation unitaire. L'applique aux distributions a posteriori multivariées.

Leçon 4 • Techniques MCMC avancées

Passe en revue le Monte Carlo Hamiltonien et le tempérage parallèle pour les distributions a posteriori difficiles. Compare l'efficacité et l'applicabilité des différentes méthodes.