Cours avancé de probabilités et méthodes statistiques

Leçon 1 • Axiomes et propriétés de la probabilité

Présente les axiomes de Kolmogorov et en dérive les propriétés essentielles. Fournit le fondement logique de tous les calculs de probabilité du cours.

Leçon 2 • Combinatoire pour la probabilité

Couvre les techniques de dénombrement essentielles pour calculer des probabilités dans des espaces finis. Fait le pont entre le raisonnement combinatoire et la construction de modèles de probabilité.

Leçon 3 • Probabilité conditionnelle et indépendance

Définit formellement la probabilité conditionnelle et l'indépendance statistique. Relie ces concepts au raisonnement concret sur les événements dépendants.

Leçon 4 • Espaces échantillonnaux et algèbre des événements

Définit les espaces échantillonnaux, les sigma-algèbres et les opérations sur les événements. Établit le langage ensembliste utilisé dans tous les travaux ultérieurs sur les probabilités.

Leçon 1 • Fonctions génératrices et fonctions caractéristiques

Présente les fonctions génératrices de probabilités, les fonctions génératrices des moments et les fonctions caractéristiques. Démontre leur utilisation pour identifier des distributions et prouver des théorèmes limites.

Leçon 2 • Variables aléatoires discrètes

Définit les variables aléatoires discrètes à l'aide de fonctions de masse de probabilité et de fonctions de répartition. Présente les distributions de Bernoulli, binomiale, géométrique et de Poisson.

Leçon 3 • Espérance mathématique, variance et moments

Dérive les opérateurs d'espérance mathématique et de variance ainsi que leurs propriétés algébriques. Présente les fonctions génératrices des moments comme outils pour caractériser les distributions.

Leçon 4 • Variables aléatoires continues

Présente les fonctions de densité de probabilité et les fonctions de répartition continues. Couvre les distributions uniforme, exponentielle et normale avec leurs propriétés essentielles.

Leçon 1 • Distributions conditionnelles et espérance mathématique

Dérive les distributions conditionnelles et l'opérateur d'espérance conditionnelle. Présente la propriété de la tour comme outil clé pour le calcul des espérances.

Leçon 2 • Distribution normale multivariée

Caractérise la distribution normale multivariée par son vecteur de moyennes et sa matrice de covariance. Dérive les distributions marginales et conditionnelles ainsi que la propriété de transformation affine.

Leçon 3 • Copules et modélisation de la dépendance

Présente le théorème de Sklar et les familles de copules pour modéliser la dépendance non linéaire. Applique les copules au comportement conjoint des queues et à l'agrégation des risques.

Leçon 4 • Distributions jointes et marginales

Définit les fonctions de masse de probabilité et fonctions de densité de probabilité conjointes et dérive les distributions marginales par intégration ou sommation. Établit le cadre multivarié pour tous les chapitres subséquents.

Leçon 1 • Inégalités de concentration

Présente les inégalités de Markov, Chebyshev, Chernoff et Hoeffding pour les bornes de probabilités des queues. Applique ces outils à la détermination de la taille de l'échantillon et à l'analyse algorithmique.

Leçon 2 • Lois des grands nombres

Prouve les lois faible et forte des grands nombres sous des conditions standard. Relie ces résultats à la justification de la probabilité fréquentiste et de la simulation.

Leçon 3 • Méthode delta et stabilisation de la variance

Dérive la méthode delta pour les distributions asymptotiques de fonctions lisses d'estimateurs. Applique les transformations stabilisatrices de la variance pour améliorer les approximations normales.

Leçon 4 • Modes de convergence stochastique

Définit la convergence en probabilité, presque sûre, en moyenne et en distribution. Clarifie la hiérarchie des modes de convergence avec des exemples et des contre-exemples.

Leçon 1 • Méthode des moments et estimation bayésienne

Présente l'estimation par la méthode des moments et la compare à l'estimation bayésienne a posteriori. Couvre les lois a priori conjuguées et la moyenne a posteriori comme estimateur de Bayes.

Leçon 2 • Propriétés des estimateurs ponctuels

Définit le biais, la convergence, l'efficacité et la suffisance pour les estimateurs ponctuels. Fournit des critères pour comparer des estimateurs concurrents dans des contextes appliqués.

Leçon 3 • Intervalles de confiance et quantités pivots

Construit des intervalles de confiance exacts et approximatifs à l'aide de quantités pivots. Interprète la probabilité de couverture et distingue les intervalles de confiance des intervalles de crédibilité.

Leçon 4 • Borne inférieure de Cramér-Rao

Dérive la borne inférieure de Cramér-Rao comme variance minimale pour les estimateurs sans biais. Identifie les estimateurs efficaces et relie la borne à l'information de Fisher.

Leçon 1 • Tests du rapport de vraisemblance généralisé

Dérive le test du rapport de vraisemblance généralisé pour les hypothèses composites et établit le théorème de Wilks pour la distribution asymptotique du khi-carré. Applique le test du rapport de vraisemblance généralisé à la comparaison de modèles emboîtés.

Leçon 2 • Théorie de la décision statistique

Cadre l'estimation et les tests comme des problèmes de décision avec des fonctions de perte et un risque. Présente l'admissibilité, les règles minimax et les procédures de décision bayésiennes.

Leçon 3 • Tests multiples et contrôle du taux d'erreur

Aborde le problème des comparaisons multiples et présente les procédures de contrôle du taux d'erreur par famille et du taux de fausses découvertes. Applique les corrections de Bonferroni, Holm et Benjamini-Hochberg.

Leçon 4 • Fondements des tests d'hypothèse

Définit les hypothèses nulle et alternative, les erreurs de type I et de type II, et la puissance statistique. Établit le cadre de Neyman-Pearson comme base pour la construction de tests optimaux.

Leçon 1 • Modèles à effets mixtes et hiérarchiques

Présente les effets aléatoires pour tenir compte des structures de données regroupées et longitudinales. Dérive l'estimation par le maximum de vraisemblance restreint et interprète les composantes des effets fixes par rapport aux effets aléatoires.

Leçon 2 • Diagnostics de régression et vérification des hypothèses

Identifie les violations des hypothèses de linéarité, d'homoscédasticité, de normalité et d'indépendance. Applique les graphiques des résidus, les mesures d'influence et les tests diagnostiques formels.

Leçon 3 • Régression linéaire simple et multiple

Dérive les estimateurs des moindres carrés ordinaires à l'aide de l'algèbre matricielle et établit le théorème de Gauss-Markov. Couvre l'inférence sur les coefficients, l'ajustement du modèle et les intervalles de prédiction.

Leçon 4 • Sélection de variables et régularisation

Couvre la sélection de sous-ensembles, les critères AIC/BIC et les méthodes de régularisation pour la régression en haute dimension. Dérive les estimateurs ridge et lasso ainsi que leurs compromis biais-variance.

Leçon 1 • Spécification du modèle bayésien

Couvre les stratégies d'élaboration de la loi a priori, y compris les lois a priori informatives, faiblement informatives et non informatives. Relie le choix de la loi a priori à la sensibilité a posteriori et à l'identifiabilité du modèle.

Leçon 2 • Calcul a posteriori et conjugaison

Dérive les lois a posteriori de forme fermée pour les modèles conjugués et identifie leurs limites. Motive les méthodes numériques pour le calcul a posteriori non conjugué.

Leçon 3 • Méthodes de Monte Carlo par chaînes de Markov

Dérive les algorithmes de Metropolis-Hastings et d'échantillonnage de Gibbs pour la simulation a posteriori. Couvre les diagnostics de convergence et l'évaluation de la taille effective de l'échantillon.

Leçon 4 • Comparaison de modèles bayésiens

Présente les facteurs de Bayes, les vraisemblances marginales et les critères d'information pour la sélection de modèles. Applique le WAIC et le LOO-CV pour la comparaison prédictive de modèles.