Cours avancé de probabilités et méthodes statistiques

Leçon 1 • Axiomes et propriétés de la probabilité

Présente les axiomes de Kolmogorov et dérive les propriétés clés. Fournit la base logique pour tous les calculs de probabilité dans le cours.

Leçon 2 • Combinatoire pour la probabilité

Couvre les techniques de dénombrement essentielles pour calculer les probabilités dans des espaces finis. Fait le pont entre le raisonnement combinatoire et la construction de modèles de probabilité.

Leçon 3 • Probabilité conditionnelle et indépendance

Définit formellement la probabilité conditionnelle et l'indépendance statistique. Relie ces concepts au raisonnement du monde réel concernant les événements dépendants.

Leçon 4 • Espaces d'échantillonnage et algèbre des événements

Définit les espaces d'échantillonnage, les sigma-algèbres et les opérations sur les événements. Établit le langage ensembliste utilisé dans tout le travail ultérieur sur les probabilités.

Leçon 1 • Fonctions génératrices et fonctions caractéristiques

Présente les fonctions génératrices de probabilité, de moments et caractéristiques. Démontre leur utilisation pour identifier les lois de probabilité et prouver les théorèmes limites.

Leçon 2 • Variables aléatoires discrètes

Définit les variables aléatoires discrètes par les fonctions de masse de probabilité et les fonctions de répartition. Présente les lois de Bernoulli, binomiale, géométrique et de Poisson.

Leçon 3 • Espérance, variance et moments

Dérive les opérateurs d'espérance et de variance ainsi que leurs propriétés algébriques. Présente les fonctions génératrices de moments comme outils pour caractériser les lois de probabilité.

Leçon 4 • Variables aléatoires continues

Présente les densités de probabilité et les fonctions de répartition continues. Couvre les lois uniforme, exponentielle et normale avec leurs propriétés clés.

Leçon 1 • Distributions conditionnelles et espérance

Dérive les distributions conditionnelles et l'opérateur d'espérance conditionnelle. Présente la propriété de la tour comme un outil clé pour calculer les espérances.

Leçon 2 • Loi normale multivariée

Caractérise la loi normale multivariée par son vecteur de moyennes et sa matrice de covariance. Dérive les distributions marginales et conditionnelles ainsi que la propriété de transformation affine.

Leçon 3 • Copules et modélisation de la dépendance

Présente le théorème de Sklar et les familles de copules pour modéliser la dépendance non linéaire. Applique les copules au comportement conjoint des queues et à l'agrégation des risques.

Leçon 4 • Distributions jointes et marginales

Définit les fonctions de masse de probabilité et les densités de probabilité conjointes et dérive les distributions marginales par intégration ou sommation. Établit le cadre multivarié pour tous les chapitres suivants.

Leçon 1 • Inégalités de concentration

Présente les inégalités de Markov, Chebyshev, Chernoff et Hoeffding pour les bornes des probabilités de queue. Applique ces outils à la détermination de la taille de l'échantillon et à l'analyse d'algorithmes.

Leçon 2 • Lois des grands nombres

Prouve les lois faible et forte des grands nombres dans des conditions standard. Relie ces résultats à la justification de la probabilité fréquentiste et de la simulation.

Leçon 3 • Méthode delta et stabilisation de la variance

Dérive la méthode delta pour les distributions asymptotiques de fonctions lisses des estimateurs. Applique les transformations stabilisant la variance pour améliorer les approximations normales.

Leçon 4 • Modes de convergence stochastique

Définit la convergence en probabilité, presque sûre, en moyenne et en loi. Clarifie la hiérarchie des modes de convergence avec des exemples et des contre-exemples.

Leçon 1 • Méthode des moments et estimation bayésienne

Présente l'estimation par la méthode des moments et la contraste avec l'estimation bayésienne a posteriori. Couvre les lois a priori conjuguées et la moyenne a posteriori comme estimateur de Bayes.

Leçon 2 • Propriétés des estimateurs ponctuels

Définit le biais, la convergence, l'efficacité et la suffisance pour les estimateurs ponctuels. Fournit des critères pour comparer des estimateurs concurrents dans des contextes appliqués.

Leçon 3 • Intervalles de confiance et quantités pivots

Construit des intervalles de confiance exacts et approximatifs en utilisant des quantités pivots. Interprète la probabilité de couverture et distingue les intervalles de confiance des intervalles de crédibilité.

Leçon 4 • Borne de Cramér-Rao

Dérive la borne de Cramér-Rao comme la variance minimale pour les estimateurs sans biais. Identifie les estimateurs efficaces et relie la borne à l'information de Fisher.

Leçon 1 • Tests du rapport de vraisemblance généralisés

Dérive le test du rapport de vraisemblance généralisé pour les hypothèses composites et établit le théorème de Wilks pour la distribution asymptotique du chi-deux. Applique le test du rapport de vraisemblance généralisé à la comparaison de modèles emboîtés.

Leçon 2 • Théorie de la décision statistique

Cadre l'estimation et le test comme des problèmes de décision avec des fonctions de perte et de risque. Présente l'admissibilité, les règles minimax et les procédures de décision de Bayes.

Leçon 3 • Tests multiples et contrôle du taux d'erreur

Aborde le problème des comparaisons multiples et présente les procédures de contrôle du taux d'erreur par famille et du taux de fausses découvertes. Applique les corrections de Bonferroni, Holm et Benjamini-Hochberg.

Leçon 4 • Fondements des tests d'hypothèse

Définit les hypothèses nulle et alternative, les erreurs de type I et de type II, et la puissance statistique. Établit le cadre de Neyman-Pearson comme base pour la construction de tests optimaux.

Leçon 1 • Modèles à effets mixtes et hiérarchiques

Présente les effets aléatoires pour tenir compte des structures de données groupées et longitudinales. Dérive l'estimation par le maximum de vraisemblance restreint et interprète les composantes des effets fixes et aléatoires.

Leçon 2 • Diagnostics de régression et vérification des hypothèses

Identifie les violations des hypothèses de linéarité, d'homoscédasticité, de normalité et d'indépendance. Applique les graphiques des résidus, les mesures d'influence et les tests de diagnostic formels.

Leçon 3 • Régression linéaire simple et multiple

Dérive les estimateurs des moindres carrés ordinaires via l'algèbre matricielle et établit le théorème de Gauss-Markov. Couvre l'inférence sur les coefficients, l'ajustement du modèle et les intervalles de prédiction.

Leçon 4 • Sélection de variables et régularisation

Couvre la sélection de sous-ensembles, les critères AIC/BIC et les méthodes de shrinkage pour la régression en haute dimension. Dérive les estimateurs ridge et lasso ainsi que leurs compromis biais-variance.

Leçon 1 • Spécification du modèle bayésien

Couvre les stratégies d'élicitation des lois a priori, y compris les lois a priori informatives, faiblement informatives et non informatives. Relie le choix de la loi a priori à la sensibilité de la loi a posteriori et à l'identifiabilité du modèle.

Leçon 2 • Calcul de la loi a posteriori et conjugaison

Dérive les lois a posteriori de forme fermée pour les modèles conjugués et identifie leurs limites. Motive les méthodes numériques pour le calcul de lois a posteriori non conjuguées.

Leçon 3 • Méthodes de Monte Carlo par chaînes de Markov

Dérive les algorithmes de Metropolis-Hastings et d'échantillonnage de Gibbs pour la simulation de lois a posteriori. Couvre les diagnostics de convergence et l'évaluation de la taille d'échantillon effective.

Leçon 4 • Comparaison de modèles bayésiens

Présente les facteurs de Bayes, les vraisemblances marginales et les critères d'information pour la sélection de modèles. Applique les critères WAIC et LOO-CV pour la comparaison prédictive de modèles.