Cours de cloud computing et Big Data

Leçon 1 • Concepts et historique de l'informatique en nuage

Retrace l'évolution du cloud, des mainframes aux hyperscalers modernes, et définit la terminologie essentielle. Fournit la base conceptuelle pour tous les sujets suivants sur le cloud.

Leçon 2 • Explication des modèles de service nuage

Différencie IaaS, PaaS et SaaS par des comparaisons fonctionnelles et des exemples concrets. Permet aux apprenants de mapper les charges de travail à la couche de service correcte.

Leçon 3 • Modèles de déploiement nuage

Examine les architectures nuage public, privé, hybride et multicloud avec une analyse des compromis. Relie le choix de déploiement aux objectifs de conformité et de coût de l'organisation.

Leçon 1 • Services de stockage nuage

Couvre les types de stockage objet, bloc et fichier avec des compromis de durabilité et de modèle d'accès. Prépare les apprenants à sélectionner les niveaux de stockage pour divers besoins applicatifs.

Leçon 2 • Gestion des identités et des accès

Enseigne le contrôle d'accès basé sur les rôles, les politiques et les principes de moindre privilège pour les environnements nuage. Établit les bonnes pratiques de sécurité nécessaires avant de déployer toute charge de travail de production.

Leçon 3 • Services de calcul et machines virtuelles

Présente les machines virtuelles, les types d'instances et les groupes de mise à l'échelle automatique comme primitives de calcul de base. Applique directement les connaissances des modèles de service nuage au provisionnement de l'infrastructure.

Leçon 4 • Services de bases de données gérées

Passe en revue les offres de bases de données relationnelles et NoSQL gérées, couvrant le provisionnement et les stratégies de sauvegarde. Relie les connaissances en stockage à l'architecture d'applications avec état.

Leçon 1 • Modèles de traitement par lots et par flux

Contraste le traitement par lots avec le traitement de flux en temps réel en utilisant les architectures Lambda et Kappa. Prépare les apprenants à concevoir des pipelines répondant aux exigences de latence et de débit.

Leçon 2 • Introduction à l'écosystème Hadoop

Explique HDFS, MapReduce, YARN et les principaux outils de l'écosystème comme base du traitement distribué par lots. Fournit un contexte historique et technique pour les frameworks big data modernes.

Leçon 3 • Architectures de stockage big data

Couvre les systèmes de fichiers distribués, les lacs de données et les entrepôts de données comme paradigmes de stockage complémentaires. Fait le pont entre les connaissances en stockage nuage et les besoins d'ingestion et de conservation du big data.

Leçon 4 • Principes de conception de pipelines big data

Présente les couches d'ingestion, de transformation, de stockage et de service comme un cadre de pipeline unifié. Donne aux apprenants un modèle de conception appliqué dans tous les chapitres suivants sur le big data.

Leçon 1 • Stratégies de chargement d'entrepôt de données

Couvre la modélisation dimensionnelle, les dimensions à évolution lente et les modèles de chargement en masse pour les magasins analytiques. Relie les pipelines d'ingestion aux structures d'entrepôt optimisées pour les requêtes.

Leçon 2 • Ingestion de flux de données en temps réel

Enseigne les files d'attente de messages, les plateformes de streaming d'événements et les modèles producteur-consommateur pour les données en temps réel. Étend les connaissances en ingestion par lots à des scénarios à faible latence et à haut débit.

Leçon 3 • Techniques d'ingestion par lots

Couvre les workflows ETL, l'ingestion basée sur les fichiers et les transferts de données planifiés pour les grands ensembles de données. Applique les principes de conception de pipelines aux sources de données structurées et semi-structurées.

Leçon 4 • Qualité et validation des données

Présente le profilage des données, la validation des schémas et la détection d'anomalies comme des barrières de qualité à l'ingestion. Garantit que les analyses aval et les modèles de ML reçoivent des données fiables.

Leçon 1 • Optimisation des performances Spark

Aborde le partitionnement, la mise en cache, les jointures par diffusion et la sérialisation comme leviers clés d'optimisation Spark. Traduit les connaissances théoriques de Spark en efficacité de job de niveau production.

Leçon 2 • Spark Streaming et Structured Streaming

Couvre les modèles de traitement par micro-lots et en continu pour les données en temps réel avec Structured Streaming. Étend les compétences Spark par lots aux pipelines de streaming à faible latence.

Leçon 3 • Architecture et concepts de base de Spark

Explique le driver, l'exécuteur, le planificateur DAG et le modèle RDD comme base d'exécution de Spark. Construit le modèle mental nécessaire pour écrire et déboguer efficacement des applications Spark.

Leçon 4 • Exécution de Spark sur les plateformes cloud

Démontre le provisionnement de clusters Spark gérés, la mise à l'échelle automatique et le contrôle des coûts sur les services cloud. Relie les compétences Spark aux pratiques réelles de déploiement et d'exploitation cloud.

Leçon 1 • Pipelines sans serveur et événementiels

Couvre les déclencheurs de fonction en tant que service, les bus d'événements et les services de workflow cloud-natifs pour les pipelines légers. Complète Airflow avec des modèles d'automatisation événementielle à faible surcharge.

Leçon 2 • Surveillance et observabilité des pipelines

Couvre la journalisation, les métriques, les alertes et le suivi de la lignée pour la visibilité opérationnelle des pipelines. Permet aux équipes de détecter, diagnostiquer et résoudre rapidement les défaillances des pipelines.

Leçon 3 • Fondamentaux de l'orchestration de pipelines

Présente l'orchestration de workflows basée sur DAG, les dépendances de tâches et les concepts de planification. Fournit la base architecturale pour l'automatisation de pipelines de données multi-étapes.

Leçon 4 • Construction de pipelines avec Apache Airflow

Enseigne la création de DAG, les opérateurs, les hooks et les XComs pour construire des workflows Airflow complexes. Applique les concepts d'orchestration à une plateforme open-source largement adoptée.

Leçon 1 • Principes de visualisation des données

Présente la sélection de graphiques, l'encodage visuel et les principes de narration pour la communication analytique. Garantit que les visualisations représentent avec précision les données et conduisent à des décisions éclairées.

Leçon 2 • Optimisation des requêtes analytiques

Enseigne la planification des requêtes, l'indexation, les vues matérialisées et l'optimisation basée sur les coûts pour les grands ensembles de données analytiques. S'appuie sur les connaissances en chargement d'entrepôt pour maximiser les performances des requêtes.

Leçon 3 • Analytique en temps réel et tableaux de bord en streaming

Étend l'analyse par lots aux cas d'utilisation en temps réel à l'aide d'agrégations en streaming et de tableaux de bord en direct. Relie les connaissances en Spark Streaming et en pipelines aux scénarios d'analyse opérationnelle.

Leçon 4 • Analyse exploratoire des données à grande échelle

Couvre les résumés statistiques, l'analyse de distribution et les techniques de corrélation appliquées aux grands ensembles de données. Fait le pont entre l'ingestion de données brutes et l'investigation analytique basée sur des hypothèses.

Leçon 1 • Fondamentaux du workflow ML et du MLOps

Cartographie le cycle de vie ML de bout en bout, de la préparation des données au service et à la surveillance des modèles. Établit le cadre opérationnel pour tous les sujets d'implémentation ML suivants.

Leçon 2 • Feature stores et pipelines de données pour le ML

Présente les feature stores comme un pont entre les pipelines de données et l'entraînement et le service des modèles ML. Garantit des features cohérentes et réutilisables entre l'entraînement et l'inférence en production.

Leçon 3 • Déploiement et service des modèles

Enseigne l'inférence par lots, les endpoints REST en temps réel et les modèles de déploiement en périphérie pour les modèles ML. Relie les modèles entraînés aux systèmes de production qui apportent de la valeur métier.

Leçon 4 • Entraînement distribué de modèles

Couvre le parallélisme des données, le parallélisme des modèles et les frameworks d'entraînement distribué pour le ML à grande échelle. Applique les connaissances en Spark et en cloud computing pour accélérer l'entraînement des modèles sur le big data.