Cours de cloud computing et Big Data

Leçon 1 • Concepts et histoire de l'informatique en nuage

Retrace l'évolution du cloud, des mainframes aux hyperscaleurs modernes, et définit la terminologie essentielle. Fournit la base conceptuelle pour tous les sujets cloud ultérieurs.

Leçon 2 • Explication des modèles de service cloud

Différencie IaaS, PaaS et SaaS à travers des comparaisons fonctionnelles et des exemples concrets. Permet aux étudiants de mapper les charges de travail au niveau de service correct.

Leçon 3 • Modèles de déploiement cloud

Examine les architectures publique, privée, hybride et multi-cloud avec une analyse des compromis. Relie le choix de déploiement aux objectifs de conformité et de coût de l'organisation.

Leçon 1 • Services de stockage cloud

Couvre les types de stockage objet, bloc et fichier avec les compromis de durabilité et de modèles d'accès. Prépare les étudiants à sélectionner des niveaux de stockage pour divers besoins applicatifs.

Leçon 2 • Gestion des identités et des accès

Enseigne le contrôle d'accès basé sur les rôles, les politiques et les principes de moindre privilège pour les environnements cloud. Établit les règles d'hygiène de sécurité nécessaires avant de déployer toute charge de travail de production.

Leçon 3 • Services de calcul et machines virtuelles

Présente les machines virtuelles, les types d'instance et les groupes de mise à l'échelle automatique comme primitives de calcul de base. Applique directement la connaissance des modèles de service cloud au provisionnement de l'infrastructure.

Leçon 4 • Services de bases de données gérées

Examine les offres de bases de données relationnelles et NoSQL gérées, couvrant le provisionnement et les stratégies de sauvegarde. Relie les connaissances en stockage à l'architecture applicative avec état.

Leçon 1 • Modèles de traitement par lots et en flux

Compare le traitement par lots au traitement en flux en temps réel à l'aide des architectures Lambda et Kappa. Prépare les étudiants à concevoir des pipelines correspondant aux exigences de latence et de débit.

Leçon 2 • Introduction à l'écosystème Hadoop

Explique HDFS, MapReduce, YARN et les outils clés de l'écosystème comme fondement du traitement par lots distribué. Fournit un contexte historique et technique pour les frameworks Big Data modernes.

Leçon 3 • Architectures de stockage Big Data

Couvre les systèmes de fichiers distribués, les lacs de données et les entrepôts de données comme paradigmes de stockage complémentaires. Relie les connaissances en stockage cloud aux besoins d'ingestion et de conservation du Big Data.

Leçon 4 • Principes de conception de pipelines Big Data

Présente les couches d'ingestion, de transformation, de stockage et de service comme un framework de pipeline unifié. Donne aux étudiants un modèle de conception appliqué tout au long des chapitres Big Data restants.

Leçon 1 • Stratégies de chargement d'entrepôt de données

Couvre la modélisation dimensionnelle, les dimensions à évolution lente et les modèles de chargement en masse pour les magasins analytiques. Relie les pipelines d'ingestion aux structures d'entrepôt optimisées pour les requêtes.

Leçon 2 • Ingestion de données en flux en temps réel

Enseigne les files de messages, les plateformes de streaming d'événements et les modèles producteur-consommateur pour les données en temps réel. Élargit les connaissances sur l'ingestion par lots aux scénarios à faible latence et à haut débit.

Leçon 3 • Techniques d'ingestion par lots

Couvre les workflows ETL, l'ingestion par fichiers et les transferts de données planifiés pour les grands ensembles de données. Applique les principes de conception de pipelines aux sources de données structurées et semi-structurées.

Leçon 4 • Qualité et validation des données

Présente le profilage des données, la validation de schéma et la détection d'anomalies comme portes de qualité d'ingestion. Garantit que les analyses en aval et les modèles de ML reçoivent des données fiables.

Leçon 1 • Optimisation des performances Spark

Aborde le partitionnement, la mise en cache, les jointures broadcast et la sérialisation comme leviers clés d'optimisation Spark. Traduit les connaissances théoriques de Spark en efficacité de job de niveau production.

Leçon 2 • Spark Streaming et Structured Streaming

Couvre les modèles de traitement par micro-lots et en continu pour les données en temps réel avec Structured Streaming. Étend les compétences Spark par lots aux pipelines de streaming à faible latence.

Leçon 3 • Architecture Spark et concepts de base

Explique le pilote, l'exécuteur, le planificateur DAG et le modèle RDD comme fondement de l'exécution de Spark. Construit le modèle mental nécessaire pour écrire et déboguer efficacement des applications Spark.

Leçon 4 • Exécution de Spark sur les plateformes cloud

Démontre le provisionnement de clusters Spark gérés, la mise à l'échelle automatique et le contrôle des coûts sur les services cloud. Relie les compétences Spark aux pratiques réelles de déploiement et d'exploitation cloud.

Leçon 1 • Pipelines sans serveur et événementiels

Couvre les déclencheurs de fonction en tant que service, les bus d'événements et les services de workflow cloud-native pour les pipelines légers. Complète Airflow avec des modèles d'automatisation événementiels à faible surcharge.

Leçon 2 • Surveillance et observabilité des pipelines

Couvre la journalisation, les métriques, les alertes et le suivi de la lignée pour la visibilité opérationnelle des pipelines. Permet aux équipes de détecter, diagnostiquer et résoudre rapidement les défaillances des pipelines.

Leçon 3 • Fondamentaux de l'orchestration de pipelines

Présente l'orchestration de workflows basée sur des DAG, les dépendances de tâches et les concepts de planification. Fournit la base architecturale pour automatiser les pipelines de données multi-étapes.

Leçon 4 • Construction de pipelines avec Apache Airflow

Enseigne la création de DAG, les opérateurs, les hooks et les XComs pour la construction de workflows Airflow complexes. Applique les concepts d'orchestration à une plateforme open-source largement adoptée.

Leçon 1 • Principes de visualisation des données

Introduit la sélection de graphiques, l'encodage visuel et les principes de narration pour la communication analytique. Garantit que les visualisations représentent fidèlement les données et favorisent des décisions éclairées.

Leçon 2 • Optimisation des requêtes analytiques

Enseigne la planification des requêtes, l'indexation, les vues matérialisées et l'optimisation basée sur les coûts pour les grands ensembles de données analytiques. S'appuie sur les connaissances de chargement d'entrepôt pour maximiser les performances des requêtes.

Leçon 3 • Analytique en temps réel et tableaux de bord de streaming

Étend l'analytique par lots aux cas d'utilisation en temps réel à l'aide d'agrégations de streaming et de tableaux de bord en direct. Relie les connaissances en Spark Streaming et en pipelines aux scénarios d'analytique opérationnelle.

Leçon 4 • Analyse exploratoire des données à grande échelle

Couvre les résumés statistiques, l'analyse de distribution et les techniques de corrélation appliquées aux grands ensembles de données. Fait le pont entre l'ingestion de données brutes et l'investigation analytique guidée par des hypothèses.

Leçon 1 • Workflow ML et fondations MLOps

Cartographie le cycle de vie ML de bout en bout, de la préparation des données au service et à la surveillance du modèle. Établit le cadre opérationnel pour tous les sujets de mise en œuvre ML suivants.

Leçon 2 • Magasins de caractéristiques et pipelines de données pour le ML

Présente les magasins de caractéristiques comme un pont entre les pipelines de données et l'entraînement et le service ML. Garantit des caractéristiques cohérentes et réutilisables entre l'entraînement et l'inférence en production.

Leçon 3 • Déploiement et service des modèles

Enseigne l'inférence par lots, les points de terminaison REST en temps réel et les modèles de déploiement en périphérie pour les modèles ML. Relie les modèles entraînés aux systèmes de production qui fournissent de la valeur métier.

Leçon 4 • Entraînement distribué de modèles

Couvre le parallélisme des données, le parallélisme des modèles et les frameworks d'entraînement distribué pour le ML à grande échelle. Applique les connaissances en Spark et en calcul cloud pour accélérer l'entraînement des modèles sur le Big Data.