Formation analyse Big Data

Leçon 1 • Types et formats de données

Couvre les données structurées, semi-structurées et non structurées avec les formats de fichiers courants. Prépare les étudiants à sélectionner les stratégies de stockage et de traitement appropriées.

Leçon 2 • Définition des concepts du Big Data

Présente le cadre des 5 V et distingue le big data des données traditionnelles. Ancre tous les sujets techniques ultérieurs dans une terminologie partagée.

Leçon 3 • Facteurs métier et cas d'usage

Examine les motivations sectorielles pour l'adoption du big data et les objectifs analytiques courants. Relie les concepts techniques à des résultats métier mesurables.

Leçon 1 • Principes des systèmes de fichiers distribués

Explique la réplication, la tolérance aux pannes et le stockage par blocs dans les systèmes distribués. Établit les fondations de stockage nécessaires pour tous les frameworks de traitement à venir.

Leçon 2 • Système de fichiers distribués Hadoop

Couvre l'architecture HDFS, la configuration et les opérations de base pour le stockage de grands ensembles de données. Permet directement un travail pratique avec le traitement basé sur Hadoop dans les chapitres suivants.

Leçon 3 • Fondamentaux des bases de données NoSQL

Passe en revue les modèles NoSQL clé-valeur, document, famille de colonnes et graphe. Équipe les étudiants pour faire correspondre la technologie de stockage à la structure des données et aux besoins de requêtes.

Leçon 4 • Stockage objet pour le Big Data

Présente le stockage objet cloud natif comme alternative évolutive à HDFS. Prépare les étudiants à architecturer des solutions de lacs de données hybrides et cloud-first.

Leçon 1 • Modèle de programmation MapReduce

Explique les phases map, shuffle et reduce avec des diagrammes de flux de données. Fournit le noyau conceptuel nécessaire avant d'écrire du code de traitement distribué.

Leçon 2 • Réglage des performances MapReduce

Couvre les paramètres mémoire, l'exécution spéculative et le parallélisme des tâches pour des jobs plus rapides. Relie les connaissances théoriques à des améliorations de performance mesurables.

Leçon 3 • Écriture de jobs MapReduce

Guide les étudiants dans le codage des fonctions mapper et reducer avec des exemples pratiques. Construit les bases de programmation pour tous les frameworks de traitement ultérieurs.

Leçon 1 • Moteurs de requêtes SQL distribués

Présente les moteurs de requêtes MPP qui exécutent SQL directement sur le stockage distribué. Élargit la boîte à outils des étudiants au-delà de Hive pour l'analytique interactive et ad hoc.

Leçon 2 • Conception de schémas pour l'analytique

Enseigne les schémas en étoile et en flocon de neige, la dénormalisation et les modèles schema-on-read. Prépare les étudiants à concevoir des structures d'entrepôt de données sur des plateformes big data.

Leçon 3 • Architecture et modèle de données Hive

Explique le metastore Hive, les tables et HiveQL comme abstraction SQL sur HDFS. Permet aux étudiants de tirer parti de leurs compétences SQL existantes dans un contexte distribué.

Leçon 4 • Optimisation des requêtes dans Hive

Couvre les plans d'exécution, la vectorisation et l'optimisation basée sur les coûts pour les requêtes Hive. Réduit directement la latence des requêtes dans les pipelines analytiques construits dans ce chapitre.

Leçon 1 • Modèle d'architecture et d'exécution de Spark

Explique les rôles du driver, des exécuteurs, du planificateur DAG et de l'exécution des tâches dans les clusters Spark. Fournit la compréhension architecturale nécessaire pour écrire et optimiser des jobs Spark efficaces.

Leçon 2 • DataFrames et Spark SQL

Présente l'API DataFrame et Spark SQL pour le traitement de données structurées à grande échelle. Relie les connaissances SQL du chapitre 4 au moteur d'exécution optimisé de Spark.

Leçon 3 • Opérations Spark avancées

Couvre les jointures, les agrégations, les fonctions de fenêtrage et les fonctions définies par l'utilisateur dans Spark. Permet aux étudiants de gérer des transformations analytiques complexes dans des pipelines de production.

Leçon 4 • RDD et transformations de base

Couvre les Resilient Distributed Datasets, l'évaluation paresseuse et les opérations clés de transformation. Construit le modèle de programmation Spark fondamental avant les API de plus haut niveau.

Leçon 1 • File d'attente de messages avec Kafka

Couvre les sujets Kafka, les partitions, les producteurs et les consommateurs en tant qu'épine dorsale du streaming. Fournit la couche d'ingestion requise par tous les processeurs de flux en aval.

Leçon 2 • Spark Structured Streaming d'Apache

Enseigne le streaming par micro-lots et continu avec l'API DataFrame unifiée de Spark. Exploite les compétences Spark des chapitres batch et les étend aux charges de travail de streaming.

Leçon 3 • Traitement de flux Apache Flink

Présente le modèle de streaming natif de Flink, les backends d'état et le traitement du temps d'événement. Fournit une alternative à Spark pour les applications de streaming avec état et à faible latence.

Leçon 4 • Modèles de conception de pipelines en temps réel

Présente les architectures Lambda, Kappa et CQRS pour combiner traitement par lots et streaming. Équipe les étudiants pour architecturer des systèmes de données en temps réel de bout en bout.

Leçon 1 • Qualité et validation des données

Présente le profilage des données, la validation des schémas et les contrôles de qualité automatisés dans les pipelines. Garantit que les sorties analytiques sont fiables et dignes de confiance pour les consommateurs en aval.

Leçon 2 • Orchestration des workflows avec Airflow

Enseigne la création de DAG, la planification et la gestion des dépendances dans Apache Airflow. Fournit la couche d'orchestration qui coordonne tous les composants du pipeline.

Leçon 3 • Stratégies d'ingestion de données

Couvre l'ingestion par lots, la capture de données modifiées et les modèles d'ingestion pilotés par les événements. Établit le point d'entrée pour toutes les données entrant dans les pipelines construits dans ce chapitre.

Leçon 4 • Fiabilité et surveillance des pipelines

Couvre l'idempotence, la logique de nouvelle tentative, les files d'attente de lettres mortes et l'observabilité des pipelines. Prépare les étudiants à maintenir une infrastructure de données de qualité production.

Leçon 1 • MLOps pour les pipelines Big Data

Présente l'entraînement continu, les registres de caractéristiques et le suivi des expériences pour des opérations ML évolutives. Permet aux étudiants de maintenir et d'améliorer les modèles dans les environnements de production.

Leçon 2 • Déploiement et service des modèles

Couvre le scoring par lots, l'inférence en temps réel et les modèles de registre de modèles pour le ML de production. Comble le fossé entre l'entraînement des modèles et la valeur métier opérationnelle.

Leçon 3 • Concepts de Machine Learning distribué

Explique le parallélisme des données, le parallélisme des modèles et la descente de gradient distribuée. Établit les fondations théoriques pour tous les frameworks de ML couverts dans ce chapitre.

Leçon 4 • Analytique de graphes à grande échelle

Présente les modèles de données de graphe et le traitement distribué de graphes pour l'analyse de réseaux. Étend les capacités analytiques aux problèmes big data centrés sur les relations.