Apache Hive: Design, Query, and Optimize Big Data Course

Leçon 1 • Architecture et Composants de Hive

Explique les composants principaux de Hive : metastore, pilote, compilateur et moteur d'exécution. Relie l'architecture à la compréhension du cycle de vie d'une requête.

Leçon 2 • Fondamentaux et Défis du Big Data

Couvre les défis de volume, vélocité et variété qui motivent l'adoption du big data. Établit le contexte de l'existence d'outils de traitement distribué comme Hive.

Leçon 3 • Installation d'un Environnement Hive

Guide l'installation et la configuration d'un environnement Hive local ou sandbox. Fournit une préparation pratique pour tous les chapitres suivants.

Leçon 1 • Types de Données Primitifs et Complexes

Couvre les primitives numériques, chaînes, booléennes et date, ainsi que les types complexes ARRAY, MAP et STRUCT. Le choix correct du type affecte le stockage et la précision des requêtes.

Leçon 2 • Syntaxe HiveQL et Structure des Requêtes

Introduit HiveQL comme un dialecte SQL avec des extensions spécifiques à Hive. Couvre les clauses SELECT, FROM, WHERE et ORDER BY comme éléments de base.

Leçon 3 • Agrégation et Regroupement

Enseigne GROUP BY, HAVING et les fonctions d'agrégation pour résumer les ensembles de données. L'agrégation est fondamentale pour les modèles de requêtes analytiques utilisés tout au long du cours.

Leçon 4 • Sous-requêtes et Expressions de Table Communes

Introduit les vues en ligne, les sous-requêtes et les CTE avec la clause WITH pour une conception de requêtes modulaire. Ces modèles apparaissent dans les requêtes analytiques complexes des chapitres suivants.

Leçon 1 • Partitionnement des Tables

Enseigne le partitionnement statique et dynamique pour réduire les analyses de tables complètes. Le partitionnement est la principale technique pour améliorer les performances des requêtes sur de grandes tables.

Leçon 2 • Création et Gestion des Bases de Données

Couvre CREATE DATABASE, DROP DATABASE et les propriétés des bases de données. Une organisation appropriée des bases de données soutient la gouvernance des données multi-équipe.

Leçon 3 • Formats de Stockage des Tables

Compare les formats de stockage TextFile, SequenceFile, ORC et Parquet. Le choix du format a un impact direct sur la vitesse des requêtes et l'efficacité du stockage.

Leçon 4 • Tables Gérées vs Externes

Distingue les tables gérées (données détenues par Hive) des tables externes (données détenues par l'utilisateur). Un choix correct empêche la perte accidentelle de données.

Leçon 1 • Chargement de Données à partir de Fichiers

Couvre LOAD DATA LOCAL et LOAD DATA à partir de chemins HDFS. Le chargement basé sur les fichiers est le modèle d'ingestion initial le plus courant dans les workflows Hive.

Leçon 2 • Transactions ACID et Opérations CRUD

Explique le support ACID de Hive permettant UPDATE et DELETE sur les tables ORC. Les opérations ACID nécessitent une configuration et des propriétés de table spécifiques.

Leçon 3 • Modèles INSERT et INSERT OVERWRITE

Enseigne INSERT INTO et INSERT OVERWRITE pour le peuplement de données piloté par requête. Ces modèles soutiennent les pipelines ETL construits entièrement dans HiveQL.

Leçon 1 • Jointures Skew et Gestion de la Skew de Données

Aborde la skew de jointure causée par des valeurs de clé à haute fréquence qui surchargent les réducteurs. L'optimisation des jointures skew distribue les clés chaudes entre plusieurs tâches.

Leçon 2 • Types de Jointures et Syntaxe

Couvre les jointures INNER, LEFT, RIGHT, FULL OUTER et CROSS avec la syntaxe HiveQL. La compréhension de la sémantique des jointures empêche des ensembles de résultats incorrects.

Leçon 3 • UNION, INTERSECT et EXCEPT

Enseigne les opérations d'ensemble pour combiner et comparer des ensembles de résultats entre requêtes. Ces opérations prennent en charge la déduplication et les modèles d'analyse différentielle.

Leçon 4 • Jointures Map-Side et Broadcast

Explique les jointures map-side utilisant l'indication MAPJOIN pour l'optimisation des petites tables. Les jointures broadcast éliminent la surcharge de shuffle dans les jointures grande table vers petite table.

Leçon 1 • Compréhension du Plan d'Exécution des Requêtes

Utilise EXPLAIN et EXPLAIN EXTENDED pour interpréter les plans d'exécution MapReduce et Tez. La lecture des plans est la compétence prérequise pour toutes les décisions d'optimisation.

Leçon 2 • Réglage du Moteur d'Exécution Tez

Configure l'exécution DAG de Tez pour une latence réduite par rapport à MapReduce. Tez est le moteur recommandé pour les charges de travail Hive interactives et itératives.

Leçon 3 • Élagage des Partitions et Pushdown de Prédicats

Garantit que les requêtes ne parcourent que les partitions pertinentes et poussent les filtres le plus tôt possible. Ces techniques réduisent les E/S, qui sont le coût dominant dans les requêtes Hive.

Leçon 4 • Optimisation du Format de Fichier et de la Compression

Sélectionnez ORC et Parquet avec des codecs de compression appropriés pour minimiser le temps de lecture. La compression réduit à la fois le coût de stockage et les E/S réseau pendant l'exécution des requêtes.

Leçon 1 • Fonctions de Table Définies par l'Utilisateur

Construit des UDTF qui émettent plusieurs lignes à partir d'une seule ligne d'entrée en utilisant l'interface UDTF. Les UDTF prennent en charge l'explosion de structures imbriquées et la génération personnalisée de lignes.

Leçon 2 • Fonctions d'Agrégation Définies par l'Utilisateur

Implémente les UDAF en utilisant les interfaces UDAF et GenericUDAF pour des agrégations personnalisées. Les UDAF opèrent sur les groupes de réducteurs et nécessitent une gestion de la mémoire tampon.

Leçon 3 • Fondamentaux du Développement d'UDF

Couvre la classe de base UDF, la méthode evaluate et le packaging JAR pour des fonctions scalaires simples. Les UDF comblent les lacunes là où les fonctions intégrées sont insuffisantes.

Leçon 1 • Gestion du Metastore et Haute Disponibilité

Configure un metastore distant avec un backend relationnel et une configuration haute disponibilité. La fiabilité du metastore est critique pour un service Hive ininterrompu en production.

Leçon 2 • Modèles d'Autorisation : Normes SQL et Ranger

Compare l'autorisation standard SQL de Hive avec le contrôle basé sur les politiques d'Apache Ranger. L'autorisation à granularité fine applique un accès de moindre privilège au niveau des colonnes.

Leçon 3 • Authentification et Intégration Kerberos

Configure l'authentification basée sur Kerberos pour HiveServer2 et les connexions client. L'authentification empêche l'accès non autorisé aux actifs de données sensibles.

Leçon 4 • Masquage de Données et Chiffrement

Applique des politiques de masquage dynamique de données et des zones de chiffrement HDFS pour protéger les colonnes sensibles. Le masquage permet l'analyse de données sensibles sans exposer les valeurs brutes.