Formation Apache Hive : requêtes et optimisation

Leçon 1 • Architecture et composants de Hive

Explique les composants principaux de Hive : le métastore, le pilote, le compilateur et le moteur d'exécution. Fait le lien entre l'architecture et la compréhension du cycle de vie des requêtes.

Leçon 2 • Fondamentaux et défis du Big Data

Couvre les défis liés au volume, à la vélocité et à la variété qui motivent l'adoption du big data. Établit le contexte de l'existence d'outils de traitement distribué comme Hive.

Leçon 3 • Configuration d'un environnement Hive

Guide l'installation et la configuration d'un environnement Hive local ou dans un bac à sable. Assure la préparation pratique pour tous les chapitres suivants.

Leçon 1 • Types de données primitifs et complexes

Couvre les types primitifs numériques, chaîne, booléen et date, ainsi que les types complexes ARRAY, MAP et STRUCT. Un choix de type correct affecte le stockage et la précision des requêtes.

Leçon 2 • Syntaxe HiveQL et structure des requêtes

Présente HiveQL comme un dialecte SQL avec des extensions propres à Hive. Couvre les clauses SELECT, FROM, WHERE et ORDER BY comme éléments de base.

Leçon 3 • Agrégation et regroupement

Enseigne GROUP BY, HAVING et les fonctions d'agrégation pour résumer les ensembles de données. L'agrégation est fondamentale pour les modèles de requêtes analytiques utilisés tout au long du cours.

Leçon 4 • Sous-requêtes et expressions de table communes

Introduit les vues en ligne, les sous-requêtes et les CTE avec la clause WITH pour une conception de requêtes modulaire. Ces modèles apparaissent dans les requêtes analytiques complexes des chapitres ultérieurs.

Leçon 1 • Partitionnement des tables

Enseigne le partitionnement statique et dynamique pour réduire les analyses complètes de tables. Le partitionnement est la technique principale pour améliorer le rendement des requêtes sur les grandes tables.

Leçon 2 • Création et gestion de bases de données

Couvre CREATE DATABASE, DROP DATABASE et les propriétés de base de données. Une organisation appropriée des bases de données soutient la gouvernance des données multi-équipes.

Leçon 3 • Formats de stockage de tables

Compare les formats de stockage TextFile, SequenceFile, ORC et Parquet. Le choix du format a un impact direct sur la vitesse des requêtes et l'efficacité du stockage.

Leçon 4 • Tables gérées vs. tables externes

Distingue les tables gérées (données appartenant à Hive) des tables externes (données appartenant à l'utilisateur). Un choix correct empêche la perte accidentelle de données.

Leçon 1 • Chargement de données à partir de fichiers

Couvre LOAD DATA LOCAL et LOAD DATA à partir de chemins HDFS. Le chargement à partir de fichiers est le modèle d'ingestion initial le plus courant dans les flux de travail Hive.

Leçon 2 • Transactions ACID et opérations CRUD

Explique la prise en charge ACID de Hive permettant UPDATE et DELETE sur les tables ORC. Les opérations ACID nécessitent une configuration et des propriétés de table spécifiques.

Leçon 3 • Modèles INSERT et INSERT OVERWRITE

Enseigne INSERT INTO et INSERT OVERWRITE pour le peuplement de données basé sur des requêtes. Ces modèles soutiennent les pipelines ETL entièrement construits dans HiveQL.

Leçon 1 • Jointures asymétriques et gestion de l'asymétrie des données

Aborde l'asymétrie des jointures causée par des valeurs de clé à haute fréquence qui surchargent les réducteurs. L'optimisation des jointures asymétriques distribue les clés chaudes entre plusieurs tâches.

Leçon 2 • Types de jointures et syntaxe

Couvre les jointures INNER, LEFT, RIGHT, FULL OUTER et CROSS avec la syntaxe HiveQL. Comprendre la sémantique des jointures empêche des ensembles de résultats incorrects.

Leçon 3 • UNION, INTERSECT et EXCEPT

Enseigne les opérations ensemblistes pour combiner et comparer des ensembles de résultats entre requêtes. Ces opérations soutiennent les modèles de déduplication et d'analyse différentielle.

Leçon 4 • Jointures côté map et broadcast

Explique les jointures côté map à l'aide de l'indice MAPJOIN pour l'optimisation des petites tables. Les jointures broadcast éliminent la surcharge de mélange dans les jointures grande table-petite table.

Leçon 1 • Comprendre le plan d'exécution des requêtes

Utilise EXPLAIN et EXPLAIN EXTENDED pour interpréter les plans d'exécution MapReduce et Tez. La lecture des plans est la compétence préalable à toutes les décisions d'optimisation.

Leçon 2 • Réglage du moteur d'exécution Tez

Configure l'exécution DAG Tez pour une latence réduite par rapport à MapReduce. Tez est le moteur recommandé pour les charges de travail Hive interactives et itératives.

Leçon 3 • Élagage de partition et descente de prédicat

Garantit que les requêtes ne parcourent que les partitions pertinentes et poussent les filtres le plus tôt possible. Ces techniques réduisent les E/S, qui sont le coût dominant dans les requêtes Hive.

Leçon 4 • Optimisation du format de fichier et de la compression

Sélectionnez ORC et Parquet avec des codecs de compression appropriés pour minimiser le temps d'analyse. La compression réduit à la fois le coût de stockage et les E/S réseau pendant l'exécution des requêtes.

Leçon 1 • Fonctions de table définies par l'utilisateur

Construit des UDTF qui émettent plusieurs lignes à partir d'une seule ligne d'entrée à l'aide de l'interface UDTF. Les UDTF prennent en charge l'explosion de structures imbriquées et la génération de lignes personnalisées.

Leçon 2 • Fonctions d'agrégation définies par l'utilisateur

Implémente les UDAF en utilisant les interfaces UDAF et GenericUDAF pour les agrégations personnalisées. Les UDAF fonctionnent sur les groupes de réducteurs et nécessitent une gestion de la mémoire tampon.

Leçon 3 • Fondamentaux du développement d'UDF

Couvre la classe de base UDF, la méthode evaluate et l'empaquetage JAR pour les fonctions scalaires simples. Les UDF comblent les lacunes là où les fonctions intégrées sont insuffisantes.

Leçon 1 • Gestion du metastore et haute disponibilité

Configure un metastore distant avec un backend relationnel et une configuration haute disponibilité. La fiabilité du metastore est essentielle pour un service Hive ininterrompu en production.

Leçon 2 • Modèles d'autorisation : normes SQL et Ranger

Compare l'autorisation standard SQL de Hive avec le contrôle basé sur les politiques d'Apache Ranger. L'autorisation à granularité fine applique un accès de moindre privilège au niveau des colonnes.

Leçon 3 • Authentification et intégration Kerberos

Configure l'authentification basée sur Kerberos pour HiveServer2 et les connexions client. L'authentification empêche l'accès non autorisé aux actifs de données sensibles.

Leçon 4 • Masquage des données et chiffrement

Applique des politiques de masquage dynamique des données et des zones de chiffrement HDFS pour protéger les colonnes sensibles. Le masquage permet l'analyse de données sensibles sans exposer les valeurs brutes.