Apache Hive: Design, Query, and Optimize Big Data Course

Les 1 • Hive-architectuur en -componenten

Legt de kerncomponenten van Hive uit: metastore, stuurprogramma, compiler en uitvoeringsengine. Koppelt de architectuur aan het begrip van de querylevenscyclus.

Les 2 • Grondbeginselen en uitdagingen van Big Data

Behandelt de uitdagingen op het gebied van volume, snelheid en variëteit die de adoptie van big data aanjagen. Schetst de context voor het bestaan van gedistribueerde verwerkingstools zoals Hive.

Les 3 • Een Hive-omgeving opzetten

Begeleidt de installatie en configuratie van een lokale of sandbox Hive-omgeving. Biedt praktijkgerichte voorbereiding voor alle volgende hoofdstukken.

Les 1 • Primitieve en complexe gegevenstypen

Behandelt numerieke, string-, booleaanse en datum-primitieven naast de complexe typen ARRAY, MAP en STRUCT. De juiste typekeuze beïnvloedt de opslag en querynauwkeurigheid.

Les 2 • HiveQL-syntaxis en -querystructuur

Introduceert HiveQL als een SQL-dialect met Hive-specifieke uitbreidingen. Behandelt SELECT-, FROM-, WHERE- en ORDER BY-clausules als bouwstenen.

Les 3 • Aggregatie en groepering

Leert GROUP BY, HAVING en aggregatiefuncties voor het samenvatten van datasets. Aggregatie is fundamenteel voor de analytische querypatronen die in de hele cursus worden gebruikt.

Les 4 • Subquery's en Common Table Expressions

Introduceert inline views, subquery's en CTE's met de WITH-clausule voor modulair queryontwerp. Deze patronen komen in latere hoofdstukken voor in complexe analytische query's.

Les 1 • Tabellen partitioneren

Leert statische en dynamische partitionering om full-table scans te verminderen. Partitioneren is de primaire techniek om de queryprestaties op grote tabellen te verbeteren.

Les 2 • Databases aanmaken en beheren

Behandelt CREATE DATABASE, DROP DATABASE en database-eigenschappen. Een goede databaseorganisatie ondersteunt datagovernance in multi-teamomgevingen.

Les 3 • Opslagformaten voor tabellen

Vergelijkt opslagformaten TextFile, SequenceFile, ORC en Parquet. De formatkeuze heeft directe invloed op de querysnelheid en opslagefficiëntie.

Les 4 • Beheerde versus externe tabellen

Onderscheidt beheerde tabellen (Hive-eigen gegevens) van externe tabellen (gebruiker-eigen gegevens). De juiste keuze voorkomt onbedoeld gegevensverlies.

Les 1 • Gegevens laden uit bestanden

Behandelt LOAD DATA LOCAL en LOAD DATA vanaf HDFS-paden. Bestandsgebaseerd laden is het meest voorkomende eerste opnamepatroon in Hive-workflows.

Les 2 • ACID-transacties en CRUD-bewerkingen

Legt de ACID-ondersteuning van Hive uit die UPDATE en DELETE op ORC-tabellen mogelijk maakt. ACID-bewerkingen vereisen specifieke configuratie en tabeleigenschappen.

Les 3 • INSERT- en INSERT OVERWRITE-patronen

Leert INSERT INTO en INSERT OVERWRITE voor querygestuurde gegevenspopulatie. Deze patronen ondersteunen ETL-pijplijnen die volledig binnen HiveQL zijn gebouwd.

Les 1 • Skew-joins en omgaan met gegevensscheefheid

Behandelt joinscheefheid veroorzaakt door veelvoorkomende sleutelwaarden die reducers overbelasten. Skew-join-optimalisatie verdeelt hete sleutels over meerdere taken.

Les 2 • Jointypen en -syntaxis

Behandelt INNER-, LEFT-, RIGHT-, FULL OUTER- en CROSS-joins met HiveQL-syntaxis. Inzicht in join-semantiek voorkomt onjuiste resultaatsets.

Les 3 • UNION, INTERSECT en EXCEPT

Leert setbewerkingen voor het combineren en vergelijken van resultaatsets van verschillende query's. Deze bewerkingen ondersteunen patronen voor deduplicatie en verschilanalyse.

Les 4 • Map-side- en broadcast-joins

Legt map-side-joins uit met de MAPJOIN-hint voor optimalisatie van kleine tabellen. Broadcast-joins elimineren de shuffle-overhead bij joins tussen grote en kleine tabellen.

Les 1 • Het query-uitvoeringsplan begrijpen

Gebruikt EXPLAIN en EXPLAIN EXTENDED om MapReduce- en Tez-uitvoeringsplannen te interpreteren. Het lezen van plannen is de vereiste vaardigheid voor alle optimalisatiebeslissingen.

Les 2 • Tez-uitvoeringsengine afstemmen

Configureert Tez DAG-uitvoering voor verminderde latentie in vergelijking met MapReduce. Tez is de aanbevolen engine voor interactieve en iteratieve Hive-workloads.

Les 3 • Partitiepruning en predicate pushdown

Zorgt ervoor dat query's alleen relevante partities scannen en filters zo vroeg mogelijk toepassen. Deze technieken verminderen I/O, wat de dominante kostenpost is in Hive-query's.

Les 4 • Optimalisatie van bestandsformaat en compressie

Selecteer ORC en Parquet met geschikte compressie-codecs om de scantijd te minimaliseren. Compressie verlaagt zowel de opslagkosten als de netwerk-I/O tijdens query-uitvoering.

Les 1 • Door de gebruiker gedefinieerde tabelfuncties

Bouwt UDTF's die meerdere rijen uit één invoerrij emitteren met behulp van de UDTF-interface. UDTF's ondersteunen het uiteenrafelen van geneste structuren en aangepaste rijgeneratie.

Les 2 • Door de gebruiker gedefinieerde aggregatiefuncties

Implementeert UDAF's met behulp van de UDAF- en GenericUDAF-interfaces voor aangepaste aggregaties. UDAF's werken over reducergroepen heen en vereisen buffermanagement.

Les 3 • Grondbeginselen van UDF-ontwikkeling

Behandelt de UDF-basisklasse, de evaluate-methode en JAR-verpakking voor eenvoudige scalaire functies. UDF's vullen gaten waar ingebouwde functies ontoereikend zijn.

Les 1 • Metastore-beheer en hoge beschikbaarheid

Configureert een externe metastore met een relationele backend en een hoge-beschikbaarheidsopstelling. Betrouwbaarheid van de metastore is cruciaal voor ononderbroken Hive-service in productie.

Les 2 • Autorisatiemodellen: SQL-standaarden en Ranger

Vergelijkt de SQL-standaardautorisatie van Hive met Apache Ranger-beleidsgestuurde controle. Fijnmazige autorisatie dwingt het principe van minimale privileges af op kolomniveau.

Les 3 • Authenticatie en Kerberos-integratie

Configureert op Kerberos gebaseerde authenticatie voor HiveServer2 en clientverbindingen. Authenticatie voorkomt onbevoegde toegang tot gevoelige gegevensactiva.

Les 4 • Datamaskering en encryptie

Past dynamisch datamaskeringsbeleid en HDFS-encryptiezones toe om gevoelige kolommen te beschermen. Maskering maakt analyses op gevoelige gegevens mogelijk zonder onbewerkte waarden bloot te geven.