Apache Hive Big Data tanfolyam

1. óra • A Hive architektúrája és összetevői

Ismerteti a Hive alapvető összetevőit: a metaadattárolót, a meghajtót, a fordítóprogramot és a végrehajtómotort. Összekapcsolja az architektúrát a lekérdezés életciklusának megértésével.

2. óra • A big data alapjai és kihívásai

Lefedi a big data bevezetését ösztönző volumen-, sebesség- és változatossági kihívásokat. Kontextust teremt arra, hogy miért léteznek olyan elosztott feldolgozó eszközök, mint a Hive.

3. óra • Hive környezet beállítása

Útmutató egy helyi vagy sandbox Hive környezet telepítéséhez és konfigurálásához. Gyakorlati felkészültséget biztosít az összes további fejezethez.

1. óra • Primitive és összetett adattípusok

Lefedi a numerikus, string, logikai és dátum primitíveket az ARRAY, MAP és STRUCT összetett típusok mellett. A helyes típusválasztás befolyásolja a tárolást és a lekérdezés pontosságát.

2. óra • HiveQL szintaxis és lekérdezés szerkezet

Bemutatja a HiveQL-t mint SQL dialektust Hive-specifikus kiterjesztésekkel. Lefedi a SELECT, FROM, WHERE és ORDER BY klauzulákat mint építőelemeket.

3. óra • Aggregálás és csoportosítás

Megtanítja a GROUP BY, HAVING és aggregát függvények használatát adathalmazok összegzésére. Az aggregálás alapvető az analitikus lekérdezési mintákhoz, amelyeket a kurzus során használnak.

4. óra • Allekérdezések és közös táblakifejezések

Bevezeti a beágyazott nézeteket, allekérdezéseket és a WITH klauzula CTE-it a moduláris lekérdezés-tervezéshez. Ezek a minták összetett analitikus lekérdezésekben jelennek meg a későbbi fejezetekben.

1. óra • Táblák particionálása

Megtanítja a statikus és dinamikus particionálást a teljes tábla átvizsgálások csökkentésére. A particionálás az elsődleges technika a lekérdezési teljesítmény javítására nagy táblákon.

2. óra • Adatbázisok létrehozása és kezelése

Lefedi a CREATE DATABASE, DROP DATABASE parancsokat és az adatbázis tulajdonságokat. A megfelelő adatbázis-szervezés támogatja a több csapatos adatirányítást.

3. óra • Tábla tárolási formátumok

Összehasonlítja a TextFile, SequenceFile, ORC és Parquet tárolási formátumokat. A formátumválasztás közvetlenül befolyásolja a lekérdezés sebességét és a tárolás hatékonyságát.

4. óra • Kezelt vs. külső táblák

Megkülönbözteti a kezelt táblákat (Hive által birtokolt adatok) a külső tábláktól (felhasználó által birtokolt adatok). A helyes választás megakadályozza a véletlen adatvesztést.

1. óra • Adatok betöltése fájlokból

Lefedi a LOAD DATA LOCAL és a LOAD DATA HDFS elérési utakról történő használatát. A fájl alapú betöltés a leggyakoribb kezdeti adatbeviteli minta a Hive munkafolyamatokban.

2. óra • ACID tranzakciók és CRUD műveletek

Elmagyarázza a Hive ACID támogatását, amely lehetővé teszi az UPDATE és DELETE parancsok használatát ORC táblákon. Az ACID műveletek speciális konfigurációt és tábla tulajdonságokat igényelnek.

3. óra • INSERT és INSERT OVERWRITE minták

Megtanítja az INSERT INTO és INSERT OVERWRITE használatát lekérdezés-vezérelt adatpopulációhoz. Ezek a minták támogatják a kizárólag HiveQL-ben épített ETL folyamatokat.

1. óra • Ferde kapcsolások és adatferdeség kezelés

A nagy gyakoriságú kulcsértékek által okozott kapcsolási ferdeséggel foglalkozik, amelyek túlterhelik a reducereket. A ferde kapcsolás optimalizálás elosztja a forró kulcsokat több feladat között.

2. óra • Kapcsolási típusok és szintaxis

Lefedi az INNER, LEFT, RIGHT, FULL OUTER és CROSS kapcsolásokat HiveQL szintaxissal. A kapcsolási szemantika megértése megakadályozza a helytelen eredményhalmazokat.

3. óra • UNION, INTERSECT és EXCEPT

Megtanítja a halmazműveleteket eredményhalmazok kombinálására és összehasonlítására lekérdezésekben. Ezek a műveletek támogatják a deduplikációs és differenciális elemzési mintákat.

4. óra • Map-oldali és szórásos kapcsolások

Elmagyarázza a map-oldali kapcsolásokat a MAPJOIN utalás használatával kis táblák optimalizálására. A szórásos kapcsolások kiküszöbölik a shuffle overheadet a nagy tábla és kis tábla közötti kapcsolásokban.

1. óra • A lekérdezés végrehajtási tervének megértése

Az EXPLAIN és EXPLAIN EXTENDED használata a MapReduce és Tez végrehajtási tervek értelmezéséhez. A tervek olvasása az előfeltétele minden optimalizálási döntésnek.

2. óra • Tez végrehajtó motor hangolás

A Tez DAG végrehajtás konfigurálása a kisebb késleltetés érdekében a MapReduce-hoz képest. A Tez az ajánlott motor interaktív és iteratív Hive munkaterhelésekhez.

3. óra • Partíció metszés és predikátum lenyomás

Biztosítja, hogy a lekérdezések csak a releváns partíciókat vizsgálják át, és a szűrőket a lehető legkorábban lenyomják. Ezek a technikák csökkentik az I/O-t, ami a domináns költség a Hive lekérdezésekben.

4. óra • Fájlformátum és tömörítés optimalizálás

Válassza az ORC-t és a Parquet-t a megfelelő tömörítési kodekkel a beolvasási idő minimalizálása érdekében. A tömörítés csökkenti a tárolási költséget és a hálózati I/O-t a lekérdezés végrehajtása során.

1. óra • Felhasználó által definiált táblafüggvények

UDTF-eket épít, amelyek több sort állítanak elő egyetlen bemeneti sorból az UDTF interfész segítségével. Az UDTF-ek támogatják a beágyazott struktúrák kibontását és egyéni sor generálást.

2. óra • Felhasználó által definiált aggregát függvények

UDAF-eket valósít meg az UDAF és GenericUDAF interfészek segítségével egyéni aggregációkhoz. Az UDAF-ek reducer csoportokon át működnek, és puffer kezelést igényelnek.

3. óra • UDF fejlesztés alapjai

Lefedi az UDF alaposztályt, az evaluate metódust és a JAR csomagolást egyszerű skalár függvényekhez. Az UDF-ek kitöltik a hiányosságokat, ahol a beépített függvények nem elegendőek.

1. óra • Metastore kezelés és magas rendelkezésre állás

Konfigurál egy távoli metastore-t relációs háttérrendszerrel és magas rendelkezésre állású beállítással. A metastore megbízhatósága kritikus a megszakítás nélküli Hive szolgáltatáshoz éles környezetben.

2. óra • Engedélyezési modellek: SQL szabványok és Ranger

Összehasonlítja a Hive SQL szabvány engedélyezést az Apache Ranger szabályzatalapú vezérlésével. A részletes engedélyezés kikényszeríti a legkisebb jogosultság elvét oszlop szinten.

3. óra • Hitelesítés és Kerberos integráció

Konfigurálja a Kerberos alapú hitelesítést a HiveServer2 és a kliens kapcsolatok számára. A hitelesítés megakadályozza a jogosulatlan hozzáférést az érzékeny adatvagyonhoz.

4. óra • Adatmaszkolás és titkosítás

Dinamikus adatmaszkolási szabályzatokat és HDFS titkosítási zónákat alkalmaz az érzékeny oszlopok védelmére. A maszkolás lehetővé teszi az elemzést érzékeny adatokon anélkül, hogy felfedné a nyers értékeket.