Kurz implementace Apache HBase pro Big Data

Lekce 1 • HBase ve srovnání s jinými NoSQL úložišti

Porovnává HBase s dokumentovými, klíč-hodnota a širokosloupcovými úložišti z hlediska konzistence, latence a propustnosti. Navádí studenty při výběru HBase pro vhodné pracovní zátěže.

Lekce 2 • Přehled architektury HBase

Představuje model HBase master-region server a jeho vztah k HDFS. Poskytuje strukturální mentální model potřebný pro všechny následující kapitoly.

Lekce 3 • Výzvy úložiště velkých dat

Zkoumá problémy objemu, rychlosti a rozmanitosti, které relační databáze nedokážou zvládnout. Stanovuje motivaci pro sloupcová NoSQL řešení, jako je HBase.

Lekce 1 • Nastavení pseudo-distribuovaného režimu

Konfiguruje HBase pro použití HDFS na jednom počítači, čímž simuluje cluster. Představuje parametry souboru hbase-site.xml, které řídí distribuované chování.

Lekce 2 • Instalace v samostatném režimu

Provede nastavením HBase na jednom uzlu pro vývoj a testování. Před přechodem k distribuovaným režimům ověří instalaci pomocí základních příkazů shellu.

Lekce 3 • Předpoklady prostředí a plánování

Pokrývá požadavky na Javu, Hadoop a OS před jakýmkoli instalačním krokem. Předchází běžným selháním nastavení tím, že předem řeší konflikty závislostí.

Lekce 4 • Základní konfigurační parametry

Ladí hbase-site.xml, hbase-env.sh a nastavení haldy JVM pro stabilitu. Propojuje volby konfigurace s výsledky výkonu a spolehlivosti.

Lekce 1 • Aktualizace a mazání dat

Vysvětluje model zápisu HBase pouze s přidáváním a způsob, jakým mazání používá značky náhrobků (tombstone). Studenti si procvičí bezpečné vzory mazání, aby se vyhnuli nechtěné ztrátě dat.

Lekce 2 • Navigace v shellu HBase

Představuje příkazy shellu, systém nápovědy a možnosti skriptování. Před prováděním datových operací zavádí efektivní návyky používání shellu.

Lekce 3 • Správa tabulek a schémat

Pokrývá příkazy create, alter, disable, enable a drop pro tabulky. Učí návrhová rozhodnutí schématu, která ovlivňují efektivitu úložiště a výkon dotazů.

Lekce 4 • Hromadné načítání dat

Používá nástroje ImportTsv a completebulkload k efektivnímu načítání velkých datových sad. Vyhýbá se úzkým místům cesty zápisu přímým generováním HFiles.

Lekce 1 • Techniky solení a hashování

Aplikuje solené prefixy a klíče založené na hashi k distribuci zápisů napříč regiony. Studenti měří zlepšení distribuce pomocí metrik zatížení region serveru.

Lekce 2 • Strategie návrhu rodin sloupců

Navádí rozhodnutí o počtu rodin sloupců, velikosti bloku a kompresi. Propojuje nastavení na úrovni rodiny s chováním MemStore a HFile.

Lekce 3 • Vzory schémat pro běžné případy použití

Aplikuje vzory časových řad, entita-atribut-hodnota a invertovaný index na reálné scénáře. Studenti vyhodnocují náklady na skenování a úložiště každého vzoru.

Lekce 4 • Principy návrhu klíče řádku

Vysvětluje, jak struktura klíče řádku určuje distribuci dat a efektivitu skenování. Před představením specifických návrhových vzorů stanovuje základní pravidla.

Lekce 1 • Typy kompakce a politiky

Rozlišuje menší a hlavní kompakce a jejich dopad na zesílení čtení a úložiště. Studenti konfigurují politiky kompakce tak, aby vyvážily náklady na zápis a čtení.

Lekce 2 • Rozdělování a slučování regionů

Vysvětluje automatické a manuální spouštěče rozdělení regionů a postup rozdělení. Pokrývá slučování regionů pro konsolidaci malých regionů a snížení režie.

Lekce 3 • Konfigurace WAL a trvanlivosti

Konfiguruje režimy synchronizace WAL, replikační faktor a kompresi WAL pro vyvážení trvanlivosti a výkonu. Vysvětluje obnovu dat z WAL po havárii.

Lekce 4 • Cesta zápisu a MemStore

Sleduje zápis klienta přes WAL, MemStore a případné vyprázdnění do HFile. Vysvětluje záruky trvanlivosti a podmínky spouštění vyprázdnění.

Lekce 1 • Filtry a pokročilé dotazy

Implementuje filtry na straně serveru pro snížení síťového přenosu a zpracování na straně klienta. Pokrývá konstrukci řádkových, sloupcových, hodnotových a složených filtrů.

Lekce 2 • Scan API a iterace výsledků

Používá třídu Scan s počátečními/koncovými řádky, filtry a pokyny pro ukládání do mezipaměti pro efektivní čtení rozsahů. Učí životní cyklus ResultScanner a čištění zdrojů.

Lekce 3 • Nastavení Java klienta

Konfiguruje závislosti Maven nebo Gradle a vytváří objekt Connection. Pokrývá načítání konfigurace a správu životního cyklu připojení.

Lekce 4 • Dávkové a mutační operace

Provádí hromadné vkládání a mazání pomocí Table.batch a BufferedMutator pro optimalizaci propustnosti. Zpracovává částečná selhání v polích výsledků dávek.

Lekce 1 • Správa paměti s automatickým uvolňováním (Garbage Collection)

Konfiguruje nastavení G1GC a CMS pro snížení dopadu pauz GC na latenci RegionServeru. Propojuje dimenzování haldy s alokací MemStore a BlockCache.

Lekce 2 • Optimalizace cesty čtení a zápisu

Ladí parametry ukládání scanu do mezipaměti, velikosti dávek a vyrovnávací paměti pro zápis pro maximalizaci propustnosti. Aplikuje nastavení na straně klienta a serveru v kombinaci.

Lekce 3 • Metriky HBase a monitorování JMX

Shromažďuje metriky HBase prostřednictvím JMX, Hadoop metrics2 a REST koncových bodů. Identifikuje klíčové indikátory pro latenci čtení, frontu kompakce a vyvážení regionů.

Lekce 4 • Optimalizace OS a sítě

Ladí parametry linuxového jádra, plánovače I/O disku a síťové vyrovnávací paměti pro pracovní zátěže HBase. Zabraňuje úzkým místům na úrovni OS, která by maskovala přínosy ladění HBase.

Lekce 1 • Odolnost RegionServeru proti chybám

Vysvětluje opětovné přiřazení regionů po selhání RegionServeru a obnovu založenou na WAL. Ladí parametry rychlosti obnovy, aby se minimalizovala okna nedostupnosti.

Lekce 2 • Architektura replikace HBase

Konfiguruje asynchronní replikaci založenou na WAL mezi zdrojovým a cílovým clusterem. Vysvětluje rozsah replikace, správu partnerů a monitorování zpoždění replikace.

Lekce 3 • Vysoká dostupnost HMaster

Nasazuje záložní instance HMaster a konfiguruje volbu vůdce založenou na ZooKeeper. Testuje automatické převzetí služeb při selhání simulací selhání aktivního masteru.

Lekce 4 • Správa kvora ZooKeeper

Dimenzuje a konfiguruje soubor ZooKeeper pro spolehlivost koordinace HBase. Pokrývá ladění časového limitu relace a správu datového adresáře ZooKeeper.