Training Apache HBase Implementatie

Les 1 • HBase versus andere NoSQL-opslagsystemen

Vergelijkt HBase met document-, sleutel-waarde- en brede-kolom tegenhangers op het gebied van consistentie, latentie en doorvoer. Begeleidt studenten bij het selecteren van HBase voor geschikte workloads.

Les 2 • HBase-architectuuroverzicht

Introduceert het master-regionserver-model van HBase en de relatie met HDFS. Biedt het structurele mentale model dat nodig is voor alle volgende hoofdstukken.

Les 3 • Uitdagingen bij Big Data-opslag

Onderzoekt volume-, snelheids- en variëteitsproblemen die relationele databases niet aankunnen. Zet de motivatie voor kolomgebaseerde NoSQL-oplossingen zoals HBase.

Les 1 • Pseudo-gedistribueerde modus instellen

Configureert HBase om HDFS op één enkele machine te gebruiken, waarmee een cluster wordt gesimuleerd. Introduceert hbase-site.xml-parameters die het gedrag van de distributie bepalen.

Les 2 • Standalone modus installatie

Doorloopt een single-node HBase-installatie voor ontwikkeling en testen. Valideert de installatie met basis shell-commando's voordat wordt overgegaan naar gedistribueerde modi.

Les 3 • Omgevingsvereisten en planning

Behandelt Java-, Hadoop- en besturingssysteemvereisten voor elke installatiestap. Voorkomt veelvoorkomende installatiefouten door afhankelijkheidsconflicten vooraf aan te pakken.

Les 4 • Kernconfiguratieparameters

Stemt hbase-site.xml, hbase-env.sh en JVM-heap-instellingen af voor stabiliteit. Koppelt configuratiekeuzes aan prestatie- en betrouwbaarheidsresultaten.

Les 1 • Gegevens bijwerken en verwijderen

Legt het append-only-schrijfmodel van HBase uit en hoe verwijderingen tombstone-markeringen gebruiken. Studenten oefenen veilige verwijderingspatronen om onbedoeld gegevensverlies te voorkomen.

Les 2 • Navigeren in de HBase-shell

Introduceert shell-commando's, helpsysteem en scriptmogelijkheden. Creëert efficiënte shell-gebruiksgewoonten voordat gegevensbewerkingen worden uitgevoerd.

Les 3 • Tabel- en schemabeheer

Behandelt create, alter, disable, enable en drop-commando's voor tabellen. Leert schema-ontwerpbeslissingen die van invloed zijn op opslagefficiëntie en queryprestaties.

Les 4 • Gegevens in bulk laden

Gebruikt de ImportTsv- en completebulkload-tools om grote datasets efficiënt te laden. Vermijdt knelpunten in het schrijfpad door direct HFiles te genereren.

Les 1 • Salting- en hash-technieken

Past salting-voorvoegsels en hash-gebaseerde sleutels toe om schrijfbewerkingen over regio's te spreiden. Studenten meten de verbetering van de distributie met behulp van regioserverbelastingsstatistieken.

Les 2 • Strategieën voor kolomfamilieontwerp

Begeleidt beslissingen over het aantal kolomfamilies, blokgrootte en compressie. Koppelt instellingen op familieniveau aan het gedrag van MemStore en HFile.

Les 3 • Schemapatronen voor veelvoorkomende gebruiksscenario's

Past tijdreeks-, entiteit-kenmerk-waarde- en geïnverteerde-indexpatronen toe op echte scenario's. Studenten evalueren de scan- en opslagkosten van elk patroon.

Les 4 • Ontwerpprincipes voor rijsleutels

Legt uit hoe de structuur van de rijsleutel de gegevensdistributie en scanefficiëntie bepaalt. Stelt de fundamentele regels vast voordat specifieke ontwerppatronen worden geïntroduceerd.

Les 1 • Compactietypen en -beleid

Onderscheidt kleine en grote compacties en hun impact op leesamplificatie en opslag. Studenten configureren compactiebeleid om de schrijf- en leeskosten in evenwicht te brengen.

Les 2 • Regio's splitsen en samenvoegen

Legt automatische en handmatige triggers voor regiosplitsing en de splitsingsprocedure uit. Behandelt het samenvoegen van regio's om kleine regio's te consolideren en overhead te verminderen.

Les 3 • WAL- en duurzaamheidsconfiguratie

Configureert WAL-synchronisatiemodi, replicatiefactor en WAL-compressie voor een balans tussen duurzaamheid en prestaties. Legt gegevensherstel uit vanuit WAL na een crash.

Les 4 • Schrijfpad en MemStore

Volgt een clientschrijfbewerking door WAL, MemStore en uiteindelijke HFile-flush. Legt duurzaamheidsgaranties en flush-triggercondities uit.

Les 1 • Filters en geavanceerde query's

Implementeert server-side filters om netwerkoverdracht en client-side verwerking te verminderen. Behandelt de constructie van rij-, kolom-, waarde- en samengestelde filters.

Les 2 • Scan API en resultaatiteratie

Gebruikt de Scan-klasse met start-/stop-rijen, filters en caching-hints voor efficiënte bereikleesbewerkingen. Leert de levenscyclus van ResultScanner en het opruimen van bronnen.

Les 3 • De Java-client instellen

Configureert Maven- of Gradle-afhankelijkheden en maakt een Connection-object. Behandelt configuratieladen en beheer van de verbindingslevenscyclus.

Les 4 • Batch- en mutatiebewerkingen

Voert bulk-put- en delete-bewerkingen uit met Table.batch en BufferedMutator voor optimalisatie van de doorvoer. Verwerkt gedeeltelijke fouten in batchresultaatreeksen.

Les 1 • JVM- en garbage collection-afstemming

Configureert G1GC- en CMS-instellingen om de impact van GC-pauzes op RegionServer-latentie te verminderen. Koppelt heap-grootte aan MemStore- en BlockCache-toewijzing.

Les 2 • Lees- en schrijfpadoptimalisatie

Stemt scan-caching, batchgroottes en schrijfbufferparameters af om de doorvoer te maximaliseren. Past client-side en server-side instellingen in combinatie toe.

Les 3 • HBase-statistieken en JMX-monitoring

Verzamelt HBase-statistieken via JMX, Hadoop metrics2 en REST-eindpunten. Identificeert belangrijke indicatoren voor leeslatentie, compactiewachtrij en regio-balans.

Les 4 • Optimalisatie van besturingssysteem en netwerk

Stemt Linux-kernelparameters, schijf-I/O-planners en netwerkbuffers af voor HBase-workloads. Voorkomt dat knelpunten op besturingssysteemniveau de winst van HBase-afstemming maskeren.

Les 1 • RegionServer-fouttolerantie

Legt region-toewijzing na een RegionServer-storing en WAL-gebaseerd herstel uit. Stemt snelheidsparameters voor herstel af om perioden van onbeschikbaarheid te minimaliseren.

Les 2 • HBase-replicatiearchitectuur

Configureert WAL-gebaseerde asynchrone replicatie tussen bron- en peer-clusters. Legt replicatiebereik, peerbeheer en monitoring van replicatievertraging uit.

Les 3 • HMaster hoge beschikbaarheid

Implementeert back-up HMaster-instanties en configureert ZooKeeper-gebaseerde leiderverkiezing. Test automatische failover door actieve master-storing te simuleren.

Les 4 • ZooKeeper-quorumbeheer

Bepaalt de grootte van en configureert een ZooKeeper-ensemble voor HBase-coördinatiebetrouwbaarheid. Behandelt afstemming van sessie-time-out en beheer van de ZooKeeper-gegevensdirectory.