Apache Hive: Design, Query, and Optimize Big Data Course

Pelajaran 1 • Arsitektur dan Komponen Hive

Menjelaskan komponen inti Hive: metastore, driver, kompiler, dan mesin eksekusi. Menghubungkan arsitektur dengan pemahaman siklus hidup kueri.

Pelajaran 2 • Fundamental Big Data dan Tantangannya

Mencakup tantangan volume, kecepatan, dan variasi yang mendorong adopsi big data. Menetapkan konteks mengapa alat pemrosesan terdistribusi seperti Hive ada.

Pelajaran 3 • Menyiapkan Lingkungan Hive

Memandu instalasi dan konfigurasi lingkungan Hive lokal atau sandbox. Memberikan kesiapan praktik untuk semua bab selanjutnya.

Pelajaran 1 • Tipe Data Primitif dan Kompleks

Mencakup primitif numerik, string, boolean, dan tanggal bersama tipe kompleks ARRAY, MAP, dan STRUCT. Pemilihan tipe yang benar memengaruhi penyimpanan dan akurasi kueri.

Pelajaran 2 • Sintaks HiveQL dan Struktur Kueri

Memperkenalkan HiveQL sebagai dialek SQL dengan ekstensi khusus Hive. Mencakup klausa SELECT, FROM, WHERE, dan ORDER BY sebagai blok bangunan.

Pelajaran 3 • Agregasi dan Pengelompokan

Mengajarkan GROUP BY, HAVING, dan fungsi agregat untuk meringkas dataset. Agregasi merupakan dasar pola kueri analitis yang digunakan di seluruh kursus.

Pelajaran 4 • Subkueri dan Common Table Expressions

Memperkenalkan tampilan inline, subkueri, dan CTE klausa WITH untuk desain kueri modular. Pola-pola ini muncul dalam kueri analitis kompleks di bab-bab selanjutnya.

Pelajaran 1 • Partisi Tabel

Mengajarkan partisi statis dan dinamis untuk mengurangi pemindaian tabel penuh. Partisi adalah teknik utama untuk meningkatkan performa kueri pada tabel besar.

Pelajaran 2 • Membuat dan Mengelola Database

Mencakup CREATE DATABASE, DROP DATABASE, dan properti database. Organisasi database yang tepat mendukung tata kelola data multi-tim.

Pelajaran 3 • Format Penyimpanan Tabel

Membandingkan format penyimpanan TextFile, SequenceFile, ORC, dan Parquet. Pilihan format secara langsung berdampak pada kecepatan kueri dan efisiensi penyimpanan.

Pelajaran 4 • Tabel Terkelola vs. Eksternal

Membedakan tabel terkelola (data milik Hive) dari tabel eksternal (data milik pengguna). Memilih dengan benar mencegah kehilangan data yang tidak disengaja.

Pelajaran 1 • Memuat Data dari File

Mencakup LOAD DATA LOCAL dan LOAD DATA dari jalur HDFS. Pemuatan berbasis file adalah pola injeksi awal yang paling umum dalam alur kerja Hive.

Pelajaran 2 • Transaksi ACID dan Operasi CRUD

Menjelaskan dukungan ACID Hive yang memungkinkan UPDATE dan DELETE pada tabel ORC. Operasi ACID memerlukan konfigurasi dan properti tabel tertentu.

Pelajaran 3 • Pola INSERT dan INSERT OVERWRITE

Mengajarkan INSERT INTO dan INSERT OVERWRITE untuk populasi data berbasis kueri. Pola-pola ini mendukung pipeline ETL yang dibangun sepenuhnya dalam HiveQL.

Pelajaran 1 • Skew Join dan Penanganan Skew Data

Mengatasi skew join yang disebabkan oleh nilai kunci frekuensi tinggi yang membebani reducer. Optimasi skew join mendistribusikan kunci panas ke beberapa tugas.

Pelajaran 2 • Jenis Join dan Sintaks

Mencakup join INNER, LEFT, RIGHT, FULL OUTER, dan CROSS dengan sintaks HiveQL. Memahami semantik join mencegah kumpulan hasil yang salah.

Pelajaran 3 • UNION, INTERSECT, dan EXCEPT

Mengajarkan operasi himpunan untuk menggabungkan dan membandingkan kumpulan hasil antar kueri. Operasi ini mendukung pola deduplikasi dan analisis diferensial.

Pelajaran 4 • Map-Side dan Broadcast Join

Menjelaskan map-side join menggunakan petunjuk MAPJOIN untuk optimasi tabel kecil. Broadcast join menghilangkan overhead shuffle dalam join antara tabel besar dan kecil.

Pelajaran 1 • Memahami Rencana Eksekusi Kueri

Menggunakan EXPLAIN dan EXPLAIN EXTENDED untuk menginterpretasi rencana eksekusi MapReduce dan Tez. Membaca rencana adalah keterampilan prasyarat untuk semua keputusan optimasi.

Pelajaran 2 • Penyetelan Mesin Eksekusi Tez

Mengonfigurasi eksekusi DAG Tez untuk latensi yang lebih rendah dibandingkan MapReduce. Tez adalah mesin yang direkomendasikan untuk beban kerja Hive interaktif dan iteratif.

Pelajaran 3 • Pemangkasan Partisi dan Predicate Pushdown

Memastikan kueri hanya memindai partisi yang relevan dan mendorong filter sedini mungkin. Teknik ini mengurangi I/O, yang merupakan biaya dominan dalam kueri Hive.

Pelajaran 4 • Optimasi Format File dan Kompresi

Memilih ORC dan Parquet dengan codec kompresi yang sesuai untuk meminimalkan waktu pemindaian. Kompresi mengurangi biaya penyimpanan dan I/O jaringan selama eksekusi kueri.

Pelajaran 1 • Fungsi Tabel Buatan Pengguna

Membangun UDTF yang menghasilkan beberapa baris dari satu baris input menggunakan antarmuka UDTF. UDTF mendukung penguraian struktur bersarang dan pembuatan baris kustom.

Pelajaran 2 • Fungsi Agregat Buatan Pengguna

Mengimplementasikan UDAF menggunakan antarmuka UDAF dan GenericUDAF untuk agregasi kustom. UDAF beroperasi di seluruh grup reducer dan memerlukan manajemen buffer.

Pelajaran 3 • Dasar Pengembangan UDF

Mencakup kelas dasar UDF, metode evaluate, dan pengemasan JAR untuk fungsi skalar sederhana. UDF mengisi celah di mana fungsi bawaan tidak mencukupi.

Pelajaran 1 • Manajemen Metastore dan Ketersediaan Tinggi

Mengonfigurasi metastore jarak jauh dengan backend relasional dan pengaturan ketersediaan tinggi. Keandalan metastore sangat penting untuk layanan Hive yang tidak terputus di produksi.

Pelajaran 2 • Model Otorisasi: Standar SQL dan Ranger

Membandingkan otorisasi standar SQL Hive dengan kontrol berbasis kebijakan Apache Ranger. Otorisasi terperinci menegakkan akses hak istimewa minimal di tingkat kolom.

Pelajaran 3 • Autentikasi dan Integrasi Kerberos

Mengonfigurasi autentikasi berbasis Kerberos untuk HiveServer2 dan koneksi klien. Autentikasi mencegah akses tidak sah ke aset data sensitif.

Pelajaran 4 • Masking Data dan Enkripsi

Menerapkan kebijakan masking data dinamis dan zona enkripsi HDFS untuk melindungi kolom sensitif. Masking memungkinkan analitik pada data sensitif tanpa mengekspos nilai mentah.