Kursus Analytics Engineering

Pelajaran 1 • Gambaran Umum Tumpukan Data Modern

Memetakan kategori alat yang membentuk platform data kontemporer. Menyediakan kosakata yang digunakan di seluruh kursus.

Pelajaran 2 • Dasar-dasar Kontrol Versi untuk Tim Data

Mencakup alur kerja Git yang diadaptasi untuk basis kode analitik. Menghubungkan kontrol sumber dengan pekerjaan data yang kolaboratif dan dapat direproduksi.

Pelajaran 3 • Penyegaran SQL untuk Analitik

Meninjau konstruksi SQL yang paling penting untuk transformasi analitis. Memastikan dasar yang sama sebelum pola kueri lanjutan diperkenalkan.

Pelajaran 4 • Dasar-dasar Pemodelan Data

Memperkenalkan konsep relasional dan paradigma pemodelan yang digunakan untuk menyusun data analitis. Mendasari siswa dalam teori sebelum pekerjaan transformasi langsung.

Pelajaran 1 • SQL Lanjutan untuk Gudang Data

Memperluas keterampilan SQL ke fungsi khusus gudang dan pola kinerja. Membangun kefasihan penulisan kueri yang diperlukan untuk transformasi kompleks.

Pelajaran 2 • Memuat dan Menyiapkan Data

Mencakup pemuatan massal, format file, dan pola area penyiapan untuk penyerapan data mentah. Menghubungkan penyerapan ke alur kerja transformasi.

Pelajaran 3 • Kontrol Akses dan Dasar-dasar Tata Kelola Data

Memperkenalkan kontrol akses berbasis peran, pemblokiran data, dan izin tingkat skema. Membangun kebiasaan tata kelola sebelum jalur pipa produksi dibangun.

Pelajaran 4 • Arsitektur Gudang Data Cloud

Menjelaskan pemisahan komputasi-penyimpanan, gudang virtual, dan model eksekusi kueri. Menyediakan konteks arsitektur yang diperlukan untuk menulis SQL yang efisien.

Pelajaran 1 • Dokumentasi dan DAG dbt

Mengajarkan deskripsi model, dokumentasi tingkat kolom, dan visualisasi DAG. Menghasilkan jalur pipa yang mendokumentasikan diri sendiri yang mendukung kolaborasi tim.

Pelajaran 2 • Model Inkremental dan Kinerja

Pendalaman strategi inkremental untuk tabel besar. Menyeimbangkan kesegaran, biaya, dan kebenaran dalam jalur pipa produksi.

Pelajaran 3 • Membangun Model dan Materialisasi

Mencakup file model SQL, fungsi ref(), dan jenis materialisasi. Mengajarkan bagaimana dbt mengkompilasi dan mengeksekusi logika transformasi.

Pelajaran 4 • Makro, Paket, dan Jinja

Memperluas dbt dengan makro Jinja yang dapat digunakan kembali dan paket komunitas. Mengurangi duplikasi kode dan mempercepat pengembangan proyek.

Pelajaran 5 • Struktur dan Pengaturan Proyek dbt

Memandu melalui inisialisasi proyek, tata letak direktori, dan konfigurasi profil. Menetapkan kerangka proyek yang digunakan dalam semua pekerjaan dbt selanjutnya.

Pelajaran 1 • Pola Penggunaan Kembali dan Modularitas

Mengajarkan prinsip DRY yang diterapkan pada model data melalui makro dan lapisan penyiapan bersama. Mengurangi beban pemeliharaan dalam proyek yang berkembang.

Pelajaran 2 • Menangani Hubungan Data yang Kompleks

Membahas hubungan banyak-ke-banyak, tabel jembatan, dan hierarki. Membekali siswa untuk memodelkan kompleksitas bisnis dunia nyata secara akurat.

Pelajaran 3 • Pemodelan Dimensional dalam Praktik

Menerapkan desain skema bintang ke kasus penggunaan analitis nyata. Menerjemahkan teori dari Bab 1 ke dalam model dbt yang siap produksi.

Pelajaran 4 • Satu Tabel Besar vs. Mart yang Dinormalisasi

Membandingkan tabel denormalisasi lebar dengan struktur mart yang dinormalisasi. Memandu siswa dalam memilih pola yang tepat untuk setiap kasus penggunaan.

Pelajaran 1 • Pemberitahuan, Pemantauan, dan Perbaikan

Membangun jalur pipa pemberitahuan dan alur kerja respons insiden untuk kegagalan kualitas data. Menutup siklus antara deteksi dan resolusi.

Pelajaran 2 • Great Expectations dan Kerangka Kerja Kustom

Menerapkan kerangka kualitas data khusus bersama dengan pengujian dbt. Menyediakan kemampuan validasi yang lebih kaya untuk persyaratan kualitas yang kompleks.

Pelajaran 3 • Pengujian Statistik dan Distribusi

Memperkenalkan pemeriksaan volume, pemantauan distribusi, dan deteksi anomali untuk data numerik. Menangkap penyimpangan data halus yang terlewatkan oleh pengujian struktural.

Pelajaran 4 • Dimensi Kualitas Data

Mendefinisikan kelengkapan, akurasi, konsistensi, ketepatan waktu, dan keunikan sebagai dimensi kualitas yang terukur. Membingkai strategi pengujian untuk seluruh bab.

Pelajaran 1 • Membangun Alur Kerja dengan Airflow

Mencakup penulisan DAG Airflow, operator, dan koneksi. Menerjemahkan konsep orkestrasi ke dalam kode jalur pipa yang berfungsi.

Pelajaran 2 • Pemantauan dan Observabilitas untuk Jalur Pipa

Memperkenalkan metadata jalur pipa, riwayat proses, dan integrasi pemantauan eksternal. Menyediakan visibilitas ke dalam kesehatan jalur pipa dalam skala besar.

Pelajaran 3 • Penjadwalan dan Manajemen Dependensi

Mengajarkan ekspresi cron, penjadwalan sadar data, dan dependensi lintas DAG. Memastikan jalur pipa berjalan dalam urutan yang benar dengan waktu yang tepat.

Pelajaran 4 • Konsep dan Alat Orkestrasi

Memperkenalkan orkestrasi berbasis DAG, dependensi tugas, dan lanskap orkestrator. Menyediakan landasan konseptual sebelum pekerjaan alat langsung.

Pelajaran 1 • Manajemen Biaya dalam Produksi

Menerapkan kontrol biaya gudang, anggaran kueri, dan penandaan sumber daya ke jalur pipa produksi. Menyeimbangkan kinerja dengan biaya operasional.

Pelajaran 2 • Respons Insiden untuk Jalur Pipa Data

Menetapkan buku pedoman, praktik piket, dan proses pascamortem untuk insiden data. Mengurangi waktu rata-rata pemulihan untuk kegagalan produksi.

Pelajaran 3 • Manajemen Rahasia dan Konfigurasi

Mencakup penyimpanan kredensial yang aman, variabel lingkungan, dan pengelola rahasia. Mencegah paparan kredensial dalam basis kode analitik.

Pelajaran 4 • CI/CD untuk Jalur Pipa Data

Menerapkan pengujian otomatis dan jalur pipa penerapan untuk proyek dbt. Membawa disiplin rekayasa perangkat lunak ke alur kerja transformasi data.

Pelajaran 1 • Pemodelan Entitas dan Dimensi

Mendesain hubungan entitas dan hierarki dimensi dalam lapisan semantik. Memungkinkan pemotongan dan pemfilteran yang konsisten di semua metrik.

Pelajaran 2 • Konsep Lapisan Metrik

Menjelaskan mengapa lapisan metrik terpusat menghilangkan inkonsistensi metrik di seluruh alat. Memotivasi pekerjaan pemodelan semantik yang mengikuti.

Pelajaran 3 • Mendefinisikan Metrik dengan Lapisan Semantik dbt

Mencakup sintaks MetricFlow untuk mendefinisikan ukuran, dimensi, dan metrik di dbt. Menghasilkan definisi metrik yang dapat digunakan kembali yang dapat dikonsumsi oleh alat BI mana pun.

Pelajaran 4 • Tata Kelola dan Pembuatan Versi Metrik

Menetapkan kepemilikan, manajemen perubahan, dan praktik pembuatan versi untuk definisi metrik. Mempertahankan kepercayaan pada metrik seiring berkembangnya bisnis.