Kursus Python Data Engineering

Pelajaran 1 • Control Flow dan Iterasi

Terapkan kondisional, loop, dan pemahaman untuk memproses urutan catatan data. Secara langsung sesuai dengan logika transformasi tingkat baris yang digunakan dalam pipeline ETL.

Pelajaran 2 • Fungsi dan Penanganan Kesalahan

Definisikan fungsi yang dapat digunakan kembali dengan argumen, nilai default, dan nilai balik, lalu tangani pengecualian dengan anggun. Memungkinkan kode pipeline yang modular dan toleran terhadap kesalahan.

Pelajaran 3 • Sintaksis dan Tipe Data Inti Python

Mencakup variabel, operator, dan tipe bawaan termasuk string, integer, float, dan boolean. Menyediakan dasar sintaksis untuk menulis logika pipeline data apa pun.

Pelajaran 4 • Koleksi: List, Tuple, Dict, Set

Jelajahi tipe koleksi yang dapat diubah dan tidak dapat diubah beserta pertukaran kinerjanya. Struktur ini mendasari manipulasi data dalam memori di seluruh kursus.

Pelajaran 1 • Format Biner: Parquet dan Avro

Baca dan tulis file Parquet berbasis kolom dan file Avro berbasis baris menggunakan library Python. Format ini adalah standar dalam arsitektur danau data modern.

Pelajaran 2 • Bekerja dengan File Teks dan CSV

Buka, baca, dan tulis file teks menggunakan pengelola konteks, lalu parse CSV dengan library standar. Mencakup format data mentah paling umum dalam pipeline batch.

Pelajaran 3 • Operasi Sistem File dan Path

Navigasi direktori, file glob, dan kelola path menggunakan modul pathlib dan os. Mengotomatiskan langkah penemuan file yang umum dalam alur kerja penyerapan batch.

Pelajaran 1 • Dasar-Dasar DataFrame dan Series

Buat DataFrame dari dict, CSV, dan JSON, lalu periksa struktur dan tipe data. Membentuk fondasi untuk semua pekerjaan transformasi berbasis Pandas.

Pelajaran 2 • Pemfilteran, Pengurutan, dan Pemilihan

Terapkan mask boolean, pemilih loc/iloc, dan operasi pengurutan untuk mengisolasi subset data yang relevan. Mendukung secara langsung pemfilteran kualitas data dalam tahap pipeline.

Pelajaran 3 • Agregasi, Pengelompokan, dan Pivoting

Ringkas data dengan operasi groupby, agg, dan pivot untuk menghasilkan keluaran analitis. Memungkinkan komputasi metrik dan pelaporan dalam alur kerja pipeline.

Pelajaran 4 • Pembersihan Data dan Pemaksaan Tipe

Tangani nilai yang hilang, duplikat, dan tipe yang salah untuk menghasilkan kumpulan data yang bersih dan konsisten. Pembersihan adalah langkah paling memakan waktu dalam pipeline data di dunia nyata.

Pelajaran 1 • Bekerja dengan Basis Data NoSQL

Hubungkan ke penyimpanan dokumen dan pasangan kunci-nilai, lakukan operasi CRUD, dan petakan hasil ke objek Python. Memperluas konektivitas pipeline melampaui sistem relasional.

Pelajaran 2 • Basis Data Relasional dengan SQLAlchemy

Buat koneksi, refleksikan skema, dan jalankan SQL mentah menggunakan API inti SQLAlchemy. Menyediakan lapisan akses yang independen terhadap basis data untuk kode pipeline.

Pelajaran 3 • Connection Pooling dan Praktik Terbaik

Konfigurasi kumpulan koneksi, kelola kredensial dengan aman, dan hindari anti-pola umum. Memastikan keandalan dan keamanan tingkat produksi dalam kode akses basis data.

Pelajaran 1 • Pencatatan Log dan Observabilitas Pipeline

Instrumentasi pipeline dengan pencatatan log terstruktur, metrik, dan peringatan untuk memungkinkan pemantauan operasional. Mengubah skrip menjadi proses yang dapat diamati dan siap produksi.

Pelajaran 2 • Logika Transformasi dan Aturan Bisnis

Implementasikan pemetaan bidang, kolom turunan, dan aturan validasi sebagai fungsi Python murni. Merangkum logika bisnis dalam unit transformasi yang dapat diuji dan digunakan kembali.

Pelajaran 3 • Memuat Data ke Sistem Target

Tulis data yang telah ditransformasi ke basis data, gudang data, dan penyimpanan objek menggunakan konektor Python. Menyelesaikan pipeline dengan mengirimkan data bersih ke tujuannya.

Pelajaran 4 • Arsitektur ETL dan Pola Desain

Pahami tahapan pipeline, aliran data, dan pola desain umum seperti ELT dan arsitektur medali. Menetapkan kerangka konseptual untuk semua pekerjaan implementasi pipeline.

Pelajaran 1 • Infrastructure as Code untuk Pipeline Data

Definisikan sumber daya cloud secara terprogram menggunakan alat IaC berbasis Python untuk mengotomatiskan pengaturan lingkungan. Mengurangi penyediaan manual dan memastikan infrastruktur pipeline yang dapat direproduksi.

Pelajaran 2 • Penyerapan Berbasis Peristiwa dengan Antrean Pesan

Hasilkan dan konsumsi pesan dari antrean dan topik streaming untuk memicu eksekusi pipeline. Menghubungkan pipeline Python ke arsitektur data berbasis peristiwa dan waktu-nyata.

Pelajaran 3 • Berinteraksi dengan Gudang Data Terkelola

Hubungkan ke gudang data cloud melalui konektor Python, jalankan kueri, dan muat data secara efisien. Memungkinkan pipeline Python melayani beban kerja analitis dalam skala besar.

Pelajaran 1 • Penanganan Kesalahan dan Strategi Percobaan Ulang

Konfigurasi percobaan ulang, batas waktu, dan peringatan SLA untuk membuat pipeline yang diorkestrasi tangguh terhadap kegagalan sementara. Secara langsung mengurangi intervensi manual di lingkungan produksi.

Pelajaran 2 • DAG Dinamis dan Parameterisasi

Hasilkan DAG secara terprogram dan berikan parameter runtime ke tugas untuk eksekusi pipeline yang fleksibel. Memungkinkan orkestrasi banyak varian pipeline serupa yang dapat diskalakan.

Pelajaran 3 • Konsep Orkestrasi dan Lanskap Alat

Pahami DAG, dependensi tugas, dan peran orkestrator dalam rekayasa data. Menyediakan fondasi konseptual sebelum mengimplementasikan kode orkestrasi.

Pelajaran 4 • Membangun DAG dengan Apache Airflow

Definisikan DAG, operator, dan dependensi tugas di Airflow menggunakan Python untuk menjadwalkan eksekusi pipeline. Airflow adalah orkestrator yang paling banyak digunakan dalam rekayasa data.

Pelajaran 1 • Kualitas Kode dan Pengemasan

Terapkan gaya dengan linter, periksa tipe dengan mypy, dan kemas kode pipeline sebagai modul Python yang dapat diinstal. Meningkatkan kemudahan pemeliharaan kode ke standar rekayasa perangkat lunak profesional.

Pelajaran 2 • Pengujian Unit dan Integrasi untuk Pipeline

Tulis pengujian unit berbasis pytest untuk fungsi transformasi dan pengujian integrasi untuk interaksi basis data. Pengujian mencegah regresi dan memvalidasi kebenaran pipeline.

Pelajaran 3 • Pemrosesan Paralel dan Konkuren

Terapkan pola multiprocessing, threading, dan async untuk melakukan paralelisasi tugas pipeline yang terikat I/O dan CPU. Secara signifikan mengurangi waktu eksekusi pipeline ujung-ke-ujung.

Pelajaran 4 • Profiling dan Mengoptimalkan Kode Python

Identifikasi hambatan menggunakan alat profiling dan terapkan vektorisasi, chunking, dan caching untuk meningkatkan throughput. Optimasi kinerja sangat penting untuk pipeline data skala besar.