Databricks ML in Action Course

Pelajaran 1 • Notebook dan Pengembangan Kolaboratif

Memperkenalkan pembuatan notebook, magic command, dan fitur penulisan bersama. Membangun kebiasaan pengembangan yang dapat direproduksi yang digunakan di semua eksperimen ML selanjutnya.

Pelajaran 2 • Arsitektur Workspace dan Navigasi

Mencakup control plane, data plane, dan UI workspace Databricks. Mendasari siswa dalam lingkungan yang akan mereka gunakan di setiap bab selanjutnya.

Pelajaran 3 • Akses Data dan Integrasi Penyimpanan

Menjelaskan mount point, Unity Catalog, dan manajemen kredensial untuk penyimpanan awan. Memungkinkan akses data yang aman dan konsisten yang diperlukan untuk pipeline ML.

Pelajaran 4 • Dasar-Dasar Databricks CLI dan REST API

Memperkenalkan kontrol workspace secara terprogram melalui CLI dan endpoint REST. Mempersiapkan siswa untuk mengotomatiskan tugas dan mengintegrasikan Databricks ke dalam rantai alat eksternal.

Pelajaran 1 • Delta Live Tables untuk Orkestrasi Pipeline

Memperkenalkan definisi pipeline deklaratif, ekspektasi, dan pelacakan lineage. Mengotomatiskan penegakan kualitas data multi-tahap sebelum fitur mencapai pelatihan model.

Pelajaran 2 • Transformasi Data dengan Spark SQL

Mencakup agregasi, window function, dan penanganan tipe kompleks di Spark SQL. Mentransformasi data mentah menjadi fitur terstruktur yang dikonsumsi oleh model ML.

Pelajaran 3 • Konsep Inti Apache Spark

Mencakup RDD, DataFrame, dan model eksekusi Spark. Menyediakan fondasi komputasi untuk semua tugas pemrosesan data di bab ML selanjutnya.

Pelajaran 4 • Delta Lake untuk Beban Kerja ML

Memperkenalkan transaksi ACID, time travel, dan optimasi tabel Delta. Memastikan keandalan dan reprodusibilitas data di seluruh eksperimen ML berulang.

Pelajaran 1 • Menghilangkan Training-Serving Skew

Membahas konsistensi antara data pelatihan offline dan fitur serving online. Siswa mengimplementasikan pembuatan set pelatihan berbasis pencarian yang mencerminkan jalur inferensi produksi.

Pelajaran 2 • Arsitektur Databricks Feature Store

Menjelaskan tabel Feature Store, metadata, dan pemisahan offline-online. Siswa memahami bagaimana fitur disimpan, diberi versi, dan diambil untuk pelatihan dan serving.

Pelajaran 3 • Menulis dan Membaca Tabel Fitur

Mengajarkan API write dan read untuk pembaruan fitur batch dan streaming. Menghubungkan pipeline injesti dari Bab 2 ke alur kerja pelatihan model hilir.

Pelajaran 4 • Dasar-Dasar Rekayasa Fitur

Mencakup encoding, penskalaan, imputasi, dan istilah interaksi menggunakan Spark. Membangun kosakata fitur yang diterapkan di seluruh bab Feature Store dan pelatihan model.

Pelajaran 1 • Pelatihan Model Pembelajaran Mendalam

Memperkenalkan loop pelatihan TensorFlow dan PyTorch yang terintegrasi dengan pencatatan MLflow. Mempersiapkan siswa untuk pembelajaran mendalam terdistribusi yang dibahas di bab pelatihan lanjutan.

Pelajaran 2 • Penyetelan Hiperparameter dengan Hyperopt

Mengajarkan optimasi Bayesian dan pencarian paralel menggunakan Hyperopt dan SparkTrials. Siswa secara sistematis meningkatkan performa model di luar grid search manual.

Pelajaran 3 • Dasar-Dasar Pelacakan MLflow

Memperkenalkan eksperimen, run, parameter, metrik, dan tag di MLflow. Membangun disiplin pencatatan yang mendasari ML yang dapat direproduksi di seluruh kursus.

Pelajaran 4 • Pelatihan Model Scikit-learn dan Spark ML

Mencakup konstruksi pipeline, validasi silang, dan pencatatan otomatis MLflow untuk kedua framework. Siswa melatih dan mencatat model dasar yang berfungsi sebagai tolok ukur untuk teknik lanjutan.

Pelajaran 1 • Mendaftarkan dan Memberi Versi Model

Mengajarkan pendaftaran model secara terprogram dan melalui UI dari run MLflow. Siswa membangun disiplin versioning yang konsisten untuk semua model terlatih.

Pelajaran 2 • Transisi Tahap dan Alur Kerja Persetujuan

Mencakup transisi Staging, Production, dan Archived dengan notifikasi berbasis webhook. Mengimplementasikan proses promosi terkendali yang mencerminkan standar MLOps perusahaan.

Pelajaran 3 • Unity Catalog Model Registry

Menjelaskan Model Registry yang didukung Unity Catalog untuk tata kelola lintas workspace. Siswa bermigrasi dari manajemen model tingkat workspace ke tingkat katalog untuk skala perusahaan.

Pelajaran 4 • Signature Model dan Contoh Input

Memperkenalkan signature model MLflow, contoh input, dan penegakan skema. Mencegah kesalahan tipe runtime dan mendokumentasikan antarmuka model yang diharapkan untuk konsumen hilir.

Pelajaran 1 • Penyetelan Hiperparameter Terdistribusi dalam Skala Besar

Memperluas Hyperopt SparkTrials dan memperkenalkan Optuna untuk pencarian paralel skala besar. Siswa menyetel model pembelajaran mendalam secara efisien di ratusan uji coba bersamaan.

Pelajaran 2 • TorchDistributor untuk Pelatihan PyTorch

Memperkenalkan TorchDistributor sebagai API Databricks asli untuk PyTorch terdistribusi. Siswa meluncurkan job PyTorch multi-GPU dan multi-node tanpa konfigurasi cluster manual.

Pelajaran 3 • Konsep Pelatihan Terdistribusi

Mencakup paralelisme data, paralelisme model, dan strategi sinkronisasi gradien. Menyediakan landasan teoritis yang diperlukan sebelum mengimplementasikan framework terdistribusi.

Pelajaran 4 • Horovod untuk Pembelajaran Mendalam Terdistribusi

Mengajarkan inisialisasi Horovod, sharding data berbasis rank, dan HorovodRunner di Databricks. Siswa mengonversi skrip pelatihan node tunggal menjadi job terdistribusi multi-node.

Pelajaran 1 • Arsitektur Databricks Model Serving

Menjelaskan model serving tanpa server, jenis endpoint, dan perutean lalu lintas. Mengorientasikan siswa ke lapisan serving sebelum mengonfigurasi dan menguji endpoint langsung.

Pelajaran 2 • Target Deployment Eksternal

Mencakup ekspor model ke ONNX, kontainer Docker, dan platform serving cloud-native. Mempersiapkan siswa untuk men-deploy model terlatih Databricks di luar lingkungan Databricks.

Pelajaran 3 • Logika Inferensi Kustom dengan PyFunc

Mengajarkan flavor MLflow PyFunc untuk membungkus logika Python arbitrer sebagai model yang dapat di-deploy. Siswa menambahkan preprocessing, postprocessing, dan logika ensemble ke endpoint serving.

Pelajaran 4 • Men-deploy Model MLflow ke Endpoint

Mencakup pembuatan endpoint, penyematan versi model, dan pemanggilan REST API. Siswa men-deploy model terdaftar dari Bab 5 dan memvalidasi respons dari ujung ke ujung.

Pelajaran 1 • Audit, Lineage, dan Kepatuhan

Mencakup lineage Unity Catalog, log audit MLflow, dan tata kelola akses untuk lingkungan yang diatur. Siswa mendokumentasikan asal-usul model untuk memenuhi persyaratan audit internal dan eksternal.

Pelajaran 2 • Lakehouse Monitoring untuk ML

Memperkenalkan Databricks Lakehouse Monitoring untuk komputasi metrik otomatis pada tabel inferensi. Menyediakan dasbor siap pakai untuk kualitas model dan kesehatan data.

Pelajaran 3 • Prinsip MLOps dan Tingkat Kematangan

Mendefinisikan kematangan MLOps dari eksperimen manual hingga pipeline yang sepenuhnya otomatis. Membingkai tujuan tata kelola dan otomatisasi yang diimplementasikan siswa di bagian selanjutnya.

Pelajaran 4 • Deteksi Drift Data dan Model

Mencakup uji statistik untuk covariate shift, label drift, dan prediction drift. Siswa mengimplementasikan peringatan drift yang memicu pipeline pelatihan ulang secara otomatis.