Data Engineering with Databricks Course

Pelajaran 1 • Konfigurasi dan Pengurusan Kluster

Mengajar penciptaan kluster, saiz, penskalaan automatik, dan dasar penamatan. Peserta mendapat kawalan ke atas kos pengiraan dan prestasi dari awal.

Pelajaran 2 • Gambaran Keseluruhan Seni Bina Databricks

Merangkumi satah kawalan, satah data, dan seni bina kluster yang mendasari Databricks. Mendasarkan semua penggunaan platform seterusnya dalam model mental yang jelas.

Pelajaran 3 • Navigasi dan Persediaan Ruang Kerja

Memperkenalkan UI Databricks, struktur folder, dan tetapan pengguna. Membolehkan peserta mengatur projek dan mengurus persekitaran peribadi dengan berkesan.

Pelajaran 4 • Asas CLI dan REST API Databricks

Memperkenalkan akses atur cara ke platform melalui CLI dan REST API. Menyediakan peserta untuk tugas automasi yang diliputi dalam bab kemudian.

Pelajaran 1 • Transformasi dan Tindakan

Membezakan transformasi sempit vs. lebar dan menerangkan pencetus tindakan. Peserta belajar untuk menaakul tentang kos kocok dan sempadan pelaksanaan.

Pelajaran 2 • Model Pelaksanaan Teragih Spark

Menerangkan RDD, DAG, peringkat, dan tugas dalam enjin pelaksanaan Spark. Menyediakan asas konseptual untuk menulis kod teragih yang cekap.

Pelajaran 3 • Asas API DataFrame

Merangkumi penciptaan DataFrame, inferens skema, dan transformasi teras. Peserta menggunakan operasi ini sebagai antara muka manipulasi data utama.

Pelajaran 4 • Asas Prestasi Spark

Memperkenalkan UI Spark, pelan pelaksanaan, dan tuas penalaan asas. Melengkapkan peserta untuk mendiagnosis dan menangani kesesakan prestasi biasa.

Pelajaran 1 • Format Storan Delta Lake

Menerangkan fail Parquet, log transaksi, dan fail pusat pemeriksaan yang membentuk Delta Lake. Peserta memahami mengapa Delta memberikan kebolehpercayaan berbanding format fail mentah.

Pelajaran 2 • Mencipta dan Mengurus Jadual Delta

Merangkumi DDL untuk mencipta, mengubah, dan menggugurkan jadual Delta. Mewujudkan kemahiran pengurusan jadual yang diperlukan untuk semua kerja saluran paip ke hadapan.

Pelajaran 3 • Transaksi ACID dan Konkurensi

Mengajar kawalan konkurensi optimistik, tahap pengasingan, dan penyelesaian konflik dalam Delta. Peserta boleh mereka bentuk saluran paip yang mengendalikan tulis serentak dengan selamat.

Pelajaran 4 • Teknik Pengoptimuman Delta Lake

Merangkumi OPTIMIZE, pengurutan Z, dan pemadatan fail untuk meningkatkan prestasi pertanyaan. Peserta menggunakan teknik ini pada jadual Delta gred pengeluaran.

Pelajaran 1 • Corak Reka Bentuk ELT

Mempersembahkan seni bina pingat dan strategi muatan tambahan untuk ELT berstruktur. Peserta mereka bentuk saluran paip berbilang lompat yang memisahkan lapisan mentah, dibersihkan, dan dikurasi.

Pelajaran 2 • Penelanan Kelompok daripada Sumber Biasa

Mengajar membaca daripada storan objek awan, pangkalan data JDBC, dan format fail. Menyediakan asas penelanan untuk semua corak saluran paip dalam bab ini.

Pelajaran 3 • Penguatkuasaan Kualiti Data pada Penelanan

Mengajar pengesahan berasaskan kekangan, corak kuarantin, dan rangka kerja jangkaan. Memastikan kualiti data dikuatkuasakan sebelum data sampai kepada pengguna hiliran.

Pelajaran 4 • Asas Strim Berstruktur

Merangkumi DataFrame strim, pencetus, dan mod output untuk pemprosesan data berterusan. Menghubungkan konsep strim kepada sink Delta Lake yang digunakan dalam pengeluaran.

Pelajaran 1 • Konfigurasi dan Penggunaan Saluran Paip

Mengajar tetapan saluran paip, dasar kluster, dan penggunaan melalui UI dan API. Peserta mengkonfigurasi saluran paip sedia pengeluaran dengan tetapan pengiraan dan storan yang sesuai.

Pelajaran 2 • Pemantauan dan Penyelesaian Masalah DLT

Meneroka log acara, metrik UI saluran paip, dan corak kegagalan biasa. Peserta mendiagnosis dan menyelesaikan isu saluran paip menggunakan alat kebolehperhatian terbina dalam.

Pelajaran 3 • Kualiti Data dengan Jangkaan

Merangkumi kekangan EXPECT, EXPECT OR DROP, dan EXPECT OR FAIL dalam DLT. Peserta membenamkan peraturan kualiti terus ke dalam definisi saluran paip untuk penguatkuasaan automatik.

Pelajaran 4 • Mengorkestra Saluran Paip dengan Aliran Kerja Databricks

Mengintegrasikan saluran paip DLT ke dalam Aliran Kerja Databricks pelbagai tugas dengan kebergantungan dan penjadualan. Peserta membina produk data terorkestra hujung ke hujung.

Pelajaran 1 • Pengurusan Identiti dan Akses

Merangkumi pengguna, kumpulan, prinsipal perkhidmatan, dan pemberian keistimewaan dalam Katalog Perpaduan. Peserta melaksanakan model akses keistimewaan paling rendah untuk aset data.

Pelajaran 2 • Seni Bina Katalog Perpaduan

Menerangkan hierarki repositori meta, katalog, skema, dan jadual dalam Katalog Perpaduan. Menyediakan pemahaman struktur yang diperlukan untuk mereka bentuk ruang nama yang ditadbir.

Pelajaran 3 • Perkongsian Data dengan Delta Sharing

Memperkenalkan protokol Delta Sharing terbuka untuk perkongsian data merentas platform dan merentas organisasi. Peserta menerbitkan dan menggunakan set data yang dikongsi dengan selamat.

Pelajaran 4 • Pengauditan dan Pematuhan

Mengajar akses log audit, sejarah pertanyaan, dan corak pelaporan pematuhan. Peserta mengkonfigurasi pemantauan untuk memenuhi keperluan audit perusahaan.

Pelajaran 1 • Pengoptimuman Berasaskan Kos dan Statistik

Merangkumi ANALYZE TABLE, statistik lajur, dan penyusunan semula cantuman pengoptimum berasaskan kos. Peserta mengumpul dan memanfaatkan statistik untuk meningkatkan kualiti pelan.

Pelajaran 2 • Pengurusan Memori dan Tumpahan

Merangkumi rantau memori Spark, saiz pelaksana, dan pengesanan serta mitigasi tumpahan. Peserta mengkonfigurasi tetapan memori untuk menghapuskan tumpahan cakera yang mahal.

Pelajaran 3 • Enjin Photon dan Pelaksanaan Vektor

Memperkenalkan enjin Photon Databricks dan faedah pelaksanaan vektornya. Peserta mengenal pasti beban kerja yang paling mendapat manfaat daripada Photon dan mengaktifkannya dengan sewajarnya.

Pelajaran 4 • Strategi Pembahagian dan Kocok

Mengajar kiraan partition optimum, pembahagian semula vs. penggabungan, dan penalaan kocok. Peserta menghapuskan condong data dan mengurangkan overhed kocok dalam saluran paip kompleks.

Pelajaran 1 • Pengurusan Kos dan FinOps

Merangkumi analisis penggunaan DBU, pensaizan kluster tepat, dan strategi contoh spot. Peserta mengurangkan kos pengiraan tanpa mengorbankan kebolehpercayaan saluran paip.

Pelajaran 2 • CI/CD untuk Projek Databricks

Mengajar Bundel Aset Databricks, automasi penggunaan, dan promosi persekitaran. Peserta melaksanakan saluran paip CI/CD penuh daripada pembangunan hingga pengeluaran.

Pelajaran 3 • Pengerasan Keselamatan dan Amalan Terbaik

Mengajar pengasingan rangkaian, pengurusan rahsia, dan pengendalian kelayakan selamat. Peserta menggunakan prinsip pertahanan mendalam untuk melindungi aset data dalam pengeluaran.

Pelajaran 4 • Menguji Saluran Paip Data

Merangkumi pengujian unit dengan pytest, strategi pengujian integrasi, dan pengurusan data ujian. Peserta membina suite ujian yang mengesahkan logik saluran paip sebelum digunakan.