Kursus Cloud Computing dan Big Data

Pelajaran 1 • Konsep dan Sejarah Komputasi Awan

Menelusuri evolusi awan dari mainframe hingga hyperscaler modern dan mendefinisikan terminologi penting. Memberikan dasar konseptual untuk semua topik awan selanjutnya.

Pelajaran 2 • Penjelasan Model Layanan Awan

Membedakan IaaS, PaaS, dan SaaS melalui perbandingan fungsional dan contoh dunia nyata. Memungkinkan peserta memetakan beban kerja ke lapisan layanan yang tepat.

Pelajaran 3 • Model Penerapan Awan

Mengkaji arsitektur publik, privat, hibrida, dan multi-awan dengan analisis trade-off. Menghubungkan pilihan penerapan dengan kepatuhan organisasi dan tujuan biaya.

Pelajaran 1 • Layanan Penyimpanan Awan

Mencakup jenis penyimpanan objek, blok, dan file dengan trade-off durabilitas dan pola akses. Mempersiapkan peserta untuk memilih tingkatan penyimpanan untuk kebutuhan aplikasi yang beragam.

Pelajaran 2 • Manajemen Identitas dan Akses

Mengajarkan kontrol akses berbasis peran, kebijakan, dan prinsip hak istimewa terkecil untuk lingkungan awan. Membangun kebersihan keamanan yang diperlukan sebelum menerapkan beban kerja produksi apa pun.

Pelajaran 3 • Layanan Komputasi dan Mesin Virtual

Memperkenalkan mesin virtual, jenis instans, dan grup skala otomatis sebagai primitif komputasi inti. Menerapkan pengetahuan model layanan awan secara langsung ke penyediaan infrastruktur.

Pelajaran 4 • Layanan Basis Data Terkelola

Meninjau penawaran basis data terkelola relasional dan NoSQL, mencakup strategi penyediaan dan pencadangan. Menghubungkan pengetahuan penyimpanan ke arsitektur aplikasi stateful.

Pelajaran 1 • Model Pemrosesan Batch dan Stream

Membandingkan pemrosesan batch dengan pemrosesan stream waktu nyata menggunakan arsitektur Lambda dan Kappa. Mempersiapkan peserta untuk merancang pipeline yang sesuai dengan kebutuhan latensi dan throughput.

Pelajaran 2 • Pengantar Ekosistem Hadoop

Menjelaskan HDFS, MapReduce, YARN, dan alat ekosistem utama sebagai fondasi pemrosesan batch terdistribusi. Memberikan konteks historis dan teknis untuk framework data besar modern.

Pelajaran 3 • Arsitektur Penyimpanan Data Besar

Mencakup sistem file terdistribusi, danau data, dan gudang data sebagai paradigma penyimpanan yang saling melengkapi. Menjembatani pengetahuan penyimpanan awan ke kebutuhan penyerapan dan retensi data besar.

Pelajaran 4 • Prinsip Desain Pipeline Data Besar

Memperkenalkan lapisan penyerapan, transformasi, penyimpanan, dan penyajian sebagai kerangka pipeline terpadu. Memberikan template desain kepada peserta yang diterapkan di seluruh bab data besar yang tersisa.

Pelajaran 1 • Strategi Pemuatan Gudang Data

Mencakup pemodelan dimensional, dimensi yang berubah lambat, dan pola pemuatan massal untuk penyimpanan analitis. Menghubungkan pipeline penyerapan ke struktur gudang yang dioptimalkan untuk kueri.

Pelajaran 2 • Penyerapan Streaming Data Waktu Nyata

Mengajarkan antrean pesan, platform streaming peristiwa, dan pola produser-konsumen untuk data waktu nyata. Memperluas pengetahuan penyerapan batch ke skenario latensi rendah dan throughput tinggi.

Pelajaran 3 • Teknik Penyerapan Batch

Mencakup alur kerja ETL, penyerapan berbasis file, dan transfer data terjadwal untuk kumpulan data besar. Menerapkan prinsip desain pipeline ke sumber data terstruktur dan semi-terstruktur.

Pelajaran 4 • Kualitas dan Validasi Data

Memperkenalkan pembuatan profil data, validasi skema, dan deteksi anomali sebagai gerbang kualitas penyerapan. Memastikan analitik hilir dan model ML menerima data yang dapat dipercaya.

Pelajaran 1 • Penyetelan Kinerja Spark

Membahas partisi, caching, broadcast join, dan serialisasi sebagai tuas optimasi Spark utama. Menerjemahkan pengetahuan teoritis Spark ke dalam efisiensi pekerjaan tingkat produksi.

Pelajaran 2 • Spark Streaming dan Structured Streaming

Mencakup model pemrosesan micro-batch dan berkelanjutan untuk data waktu nyata dengan Structured Streaming. Memperluas keterampilan Spark batch ke pipeline streaming latensi rendah.

Pelajaran 3 • Arsitektur dan Konsep Inti Spark

Menjelaskan driver, executor, penjadwal DAG, dan model RDD sebagai fondasi eksekusi Spark. Membangun model mental yang diperlukan untuk menulis dan men-debug aplikasi Spark secara efektif.

Pelajaran 4 • Menjalankan Spark di Platform Awan

Mendemonstrasikan penyediaan kluster Spark terkelola, skala otomatis, dan kontrol biaya pada layanan awan. Menghubungkan keterampilan Spark ke praktik penerapan dan operasi awan nyata.

Pelajaran 1 • Pipeline Serverless dan Berbasis Peristiwa

Mencakup pemicu function-as-a-service, bus peristiwa, dan layanan alur kerja native cloud untuk pipeline ringan. Melengkapi Airflow dengan pola otomatisasi berbasis peristiwa dengan overhead rendah.

Pelajaran 2 • Pemantauan dan Observabilitas Pipeline

Mencakup pencatatan, metrik, pemberitahuan, dan pelacakan garis keturunan untuk visibilitas operasional pipeline. Memungkinkan tim mendeteksi, mendiagnosis, dan menyelesaikan kegagalan pipeline dengan cepat.

Pelajaran 3 • Dasar-Dasar Orkestrasi Pipeline

Memperkenalkan orkestrasi alur kerja berbasis DAG, dependensi tugas, dan konsep penjadwalan. Memberikan fondasi arsitektur untuk mengotomatiskan pipeline data multi-langkah.

Pelajaran 4 • Membangun Pipeline dengan Apache Airflow

Mengajarkan pembuatan DAG, operator, hook, dan XCom untuk membangun alur kerja Airflow yang kompleks. Menerapkan konsep orkestrasi ke platform sumber terbuka yang banyak digunakan.

Pelajaran 1 • Prinsip Visualisasi Data

Memperkenalkan pemilihan bagan, pengkodean visual, dan prinsip penceritaan untuk komunikasi analitis. Memastikan visualisasi secara akurat mewakili data dan mendorong keputusan yang tepat.

Pelajaran 2 • Optimasi Kueri Analitis

Mengajarkan perencanaan kueri, pengindeksan, tampilan terwujud, dan optimasi berbasis biaya untuk kumpulan data analitis besar. Membangun pengetahuan pemuatan gudang untuk memaksimalkan kinerja kueri.

Pelajaran 3 • Analitik Waktu Nyata dan Dasbor Streaming

Memperluas analitik batch ke kasus penggunaan waktu nyata menggunakan agregasi streaming dan dasbor langsung. Menghubungkan pengetahuan Spark Streaming dan pipeline ke skenario analitik operasional.

Pelajaran 4 • Analisis Data Eksploratif dalam Skala Besar

Mencakup ringkasan statistik, analisis distribusi, dan teknik korelasi yang diterapkan pada kumpulan data besar. Menjembatani penyerapan data mentah ke penyelidikan analitis berbasis hipotesis.

Pelajaran 1 • Alur Kerja ML dan Fondasi MLOps

Memetakan siklus hidup ML ujung ke ujung dari persiapan data hingga penyajian dan pemantauan model. Menetapkan kerangka operasional untuk semua topik implementasi ML selanjutnya.

Pelajaran 2 • Toko Fitur dan Pipeline Data untuk ML

Memperkenalkan toko fitur sebagai jembatan antara pipeline data dan pelatihan serta penyajian ML. Memastikan fitur yang konsisten dan dapat digunakan kembali di seluruh inferensi pelatihan dan produksi.

Pelajaran 3 • Penerapan dan Penyajian Model

Mengajarkan inferensi batch, titik akhir REST waktu nyata, dan pola penerapan tepi untuk model ML. Menghubungkan model terlatih ke sistem produksi yang memberikan nilai bisnis.

Pelajaran 4 • Pelatihan Model Terdistribusi

Mencakup paralelisme data, paralelisme model, dan framework pelatihan terdistribusi untuk ML skala besar. Menerapkan pengetahuan Spark dan komputasi awan untuk mempercepat pelatihan model pada data besar.