Kursus Python untuk Analisis Data dan Otomatisasi

Pelajaran 1 • Fungsi dan Kode Modular

Definisikan fungsi yang dapat digunakan kembali dengan parameter, nilai kembali, dan docstring. Kode modular mengurangi duplikasi dan membuat pipeline data lebih mudah dipelihara.

Pelajaran 2 • Menyiapkan Lingkungan Python Anda

Instal Python, konfigurasikan lingkungan virtual, dan pilih IDE yang cocok untuk pekerjaan data. Fondasi ini memastikan pengaturan proyek yang dapat direproduksi dan bebas konflik.

Pelajaran 3 • Sintaks Inti Python dan Tipe Data

Kuasai variabel, operator, dan tipe data bawaan termasuk string, integer, float, dan boolean. Primitif ini mendasari setiap tugas manipulasi data selanjutnya.

Pelajaran 4 • Koleksi: List, Tuple, Dict, Set

Pahami empat tipe koleksi inti Python dan kapan menggunakannya. Penggunaan koleksi yang efisien secara langsung mempercepat pola penyimpanan dan pengambilan data.

Pelajaran 1 • Ingesting JSON dan XML Data

Muat struktur JSON dan XML bersarang ke dalam objek Python untuk diproses lebih lanjut. Format ini mendominasi respons API dan file konfigurasi.

Pelajaran 2 • Penanganan Kesalahan dalam Ingesti Data

Terapkan blok try/except untuk menangkap kesalahan encoding, file yang hilang, dan record yang salah format. Kode ingestion yang kuat mencegah korupsi data yang tidak terdeteksi di dalam pipeline.

Pelajaran 3 • Membaca dan Menulis File Teks

Gunakan fungsi bawaan open() Python untuk membaca, menulis, dan menambahkan file teks biasa. Penanganan file yang tepat mencegah kehilangan data dan kebocoran sumber daya.

Pelajaran 4 • Reading Excel dan Other Formats

Impor buku kerja Excel multi-sheet dan format biner lainnya menggunakan openpyxl dan pandas. Excel tetap menjadi sumber data utama di sebagian besar alur kerja bisnis.

Pelajaran 1 • Vectorized Operations dan Broadcasting

Terapkan operasi matematika per elemen dan aturan broadcasting untuk menggantikan loop Python yang lambat. Vektorisasi adalah teknik performa utama dalam kode Python numerik.

Pelajaran 2 • NumPy Arrays dan Array Creation

Buat dan periksa ndarray dari list, rentang, dan generator acak. Array adalah struktur data inti untuk semua library Python numerik dan ilmiah.

Pelajaran 3 • Statistical dan Linear Algebra Functions

Gunakan np.linalg dan fungsi statistik untuk operasi matriks dan ringkasan data. Kemampuan ini mendasari prapemrosesan pembelajaran mesin dan komputasi ilmiah.

Pelajaran 1 • Grouping, Aggregating dan Pivoting

Ringkas data dengan groupby(), agg(), dan tabel pivot untuk mengungkap pola antar kategori. Operasi ini mendukung sebagian besar pelaporan bisnis dan perhitungan KPI.

Pelajaran 2 • DataFrame dan Series Fundamentals

Buat DataFrame dari dict, list, dan file, serta pahami struktur Series. Objek ini adalah wadah utama untuk semua operasi pandas.

Pelajaran 3 • Selecting, Filtering dan Slicing Data

Ekstrak subset data menggunakan mask boolean, query(), dan pemilihan kolom. Seleksi yang tepat sangat penting sebelum langkah transformasi atau analisis apa pun.

Pelajaran 4 • Merging, Joining dan Concatenating

Gabungkan beberapa DataFrame menggunakan merge(), join(), dan concat() untuk mengintegrasikan data dari berbagai sumber. Integrasi multi-sumber adalah tugas sehari-hari dalam peran data.

Pelajaran 1 • Plotting dengan Matplotlib

Buat bagan garis, batang, sebar, dan histogram menggunakan API berorientasi objek matplotlib. Matplotlib memberikan kendali penuh atas setiap elemen visual dalam sebuah gambar.

Pelajaran 2 • Customizing dan Exporting Charts

Terapkan tema, palet warna, anotasi, dan ekspor bagan ke PNG atau PDF untuk laporan. Visual yang rapi meningkatkan kepercayaan pemangku kepentingan terhadap temuan analitis.

Pelajaran 3 • Statistical Visualization dengan Seaborn

Buat plot distribusi, heatmap, dan bagan kategori dengan API tingkat tinggi seaborn. Seaborn mempercepat EDA dengan menggabungkan statistik dan estetika secara otomatis.

Pelajaran 4 • Profiling Statistik dari Kumpulan Data

Hitung statistik deskriptif, distribusi, dan korelasi untuk memahami struktur kumpulan data. Pembuatan profil memandu setiap keputusan pembersihan dan pemodelan selanjutnya.

Pelajaran 1 • Otomatisasi Sistem Berkas

Navigasi, buat, salin, pindahkan, dan hapus file serta direktori secara terprogram. Otomatisasi sistem file adalah titik masuk paling umum untuk skrip Python di tempat kerja.

Pelajaran 2 • Mengirim Notifikasi Email Otomatis

Kirim email dengan lampiran menggunakan library smtplib dan email untuk memberi tahu pemangku kepentingan. Peringatan otomatis menutup celah antara pemrosesan data dan tindakan bisnis.

Pelajaran 3 • Antarmuka Baris Perintah untuk Skrip

Bangun alat CLI yang ramah pengguna dengan argparse sehingga skrip dapat menerima parameter runtime. Antarmuka CLI membuat skrip otomatisasi dapat digunakan kembali di berbagai kumpulan data dan lingkungan.

Pelajaran 4 • Scheduling dan Running Scripts

Jadwalkan skrip Python untuk berjalan secara otomatis menggunakan cron, Task Scheduler, dan APScheduler. Penjadwalan otomatis memastikan pemrosesan data yang konsisten dan tepat waktu tanpa pemicu manual.

Pelajaran 1 • HTTP Fundamentals dan the Requests Library

Pahami metode HTTP, kode status, dan header, lalu buat permintaan GET dan POST. Pengetahuan ini diperlukan sebelum menggunakan sumber data berbasis web apa pun.

Pelajaran 2 • Authenticating dengan APIs

Terapkan kunci API, OAuth2, dan autentikasi berbasis token untuk mengakses endpoint yang dilindungi. Sebagian besar API produksi memerlukan autentikasi sebelum mengembalikan data.

Pelajaran 3 • Storing dan Updating API Data

Pertahankan respons API ke CSV, JSON, atau basis data dan terapkan logika pembaruan inkremental. Penyimpanan tahan lama mencegah panggilan API yang berlebihan dan menyimpan data historis.

Pelajaran 4 • Paginating dan Rate-Limiting API Calls

Tangani respons yang dipaginasi dan hormati batas kecepatan untuk mengumpulkan kumpulan data lengkap secara andal. Mengabaikan paginasi atau batas kecepatan menyebabkan pengambilan data tidak lengkap atau terblokir.

Pelajaran 1 • Memuat Hasil Kueri ke dalam pandas

Gunakan pd.read_sql() dan SQLAlchemy untuk menarik hasil kueri langsung ke DataFrame. Menjembatani SQL dan pandas memungkinkan analisis data yang disimpan di basis data tanpa hambatan.

Pelajaran 2 • Introduction to NoSQL dengan Python

Hubungkan ke penyimpanan dokumen dan key-value menggunakan pymongo dan redis-py untuk data non-tabular. Basis data NoSQL umum terjadi di tumpukan data modern bersama sistem relasional.

Pelajaran 3 • Menghubungkan Python ke Basis Data SQL

Gunakan sqlite3, psycopg2, dan SQLAlchemy untuk membuka koneksi dan menjalankan kueri dari Python. Manajemen koneksi adalah langkah pertama dalam otomatisasi berbasis basis data apa pun.

Pelajaran 4 • Menjalankan Operasi CRUD

Jalankan pernyataan SELECT, INSERT, UPDATE, dan DELETE dari Python dan tangani transaksi. Operasi CRUD adalah blok bangunan semua pipeline data berbasis basis data.