Data Engineering with Databricks Course

Aralin 1 • Pag-configure at Pamamahala ng Cluster

Itinuturo ang paggawa ng cluster, pagtatakda ng laki, autoscaling, at mga patakaran sa pagwawakas. Ang mga mag-aaral ay magkakaroon ng kontrol sa mga gastos sa compute at performance mula sa simula.

Aralin 2 • Pangkalahatang-ideya ng Arkitektura ng Databricks

Sumasaklaw sa control plane, data plane, at arkitektura ng cluster na sumusuporta sa Databricks. Ibinabatay ang lahat ng susunod na paggamit ng platform sa isang malinaw na mental model.

Aralin 3 • Pag-navigate at Pag-setup ng Workspace

Ipinapakilala ang UI ng Databricks, istraktura ng folder, at mga setting ng gumagamit. Binibigyang-daan ang mga mag-aaral na ayusin ang mga proyekto at epektibong pamahalaan ang mga personal na kapaligiran.

Aralin 4 • Mga Pangunahing Kaalaman sa Databricks CLI at REST API

Ipinapakilala ang programmatic access sa platform sa pamamagitan ng CLI at REST API. Inihahanda ang mga mag-aaral para sa mga gawain sa automation na tatalakayin sa mga susunod na kabanata.

Aralin 1 • Transformations at Actions

Tinutukoy ang pagkakaiba ng narrow vs. wide transformations at ipinapaliwanag ang mga action trigger. Natututunan ng mga mag-aaral na pag-isipan ang mga gastos sa shuffle at mga hangganan ng execution.

Aralin 2 • Spark Distributed Execution Model

Ipinapaliwanag ang mga RDD, DAG, stage, at task sa loob ng execution engine ng Spark. Nagbibigay ng pundasyong konseptwal para sa pagsusulat ng mahusay na distributed code.

Aralin 3 • Mga Pangunahing Kaalaman sa DataFrame API

Sumasaklaw sa paggawa ng DataFrame, schema inference, at mga pangunahing transformation. Inilalapat ng mga mag-aaral ang mga operasyong ito bilang pangunahing interface sa pagmamanipula ng datos.

Aralin 4 • Mga Pangunahing Kaalaman sa Spark Performance

Ipinapakilala ang Spark UI, mga execution plan, at mga pangunahing tuning lever. Binibigyan ng kakayahan ang mga mag-aaral na masuri at matugunan ang mga karaniwang bottleneck sa performance.

Aralin 1 • Delta Lake Storage Format

Ipinapaliwanag ang mga Parquet file, ang transaction log, at mga checkpoint file na bumubuo sa Delta Lake. Nauunawaan ng mga mag-aaral kung bakit nagbibigay ang Delta ng pagiging maaasahan kumpara sa mga raw file format.

Aralin 2 • Paglikha at Pamamahala ng mga Delta Table

Sumasaklaw sa DDL para sa paglikha, pagbabago, at pag-drop ng mga Delta table. Itinatatag ang mga kasanayan sa pamamahala ng table na kinakailangan para sa lahat ng gawain sa pipeline sa hinaharap.

Aralin 3 • ACID Transactions at Concurrency

Itinuturo ang optimistic concurrency control, mga antas ng isolation, at paglutas ng conflict sa Delta. Ang mga mag-aaral ay makakapagdisenyo ng mga pipeline na ligtas na humahawak ng mga sabayang pagsusulat.

Aralin 4 • Mga Teknik sa Pag-optimize ng Delta Lake

Sumasaklaw sa OPTIMIZE, Z-ordering, at file compaction upang mapabuti ang performance ng query. Inilalapat ng mga mag-aaral ang mga teknik na ito sa mga production-grade na Delta table.

Aralin 1 • Mga ELT Design Pattern

Ipinapakita ang medallion architecture at mga diskarte sa incremental load para sa structured ELT. Nagdidisenyo ang mga mag-aaral ng mga multi-hop pipeline na naghihiwalay sa mga layer ng raw, cleansed, at curated.

Aralin 2 • Batch Ingestion mula sa mga Karaniwang Source

Itinuturo ang pagbabasa mula sa cloud object storage, JDBC database, at mga format ng file. Nagbibigay ng pundasyon sa ingestion para sa lahat ng pattern ng pipeline sa kabanatang ito.

Aralin 3 • Pagpapatupad ng Data Quality sa Ingestion

Itinuturo ang constraint-based validation, mga pattern ng quarantine, at mga expectation framework. Tinitiyak na ang kalidad ng datos ay ipinatutupad bago pa man maabot ng datos ang mga downstream consumer.

Aralin 4 • Mga Pangunahing Kaalaman sa Structured Streaming

Sumasaklaw sa streaming DataFrames, triggers, at output modes para sa tuloy-tuloy na pagpoproseso ng datos. Ikinokonekta ang mga konsepto ng streaming sa Delta Lake sink na ginagamit sa production.

Aralin 1 • Pag-configure at Deployment ng Pipeline

Itinuturo ang mga setting ng pipeline, mga patakaran sa cluster, at deployment sa pamamagitan ng UI at API. Kino-configure ng mga mag-aaral ang mga production-ready pipeline na may naaangkop na compute at storage settings.

Aralin 2 • Pag-monitor at Pag-troubleshoot ng DLT

Tinutuklas ang event log, pipeline UI metrics, at mga karaniwang pattern ng pagkabigo. Sinusuri at nilulutas ng mga mag-aaral ang mga isyu sa pipeline gamit ang mga built-in observability tool.

Aralin 3 • Data Quality gamit ang Expectations

Sumasaklaw sa EXPECT, EXPECT OR DROP, at EXPECT OR FAIL constraints sa DLT. Direktang isinasama ng mga mag-aaral ang mga patakaran sa kalidad sa mga depinisyon ng pipeline para sa automated enforcement.

Aralin 4 • Pag-oorkestrate ng mga Pipeline gamit ang Databricks Workflows

Isinasama ang mga DLT pipeline sa mga multi-task na Databricks Workflows na may mga dependency at iskedyul. Ang mga mag-aaral ay bumubuo ng end-to-end na naka-orkestratang mga data product.

Aralin 1 • Identity at Access Management

Sumasaklaw sa mga user, group, service principal, at privilege grant sa Unity Catalog. Ang mga mag-aaral ay nagpapatupad ng least-privilege access model para sa mga data asset.

Aralin 2 • Arkitektura ng Unity Catalog

Ipinapaliwanag ang hierarchy ng metastore, catalog, schema, at table sa Unity Catalog. Nagbibigay ng structural understanding na kailangan upang magdisenyo ng mga pinamamahalaang namespace.

Aralin 3 • Pagbabahagi ng Datos gamit ang Delta Sharing

Ipinapakilala ang open Delta Sharing protocol para sa cross-platform at cross-organization na pagbabahagi ng datos. Ang mga mag-aaral ay ligtas na nagpa-publish at nagko-consume ng mga shared dataset.

Aralin 4 • Pag-audit at Pagsunod

Itinuturo ang pag-access ng audit log, query history, at mga pattern sa compliance reporting. Kino-configure ng mga mag-aaral ang pag-monitor upang matugunan ang mga kinakailangan sa audit ng enterprise.

Aralin 1 • Cost-Based Optimization at Statistics

Sumasaklaw sa ANALYZE TABLE, column statistics, at ang join reordering ng cost-based optimizer. Kinokolekta at ginagamit ng mga mag-aaral ang mga statistics upang mapabuti ang kalidad ng plano.

Aralin 2 • Memory Management at Spill

Sumasaklaw sa mga Spark memory region, pagtatakda ng laki ng executor, at pagtuklas at pagpapagaan ng spill. Kino-configure ng mga mag-aaral ang mga setting ng memory upang maalis ang magastos na disk spill.

Aralin 3 • Photon Engine at Vectorized Execution

Ipinapakilala ang Databricks Photon engine at ang mga benepisyo ng vectorized execution nito. Tinutukoy ng mga mag-aaral ang mga workload na higit na nakikinabang mula sa Photon at pinapagana ito nang naaangkop.

Aralin 4 • Mga Diskarte sa Partitioning at Shuffling

Itinuturo ang pinakamainam na bilang ng partition, repartition vs. coalesce, at shuffle tuning. Inaalis ng mga mag-aaral ang data skew at binabawasan ang shuffle overhead sa mga kumplikadong pipeline.

Aralin 1 • Pamamahala ng Gastos at FinOps

Sumasaklaw sa pagsusuri ng DBU consumption, pag-right-size ng cluster, at mga diskarte sa spot instance. Binabawasan ng mga mag-aaral ang mga gastos sa compute nang hindi isinasakripisyo ang pagiging maaasahan ng pipeline.

Aralin 2 • CI/CD para sa mga Databricks Project

Itinuturo ang Databricks Asset Bundles, deployment automation, at environment promotion. Ang mga mag-aaral ay nagpapatupad ng isang buong CI/CD pipeline mula development hanggang production.

Aralin 3 • Security Hardening at Best Practices

Itinuturo ang network isolation, secret management, at secure credential handling. Inilalapat ng mga mag-aaral ang mga prinsipyo ng defense-in-depth upang protektahan ang mga data asset sa production.

Aralin 4 • Pagte-test ng Data Pipeline

Sumasaklaw sa unit testing gamit ang pytest, mga diskarte sa integration testing, at pamamahala ng test data. Ang mga mag-aaral ay bumubuo ng isang test suite na nagpapatunay sa lohika ng pipeline bago ang deployment.