Curs de Data Engineering cu Databricks

Lecția 1 • Configurarea și Gestionarea Clusterelor

Învață crearea clusterelor, dimensionarea, scalarea automată și politicile de terminare. Cursanții obțin controlul asupra costurilor și performanței de calcul încă de la început.

Lecția 2 • Privire de ansamblu asupra Arhitecturii Databricks

Acoperă planul de control, planul de date și arhitectura clusterului care stau la baza Databricks. Fundamentează toate utilizările ulterioare ale platformei într-un model mental clar.

Lecția 3 • Navigarea și Configurarea Spațiului de Lucru

Prezintă interfața UI Databricks, structura de foldere și setările utilizatorului. Permite cursanților să organizeze proiecte și să gestioneze eficient mediile personale.

Lecția 4 • Bazele CLI și API-ului REST Databricks

Prezintă accesul programatic la platformă prin CLI și API REST. Pregătește cursanții pentru sarcinile de automatizare acoperite în capitolele următoare.

Lecția 1 • Transformări și Acțiuni

Distinge transformările înguste de cele late și explică declanșatoarele acțiunilor. Cursanții învață să raționeze despre costurile de shuffle și limitele de execuție.

Lecția 2 • Modelul de Execuție Distribuită Spark

Explică RDD-urile, DAG-urile, stagiile și taskurile din motorul de execuție Spark. Oferă baza conceptuală pentru scrierea codului distribuit eficient.

Lecția 3 • Fundamentele API-ului DataFrame

Acoperă crearea DataFrame-urilor, inferența schemei și transformările de bază. Cursanții aplică aceste operațiuni ca interfață principală de manipulare a datelor.

Lecția 4 • Fundamentele Performanței Spark

Prezintă interfața UI Spark, planurile de execuție și pârghiile de ajustare de bază. Echipează cursanții să diagnosticheze și să abordeze blocajele comune de performanță.

Lecția 1 • Formatul de Stocare Delta Lake

Explică fișierele Parquet, jurnalul de tranzacții și fișierele checkpoint care formează Delta Lake. Cursanții înțeleg de ce Delta oferă fiabilitate față de formatele de fișiere brute.

Lecția 2 • Crearea și Gestionarea Tabelelor Delta

Acoperă DDL pentru crearea, modificarea și ștergerea tabelelor Delta. Stabilește abilitățile de gestionare a tabelelor necesare pentru toate lucrările viitoare cu pipeline-uri.

Lecția 3 • Tranzacții ACID și Concurență

Învață controlul concurenței optimiste, nivelurile de izolare și soluționarea conflictelor în Delta. Cursanții pot proiecta pipeline-uri care gestionează în siguranță scrieri concurente.

Lecția 4 • Tehnici de Optimizare Delta Lake

Acoperă OPTIMIZE, Z-ordering și compactarea fișierelor pentru a îmbunătăți performanța interogărilor. Cursanții aplică aceste tehnici tabelelor Delta de nivel de producție.

Lecția 1 • Modele de Proiectare ELT

Prezintă arhitectura medalion și strategiile de încărcare incrementală pentru ELT structurat. Cursanții proiectează pipeline-uri multi-hop care separă straturile de date brute, curățate și îmbogățite.

Lecția 2 • Ingestie în Lot din Surse Comune

Învață citirea din stocarea obiectelor în cloud, baze de date JDBC și formate de fișiere. Oferă fundația de ingestie pentru toate modelele de pipeline din acest capitol.

Lecția 3 • Aplicarea Calității Datelor la Ingestie

Învață validarea bazată pe constrângeri, modele de carantină și cadre de așteptări. Asigură că calitatea datelor este aplicată înainte ca datele să ajungă la consumatorii din aval.

Lecția 4 • Fundamentele Structured Streaming

Acoperă DataFrame-uri de streaming, declanșatoare și moduri de ieșire pentru procesarea continuă a datelor. Conectează conceptele de streaming la sink-ul Delta Lake utilizat în producție.

Lecția 1 • Configurarea și Implementarea Pipeline-ului

Învață setările pipeline-ului, politicile de cluster și implementarea prin UI și API. Cursanții configurează pipeline-uri gata de producție cu setări corespunzătoare de calcul și stocare.

Lecția 2 • Monitorizarea și Depanarea DLT

Explorează jurnalul de evenimente, valorile UI ale pipeline-ului și modelele comune de eșec. Cursanții diagnostichează și rezolvă problemele pipeline-urilor folosind instrumente de observabilitate încorporate.

Lecția 3 • Calitatea Datelor cu Așteptări (Expectations)

Acoperă constrângerile EXPECT, EXPECT OR DROP și EXPECT OR FAIL în DLT. Cursanții încorporează reguli de calitate direct în definițiile pipeline-urilor pentru aplicare automată.

Lecția 4 • Orchestrarea Pipeline-urilor cu Databricks Workflows

Integrează pipeline-uri DLT în Databricks Workflows cu mai multe sarcini, dependențe și programare. Cursanții construiesc produse de date orchestrate end-to-end.

Lecția 1 • Gestionarea Identității și a Accesului

Acoperă utilizatori, grupuri, directori de servicii și acordarea de privilegii în Unity Catalog. Cursanții implementează modele de acces cu privilegii minime pentru activele de date.

Lecția 2 • Arhitectura Unity Catalog

Explică ierarhia metastore, catalog, schemă și tabel în Unity Catalog. Oferă înțelegerea structurală necesară pentru a proiecta spații de nume guvernate.

Lecția 3 • Partajarea Datelor cu Delta Sharing

Prezintă protocolul deschis Delta Sharing pentru partajarea datelor între platforme și organizații. Cursanții publică și consumă seturi de date partajate în siguranță.

Lecția 4 • Auditarea și Conformitatea

Învață accesul la jurnalele de audit, istoricul interogărilor și modelele de raportare a conformității. Cursanții configurează monitorizarea pentru a satisface cerințele de audit ale întreprinderii.

Lecția 1 • Optimizarea Bazată pe Cost și Statisticile

Acoperă ANALYZE TABLE, statistici pe coloane și reordonarea join-urilor de către optimizatorul bazat pe cost. Cursanții colectează și valorifică statistici pentru a îmbunătăți calitatea planurilor.

Lecția 2 • Gestionarea Memoriei și Spill-ul

Acoperă regiunile de memorie Spark, dimensionarea executorului și detectarea și atenuarea spill-ului. Cursanții configurează setările de memorie pentru a elimina spill-ul costisitor pe disc.

Lecția 3 • Motorul Photon și Execuția Vectorizată

Prezintă motorul Databricks Photon și beneficiile execuției sale vectorizate. Cursanții identifică sarcinile de lucru care beneficiază cel mai mult de Photon și îl activează corespunzător.

Lecția 4 • Strategii de Partiționare și Shuffle

Învață numărul optim de partiții, repartition vs. coalesce și ajustarea shuffle-ului. Cursanții elimină asimetria datelor și reduc supraîncărcarea shuffle-ului în pipeline-uri complexe.

Lecția 1 • Gestionarea Costurilor și FinOps

Acoperă analiza consumului DBU, dimensionarea corectă a clusterelor și strategiile pentru instanțe spot. Cursanții reduc costurile de calcul fără a sacrifica fiabilitatea pipeline-urilor.

Lecția 2 • CI/CD pentru Proiecte Databricks

Învață Databricks Asset Bundles, automatizarea implementării și promovarea între medii. Cursanții implementează un pipeline CI/CD complet de la dezvoltare la producție.

Lecția 3 • Consolidarea Securității și Cele Mai Bune Practici

Învață izolarea rețelei, gestionarea secretelor și gestionarea sigură a credențialelor. Cursanții aplică principii de apărare în profunzime pentru a proteja activele de date în producție.

Lecția 4 • Testarea Pipeline-urilor de Date

Acoperă testarea unitară cu pytest, strategii de testare a integrării și gestionarea datelor de test. Cursanții construiesc un set de teste care validează logica pipeline-urilor înainte de implementare.