Kurz Data Engineering s Databricks

Lekce 1 • Konfigurace a správa clusterů (výpočetních / databázových)

Učí vytváření clusterů, dimenzování, automatické škálování a politiky ukončování. Studenti získávají kontrolu nad výpočetními náklady a výkonem hned od začátku.

Lekce 2 • Přehled architektury Databricks

Pokrývá řídicí rovinu, datovou rovinu a architekturu clusteru, na kterých je Databricks postaven. Zakotvuje veškeré následné používání platformy v jasném mentálním modelu.

Lekce 3 • Navigace v pracovním prostředí a jeho nastavení

Představuje uživatelské rozhraní Databricks, strukturu složek a uživatelská nastavení. Umožňuje studentům efektivně organizovat projekty a spravovat osobní prostředí.

Lekce 4 • Základy rozhraní Databricks CLI a REST API

Představuje programový přístup k platformě prostřednictvím CLI a REST API. Připravuje studenty na úlohy automatizace, které jsou probírány v pozdějších kapitolách.

Lekce 1 • Transformace a akce

Rozlišuje úzké a široké transformace a vysvětluje spouštěče akcí. Studenti se naučí uvažovat o nákladech na míchání a hranicích provádění.

Lekce 2 • Distribuovaný prováděcí model Sparku

Vysvětluje RDD, DAG, fáze a úlohy v rámci vykonávacího jádra Sparku. Poskytuje koncepční základy pro psaní efektivního distribuovaného kódu.

Lekce 3 • Základy DataFrame API

Pokrývá vytváření DataFrame, odvozování schémat a základní transformace. Studenti tyto operace používají jako primární rozhraní pro manipulaci s daty.

Lekce 4 • Základy výkonu Sparku

Představuje uživatelské rozhraní Spark, plány provádění a základní možnosti ladění. Vybavuje studenty dovednostmi pro diagnostiku a řešení běžných úzkých míst výkonu.

Lekce 1 • Úložný formát Delta Lake

Vysvětluje soubory Parquet, transakční protokol a kontrolní soubory, které tvoří Delta Lake. Studenti pochopí, proč Delta poskytuje spolehlivost oproti syrovým souborovým formátům.

Lekce 2 • Vytváření a správa delta tabulek

Zahrnuje DDL pro vytváření, úpravu a odstraňování Delta tabulek. Stanovuje dovednosti správy tabulek potřebné pro veškerou budoucí práci s datovými pipeline.

Lekce 3 • ACID transakce a souběžnost

Vysvětluje optimistické řízení souběžnosti, úrovně izolace a řešení konfliktů v nástroji Delta. Studenti mohou navrhovat pipeline, které bezpečně zvládají souběžné zápisy.

Lekce 4 • Techniky optimalizace Delta Lake

Zahrnuje OPTIMIZE, Z-řazení a kompresi souborů pro zlepšení výkonu dotazů. Studenti tyto techniky použijí na produkčních Delta tabulkách.

Lekce 1 • Návrhové vzory ELT

Představuje medailonovou architekturu a strategie přírůstkového načítání pro strukturovaný ELT. Studenti navrhují vícestupňové pipeline, které oddělují vrstvy surových, vyčištěných a zpracovaných dat.

Lekce 2 • Dávkové příjímání dat z běžných zdrojů

Ukazuje čtení z cloudového objektového úložiště, JDBC databází a souborových formátů. Poskytuje základ pro ingestování dat pro všechny pipeline vzory v této kapitole.

Lekce 3 • Vynucování kvality dat při ingestu

Učí validaci založenou na omezeních, vzory karantény a rámce očekávání. Zajišťuje vynucení kvality dat ještě předtím, než se data dostanou ke spotřebitelům v navazujících systémech.

Lekce 4 • Základy strukturovaného streamování

Pokrývá streamovací DataFrames, triggery a výstupní režimy pro kontinuální zpracování dat. Propojuje streamovací pojmy s jímkou Delta Lake používanou v produkci.

Lekce 1 • Konfigurace a nasazení pipeline

Seznámí vás s nastavením pipeline, politikami clusteru a nasazením prostřednictvím UI a API. Studenti nakonfigurují produkčně připravené pipeline s vhodným nastavením výpočetních a úložných prostředků.

Lekce 2 • Monitorování a řešení problémů DLT

Prozkoumává protokol událostí, metriky uživatelského rozhraní pipeline a běžné vzorce selhání. Studenti diagnostikují a řeší problémy pipeline pomocí vestavěných nástrojů pro pozorovatelnost.

Lekce 3 • Kvalita dat pomocí nástroje Expectations

Pokrývá omezení EXPECT, EXPECT OR DROP a EXPECT OR FAIL v DLT. Studenti vkládají pravidla kvality přímo do definic pipeline pro automatizované vynucování.

Lekce 4 • Orchestrace pipelineů pomocí Databricks Workflows

Začleňuje DLT pipeline do víceúlohových Databricks Workflows se závislostmi a plánováním. Studenti sestavují komplexní orchestraci datových produktů od začátku do konce.

Lekce 1 • Správa identit a přístupů

Pokrývá uživatele, skupiny, instanční objekty a přidělování oprávnění v Unity Catalogu. Studenti zavádějí modely přístupu s nejnižšími oprávněními pro datové prostředky.

Lekce 2 • Architektura Unity Catalogu

Vysvětluje hierarchii metastoru, katalogu, schématu a tabulky v rámci Unity Catalog. Poskytuje strukturální porozumění potřebné pro návrh řízených jmenných prostorů.

Lekce 3 • Sdílení dat pomocí Delta Sharing

Představuje otevřený protokol Delta Sharing pro sdílení dat napříč platformami a organizacemi. Studenti bezpečně publikují a využívají sdílené datové sady.

Lekce 4 • Audit a dodržování předpisů

Pokrývá přístup k auditním logům, historii dotazů a vzory hlášení o souladu s předpisy. Studenti konfigurují monitorování tak, aby vyhovělo požadavkům podnikových auditů.

Lekce 1 • Optimalizace založená na nákladech a statistiky

Pokrývá ANALYZE TABLE, statistiky sloupců a změnu pořadí spojení nákladově orientovaným optimalizátorem. Studenti sbírají a využívají statistiky ke zlepšení kvality plánů.

Lekce 2 • Správa paměti a spill

Pokrývá paměťové oblasti Sparku, dimenzování exekutorů a detekci a zmírnění spillování. Studenti konfigurují nastavení paměti tak, aby eliminovali nákladné spillování na disk.

Lekce 3 • Photon Engine a vektorizované provádění

Představuje engine Databricks Photon a výhody jeho vektorizovaného provádění. Studenti identifikují úlohy, které z Photonu nejvíce těží, a vhodně jej aktivují.

Lekce 4 • Strategie rozdělování a přeskupování

Učí optimální počty oddílů, repartition vs. coalesce a ladění shuffle. Studenti odstraňují datovou nerovnováhu a snižují režii shuffle ve složitých pipelinech.

Lekce 1 • Správa nákladů a FinOps

Pokrývá analýzu spotřeby DBU, správné dimenzování clusterů a strategie využití spot instancí. Studenti snižují náklady na výpočetní výkon bez obětování spolehlivosti pipeline.

Lekce 2 • CI/CD pro projekty Databricks

Učí práci s Databricks Asset Bundles, automatizaci nasazení a postupné propagaci mezi prostředími. Studenti zavedou kompletní CI/CD pipeline od vývoje po produkci.

Lekce 3 • Bezpečnostní hardening a osvědčené postupy

Učí síťovou izolaci, správu tajemství a bezpečné nakládání s přihlašovacími údaji. Studenti používají principy hloubkové obrany k ochraně datových aktiv v produkčním prostředí.

Lekce 4 • Testování datových pipelineí

Pokrývá jednotkové testování pomocí pytestu, strategie integračního testování a správu testovacích dat. Studenti sestaví testovací sadu, která před nasazením ověřuje logiku pipeline.