Kurz Analytics Engineering

Lekce 1 • Přehled moderního datového stacku

Mapuje kategorie nástrojů, které tvoří současnou datovou platformu. Poskytuje terminologii používanou v celém kurzu.

Lekce 2 • Základy verzování pro datové týmy

Pokrývá pracovní postupy Gitu upravené pro analytické kódové báze. Propojuje správu zdrojového kódu s kolaborativní a reprodukovatelnou prací s daty.

Lekce 3 • Opakování SQL pro analytiku

Opakuje konstrukce SQL, které jsou nejdůležitější pro analytické transformace. Zajišťuje společný základ před zavedením pokročilých dotazovacích vzorů.

Lekce 4 • Základy datového modelování

Představuje relační koncepty a paradigmata modelování používaná pro strukturování analytických dat. Ukotvuje studenty v teorii před praktickou transformační prací.

Lekce 1 • Pokročilé SQL pro sklady

Rozšiřuje dovednosti SQL o funkce specifické pro sklady a výkonnostní vzory. Buduje plynulost psaní dotazů potřebnou pro komplexní transformace.

Lekce 2 • Načítání a staging dat

Pokrývá hromadné načítání, formáty souborů a vzory staging oblastí pro ingest surových dat. Propojuje ingest s transformačním pracovním postupem.

Lekce 3 • Řízení přístupu a základy data governance

Představuje přístup na základě rolí, maskování dat a oprávnění na úrovni schématu. Ukotvuje návyky governance před vybudováním produkčních pipeline.

Lekce 4 • Architektura cloudových skladů

Vysvětluje oddělení výpočtu a úložiště, virtuální sklady a modely provádění dotazů. Poskytuje architektonický kontext potřebný pro psaní efektivního SQL.

Lekce 1 • Dokumentace a dbt DAG

Učí popisy modelů, dokumentaci na úrovni sloupců a vizualizaci DAG. Vytváří samo-dokumentující se pipeline, které podporují týmovou spolupráci.

Lekce 2 • Inkrementální modely a výkon

Hluboký ponor do inkrementálních strategií pro velké tabulky. Vyvažuje aktuálnost, náklady a správnost v produkčních pipeline.

Lekce 3 • Tvorba modelů a materializace

Pokrývá SQL soubory modelů, funkci ref() a typy materializace. Učí, jak dbt kompiluje a provádí transformační logiku.

Lekce 4 • Makra, balíčky a Jinja

Rozšiřuje dbt o znovupoužitelná makra Jinja a komunitní balíčky. Snižuje duplicitu kódu a urychluje vývoj projektu.

Lekce 5 • Struktura a nastavení dbt projektu

Prochází inicializací projektu, rozvržením adresářů a konfigurací profilu. Ukotvuje lešení projektu používané ve veškeré následné práci s dbt.

Lekce 1 • Vzory znovupoužitelnosti a modularity

Učí principy DRY aplikované na datové modely prostřednictvím maker a sdílených staging vrstev. Snižuje zátěž údržby v rostoucích projektech.

Lekce 2 • Zpracování komplexních datových vztahů

Řeší vztahy M:N, přemostěné tabulky a hierarchie. Vybavuje studenty k přesnému modelování složitosti reálného businessu.

Lekce 3 • Dimenzionální modelování v praxi

Aplikuje návrh hvězdicového schématu na reálné analytické případy užití. Převádí teorii z kapitoly 1 do produkčně připravených dbt modelů.

Lekce 4 • Jedna velká tabulka vs. normalizované datové tržiště

Porovnává široké denormalizované tabulky s normalizovanými strukturami datových tržišť. Vede studenty k volbě správného vzoru pro každý případ užití.

Lekce 1 • Upozorňování, monitorování a náprava

Vytváří pipeline pro upozorňování a pracovní postupy reakce na incidenty při selhání kvality dat. Uzavírá smyčku mezi detekcí a řešením.

Lekce 2 • Great Expectations a vlastní rámce

Aplikuje specializovaný rámec kvality dat vedle dbt testů. Poskytuje bohatší validační schopnosti pro komplexní požadavky na kvalitu.

Lekce 3 • Statistické a distribuční testování

Představuje kontroly objemu, monitorování distribuce a detekci anomálií pro numerická data. Zachycuje jemné odchylky dat, které strukturální testy přehlédnou.

Lekce 4 • Dimenze kvality dat

Definuje úplnost, přesnost, konzistenci, včasnost a jedinečnost jako měřitelné dimenze kvality. Rámuje testovací strategii pro celou kapitolu.

Lekce 1 • Tvorba pracovních postupů s Airflow

Pokrývá tvorbu Airflow DAG, operátory a připojení. Převádí koncepty orchestrace do fungujícího kódu pipeline.

Lekce 2 • Monitorování a pozorovatelnost pipeline

Představuje metadata pipeline, historii běhů a externí monitorovací integrace. Poskytuje přehled o stavu pipeline ve velkém měřítku.

Lekce 3 • Plánování a správa závislostí

Učí cron výrazy, plánování s ohledem na data a závislosti napříč DAG. Zajišťuje, aby pipeline běžely ve správném pořadí a se správným načasováním.

Lekce 4 • Koncepty a nástroje orchestrace

Představuje orchestraci založenou na DAG, závislosti úloh a přehled orchestrátorů. Poskytuje koncepční základy před praktickou prací s nástroji.

Lekce 1 • Řízení nákladů v produkci

Aplikuje kontrolu nákladů skladu, rozpočty na dotazy a značkování zdrojů na produkční pipeline. Vyvažuje výkon s provozními náklady.

Lekce 2 • Reakce na incidenty v datových pipeline

Ukotvuje runbooky, postupy pohotovosti a procesy postmortem pro datové incidenty. Snižuje střední dobu do obnovy při produkčních selháních.

Lekce 3 • Správa tajemství a konfigurace

Pokrývá bezpečné ukládání přihlašovacích údajů, proměnné prostředí a správce tajemství. Zabraňuje vystavení přihlašovacích údajů v analytických kódových bázích.

Lekce 4 • CI/CD pro datové pipeline

Implementuje automatizované testovací a nasazovací pipeline pro dbt projekty. Vnáší disciplínu softwarového inženýrství do pracovních postupů datových transformací.

Lekce 1 • Modelování dimenzí a entit

Navrhuje vztahy entit a dimenzionální hierarchie v rámci sémantické vrstvy. Umožňuje konzistentní segmentaci a filtrování napříč všemi metrikami.

Lekce 2 • Koncept vrstvy metrik

Vysvětluje, proč centralizovaná vrstva metrik odstraňuje nekonzistenci metrik napříč nástroji. Motivuje k sémantickému modelování, které následuje.

Lekce 3 • Definice metrik pomocí dbt Semantic Layer

Pokrývá syntaxi MetricFlow pro definování měr, dimenzí a metrik v dbt. Vytváří znovupoužitelné definice metrik konzumovatelné jakýmkoli BI nástrojem.

Lekce 4 • Governance a verzování metrik

Ukotvuje vlastnictví, řízení změn a postupy verzování pro definice metrik. Udržuje důvěru v metriky s vývojem businessu.