Databricks Data Engineering kurzus

1. óra • Fürtkonfiguráció és -kezelés

A fürtlétrehozás, -méretének meghatározása, automatikus skálázása és leállítási szabályzatainak oktatása. A hallgatók kezdetektől fogva kézben tartják a számítási költségeket és a teljesítményt.

2. óra • Databricks Architektúra Áttekintése

A Databrickset alátámasztó vezérlősík, adatsík és fürtarchitektúra ismertetése. Minden további platformhasználatot egy tiszta mentális modellbe ágyaz.

3. óra • Munkaterület-navigáció és -beállítás

A Databricks felhasználói felületének, mappaszerkezetének és felhasználói beállításainak bemutatása. Lehetővé teszi a hallgatók számára projektek szervezését és személyes környezeteik hatékony kezelését.

4. óra • Databricks CLI és REST API Alapok

A platform programozott elérésének bemutatása CLI-n és REST API-n keresztül. Felkészíti a hallgatókat a későbbi fejezetekben tárgyalt automatizálási feladatokra.

1. óra • Transzformációk és Akciók

A keskeny és széles transzformációk megkülönböztetése és az akció kiváltó okainak magyarázata. A hallgatók megtanulják értelmezni a shuffle-költségeket és a végrehajtási határokat.

2. óra • Spark Elosztott Végrehajtási Modell

Az RDD-k, DAG-ok, szakaszok és feladatok magyarázata a Spark végrehajtási motorjában. A koncepcionális alapot nyújtja hatékony elosztott kód írásához.

3. óra • DataFrame API Alapok

A DataFrame-létrehozás, sémainferencia és alapvető transzformációk ismertetése. A hallgatók ezeket a műveleteket alkalmazzák elsődleges adatmanipulációs felületként.

4. óra • Spark Teljesítmény Alapok

A Spark felhasználói felületének, végrehajtási terveinek és alapvető hangolási lehetőségeinek bemutatása. Felkészíti a hallgatókat a gyakori teljesítmény-szűk keresztmetszetek diagnosztizálására és kezelésére.

1. óra • Delta Lake Tárolási Formátum

A Delta Lake-et alkotó Parquet fájlok, tranzakciós napló és ellenőrzőpont-fájlok magyarázata. A hallgatók megértik, miért nyújt a Delta megbízhatóságot a nyers fájlformátumokkal szemben.

2. óra • Delta Táblák Létrehozása és Kezelése

DDL a Delta táblák létrehozásához, módosításához és törléséhez. Kialakítja az összes további adatfolyam-munkához szükséges táblakezelési készségeket.

3. óra • ACID Tranzakciók és Konkurencia

Optimista konkurencia-vezérlés, izolációs szintek és konfliktuskezelés oktatása a Deltában. A hallgatók olyan adatfolyamokat tervezhetnek, amelyek biztonságosan kezelik az egyidejű írási műveleteket.

4. óra • Delta Lake Optimalizálási Technikák

Az OPTIMIZE, Z-rendezés és fájltömörítés ismertetése a lekérdezési teljesítmény javítása érdekében. A hallgatók ezeket a technikákat alkalmazzák éles szintű Delta táblákra.

1. óra • ELT Tervezési Minták

A medallion architektúra és a növekményes betöltési stratégiák bemutatása strukturált ELT-hez. A hallgatók többlépcsős adatfolyamokat terveznek, amelyek elkülönítik a nyers, tisztított és összeállított rétegeket.

2. óra • Kötegelt Betöltés Gyakori Forrásokból

Olvasás oktatása felhőalapú objektumtárolóból, JDBC adatbázisokból és fájlformátumokból. Biztosítja a betöltési alapot a fejezet összes adatfolyam-mintájához.

3. óra • Adatminőség Kikényszerítése Betöltéskor

Megszorítás-alapú érvényesítés, karantén minták és elvárás keretrendszerek oktatása. Biztosítja, hogy az adatminőséget még azelőtt kikényszerítsék, mielőtt az adatok elérnék a downstream fogyasztókat.

4. óra • Strukturált Streamelés Alapok

A streamelt DataFrame-ek, triggerek és kimeneti módok ismertetése folyamatos adatfeldolgozáshoz. Összeköti a streamelt fogalmakat a termelésben használt Delta Lake desztinációval.

1. óra • Adatfolyam Konfiguráció és Telepítés

Adatfolyam-beállítások, fürt szabályzatok és telepítés oktatása felhasználói felületen és API-n keresztül. A hallgatók éles üzemre kész adatfolyamokat konfigurálnak megfelelő számítási és tárolási beállításokkal.

2. óra • DLT Figyelése és Hibaelhárítása

Az eseménynapló, az adatfolyam felhasználói felület metrikái és a gyakori hibaminták felfedezése. A hallgatók a beépített megfigyelhetőségi eszközök segítségével diagnosztizálják és oldják meg az adatfolyam-problémákat.

3. óra • Adatminőség Elvárásokkal

Az EXPECT, EXPECT OR DROP és EXPECT OR FAIL megszorítások ismertetése a DLT-ben. A hallgatók minőségi szabályokat ágyaznak közvetlenül az adatfolyam-definíciókba az automatikus kikényszerítés érdekében.

4. óra • Adatfolyamok Orkesztrációja Databricks Workflows segítségével

DLT adatfolyamok integrálása többfeladatos Databricks Workflows munkafolyamatokba függőségekkel és ütemezéssel. A hallgatók végpontok közötti orkesztrált adattermékeket építenek.

1. óra • Identitás- és Hozzáférés-kezelés

Felhasználók, csoportok, szolgáltatásnevek és jogosultságok oktatása a Unity Catalogban. A hallgatók a legkisebb jogosultság elvén alapuló hozzáférési modelleket valósítanak meg az adatvagyonhoz.

2. óra • Unity Catalog Architektúra

A metastore, katalógus, séma és táblahierarchia magyarázata a Unity Catalogban. Strukturális megértést biztosít a szabályozott névterek tervezéséhez.

3. óra • Adatok Megosztása Delta Sharing segítségével

A nyílt Delta Sharing protokoll bemutatása platformokon és szervezeteken átívelő adatmegosztáshoz. A hallgatók biztonságosan tesznek közzé és fogyasztanak megosztott adatkészleteket.

4. óra • Naplózás és Megfelelőség

Naplóhozzáférés, lekérdezési előzmények és megfelelőségi jelentési minták oktatása. A hallgatók olyan figyelést konfigurálnak, amely kielégíti a vállalati naplózási követelményeket.

1. óra • Költségalapú Optimalizálás és Statisztikák

Az ANALYZE TABLE, oszlopstatisztikák és a költségalapú optimalizáló join-átrendezésének ismertetése. A hallgatók statisztikákat gyűjtenek és hasznosítanak a tervminőség javítása érdekében.

2. óra • Memóriakezelés és Kiömlés

A Spark memóriaterületei, a végrehajtó méretezése, valamint a kiömlés észlelése és mérséklése. A hallgatók olyan memóriabeállításokat konfigurálnak, amelyek kiküszöbölik a költséges lemezkiömlést.

3. óra • Photon Motor és Vektorizált Végrehajtás

A Databricks Photon motorjának és vektorizált végrehajtási előnyeinek bemutatása. A hallgatók azonosítják azokat a munkaterheléseket, amelyek a legtöbbet profitálnak a Photonból, és megfelelően engedélyezik azt.

4. óra • Particionálási és Shuffle Stratégiák

Optimális partíciószám, újraparticionálás vs. coalesce és shuffle hangolás oktatása. A hallgatók kiküszöbölik az adatferdeséget és csökkentik a shuffle többletterhelését összetett adatfolyamokban.

1. óra • Költségkezelés és FinOps

DBU-fogyasztás elemzés, fürt méretezés és spot példány stratégiák ismertetése. A hallgatók csökkentik a számítási költségeket anélkül, hogy feláldoznák az adatfolyam megbízhatóságát.

2. óra • CI/CD Databricks projektekhez

Databricks Asset Bundles, telepítési automatizálás és környezetléptetés oktatása. A hallgatók egy teljes CI/CD adatfolyamot valósítanak meg a fejlesztéstől az éles üzemig.

3. óra • Biztonság Erősítése és Legjobb Gyakorlatok

Hálózati elkülönítés, titokkezelés és biztonságos hitelesítő adatok kezelésének oktatása. A hallgatók rétegzett védelmi elveket alkalmaznak az adatvagyon védelme érdekében a termelésben.

4. óra • Adatfolyamok Tesztelése

Egységtesztelés a pytest-tel, integrációs tesztelési stratégiák és tesztadat-kezelés ismertetése. A hallgatók olyan tesztcsomagot építenek, amely érvényesíti az adatfolyam logikáját a telepítés előtt.