Python data engineer képzés

1. óra • Vezérlésfolyam és iteráció

Alkalmazzon feltételeket, ciklusokat és listakifejezéseket adatrekordok sorozatainak feldolgozásához. Ez közvetlenül leképezi az ETL-folyamatok során használt transzformációs logikát.

2. óra • Függvények és hibakezelés

Határozzon meg újrafelhasználható függvényeket argumentumokkal, alapértelmezett értékekkel és visszatérési értékekkel, majd kezelje kecsesen a kivételeket. Lehetővé teszi a moduláris, hibatűrő folyamatkódot.

3. óra • Alapvető Python-szintaxis és adattípusok

Fedje le a változókat, operátorokat és beépített típusokat, beleértve a karakterláncokat, egész számokat, lebegőpontos számokat és logikai értékeket. Ez adja a szintaktikai alapot bármilyen adatfolyamat-logika megírásához.

4. óra • Gyűjtemények: listák, tuple-ök, dictionary-k, halmazok

Fedezze fel a módosítható és módosíthatatlan gyűjteménytípusokat és azok teljesítménybeli kompromisszumait. Ezek a struktúrák képezik a memóriában történő adatmanipuláció alapját a kurzus során.

1. óra • Bináris formátumok: Parquet és Avro

Olvasson és írjon oszlopos Parquet- és sor alapú Avro-fájlokat Python-könyvtárak segítségével. Ezek a formátumok szabványosak a modern adattó-architektúrákban.

2. óra • Munka szöveges és CSV-fájlokkal

Nyisson meg, olvasson és írjon szöveges fájlokat környezetkezelők segítségével, majd elemezze a CSV-t a szabványos könyvtárral. Lefedi a kötegelt folyamatok leggyakoribb nyers adatformátumát.

3. óra • Fájlrendszer- és elérésiút-műveletek

Navigáljon a könyvtárakban, globoljon fájlokat, és kezelje az elérési utakat a pathlib és os modulok segítségével. Automatizálja a kötegelt betöltési munkafolyamatokban gyakori fájlfelfedezési lépéseket.

1. óra • DataFrames és Series alapok

Hozzon létre DataFrames-eket dict-ekből, CSV-ből és JSON-ból, majd vizsgálja meg a struktúrát és az adattípusokat. Ez képezi az összes Pandas-alapú transzformációs munka alapját.

2. óra • Szűrés, rendezés és kiválasztás

Alkalmazzon logikai maszkokat, loc/iloc kiválasztókat és rendezési műveleteket a releváns adatok részhalmazainak elkülönítéséhez. Közvetlenül támogatja az adatminőségi szűrést a folyamatok szakaszaiban.

3. óra • Aggregálás, csoportosítás és pivotálás

Foglalja össze az adatokat groupby, agg és pivot műveletekkel az elemzési eredmények előállításához. Lehetővé teszi a metrikák kiszámítását és jelentését a folyamatok munkafolyamataiban.

4. óra • Adattisztítás és típuskényszerítés

Kezelje a hiányzó értékeket, ismétlődéseket és helytelen típusokat a tiszta, konzisztens adatkészletek előállításához. A tisztítás a legidőigényesebb lépés a valós adatfolyamatokban.

1. óra • Munka NoSQL adatbázisokkal

Csatlakozzon dokumentum- és kulcs-érték tárolókhoz, hajtson végre CRUD-műveleteket, és képezze le az eredményeket Python-objektumokra. Kiterjeszti a folyamatok kapcsolódását a relációs rendszereken túlra.

2. óra • Relációs adatbázisok SQLAlchemy segítségével

Hozzon létre kapcsolatokat, tükrözze a sémákat, és hajtson végre nyers SQL-t az SQLAlchemy core API-jának használatával. Adatbázis-független elérési réteget biztosít a folyamatkód számára.

3. óra • Kapcsolatpoolozás és legjobb gyakorlatok

Konfigurálja a kapcsolatpoolokat, kezelje biztonságosan a hitelesítő adatokat, és kerülje el a gyakori rossz gyakorlatokat. Biztosítja a termelési szintű megbízhatóságot és biztonságot az adatbázis-elérési kódban.

1. óra • Folyamatnaplózás és megfigyelhetőség

Lássa el a folyamatokat strukturált naplózással, metrikákkal és riasztásokkal az operatív megfigyelés lehetővé tételéhez. Alakítsa át a szkripteket megfigyelhető, termelésre kész folyamatokká.

2. óra • Transzformációs logika és üzleti szabályok

Valósítson meg mezőleképezéseket, származtatott oszlopokat és érvényesítési szabályokat tiszta Python-függvényekként. Foglalja magába az üzleti logikát tesztelhető, újrafelhasználható transzformációs egységekben.

3. óra • Adatok betöltése célrendszerekbe

Írja a transzformált adatokat adatbázisokba, adattárházakba és objektumtárolókba Python-összekötők segítségével. Befejezi a folyamatot a tiszta adatok célállomásra juttatásával.

4. óra • ETL architektúra és tervezési minták

Ismerje meg a folyamatok szakaszait, az adatfolyamot és a gyakori tervezési mintákat, mint az ELT és a medallion architektúra. Meghatározza a fogalmi keretet az összes folyamatmegvalósítási munkához.

1. óra • Infrastruktúra mint kód adatfolyamatokhoz

Határozzon meg felhőerőforrásokat programozottan Python-alapú IaC-eszközök segítségével a környezet beállításának automatizálásához. Csökkenti a manuális kiépítést, és biztosítja a reprodukálható folyamatinfrastruktúrát.

2. óra • Eseményvezérelt betöltés üzenetsorokkal

Készítsen és fogyasszon üzeneteket sorokból és streamelő témakörökből a folyamatok végrehajtásának elindításához. Kapcsolja össze a Python-folyamatokat az eseményvezérelt és valós idejű adatarchitektúrákkal.

3. óra • Interakció felügyelt adattárházakkal

Csatlakozzon felhőalapú adattárházakhoz Python-összekötők segítségével, hajtson végre lekérdezéseket, és töltse be hatékonyan az adatokat. Lehetővé teszi, hogy a Python-folyamatok méretezhető elemzési munkaterheléseket szolgáljanak ki.

1. óra • Hibakezelési és újrapróbálkozási stratégiák

Konfiguráljon újrapróbálkozásokat, időtúllépéseket és SLA-riasztásokat, hogy az összehangolt folyamatok ellenállóak legyenek az átmeneti hibákkal szemben. Közvetlenül csökkenti a manuális beavatkozást a termelési környezetekben.

2. óra • Dinamikus DAG-ok és paraméterezés

Generáljon DAG-okat programozottan, és adjon át futásidejű paramétereket a feladatoknak a rugalmas folyamatvégrehajtás érdekében. Lehetővé teszi számos hasonló folyamatváltozat skálázható összehangolását.

3. óra • Összehangolási fogalmak és eszközök áttekintése

Ismerje meg a DAG-okat, a feladatfüggőségeket és az összehangolók szerepét az adatmérnökségben. Biztosítja a fogalmi alapot az összehangolási kód megvalósítása előtt.

4. óra • DAG-ok építése Apache Airflow segítségével

Határozzon meg DAG-okat, operátorokat és feladatfüggőségeket az Airflow-ban Python segítségével a folyamatok ütemezéséhez. Az Airflow a legszélesebb körben használt összehangoló az adatmérnökségben.

1. óra • Kódminőség és csomagolás

Kényszerítse ki a stílust linterekkel, végezzen típusellenőrzést mypy segítségével, és csomagolja a folyamatkódot telepíthető Python-modulokká. Emeli a kód karbantarthatóságát a professzionális szoftvermérnöki szabványok szintjére.

2. óra • Egység- és integrációs tesztelés folyamatokhoz

Írjon pytest-alapú egységteszteket transzformációs függvényekhez és integrációs teszteket adatbázis-interakciókhoz. A tesztelés megakadályozza a regressziókat és érvényesíti a folyamatok helyességét.

3. óra • Párhuzamos és egyidejű feldolgozás

Alkalmazzon multiprocessing, threading és async mintákat az I/O-kötött és CPU-kötött folyamatfeladatok párhuzamosításához. Jelentősen csökkenti a teljes folyamat futási idejét.

4. óra • Python kód profilozása és optimalizálása

Azonosítsa a szűk keresztmetszeteket profilozó eszközök segítségével, és alkalmazzon vektorizálást, adagolást és gyorsítótárazást az átviteli sebesség javításához. A teljesítményoptimalizálás kritikus fontosságú a nagy léptékű adatfolyamatoknál.