Python-kurs för Data Engineers

Lektion 1 • Kontrollflöde och iteration

Tillämpa villkor, loopar och comprehensions för att bearbeta sekvenser av dataposter. Mappar direkt till logik för radnivåtransformationer som används i ETL-pipelines.

Lektion 2 • Funktioner och felhantering

Definiera återanvändbara funktioner med argument, standardvärden och returvärden, och hantera sedan undantag elegant. Möjliggör modulär, feltolerant pipelinekod.

Lektion 3 • Grundläggande Python-syntax och datatyper

Täck variabler, operatorer och inbyggda typer inklusive strängar, heltal, flyttal och booleaner. Ger den syntaktiska grunden för att skriva all logik i en datapipeline.

Lektion 4 • Samlingar: listor, tupler, dicts, sets

Utforska föränderliga och oföränderliga samlingstyper och deras prestandaavvägningar. Dessa strukturer ligger till grund för datamanipulation i minnet genom hela kursen.

Lektion 1 • Binära format: Parquet och Avro

Läs och skriv kolumnorienterade Parquet- och radbaserade Avro-filer med Python-bibliotek. Dessa format är standard i moderna datasjöarkitekturer.

Lektion 2 • Arbeta med text- och CSV-filer

Öppna, läs och skriv textfiler med context managers, och parsa sedan CSV med standardbiblioteket. Täcker det vanligaste rådataformatet i batch-pipelines.

Lektion 3 • Filsystem- och sökvägsoperationer

Navigera i kataloger, globba filer och hantera sökvägar med modulerna pathlib och os. Automatiserar filupptäcktssteg som är vanliga i arbetsflöden för batchinläsning.

Lektion 1 • Grunderna i DataFrames och Series

Skapa DataFrames från dicts, CSV och JSON, och inspektera sedan struktur och datatyper. Utgör grunden för allt Pandas-baserat transformationsarbete.

Lektion 2 • Filtrering, sortering och urval

Tillämpa booleska masker, loc/iloc-väljare och sorteringsoperationer för att isolera relevanta datamängder. Stöder direkt filtrering av datakvalitet i pipelinestadier.

Lektion 3 • Aggregering, gruppering och pivotering

Sammanfatta data med groupby-, agg- och pivot-operationer för att producera analytiska utdata. Möjliggör mätvärdesberäkning och rapportering inom pipelinearbetsflöden.

Lektion 4 • Datarengöring och typkonvertering

Hantera saknade värden, dubbletter och felaktiga typer för att producera rena, konsekventa dataset. Rengöring är det mest tidskrävande steget i verkliga datapipelines.

Lektion 1 • Arbeta med NoSQL-databaser

Anslut till dokument- och nyckel-/värdedatalager, utför CRUD-operationer och mappa resultat till Python-objekt. Utökar pipelineanslutningen bortom relationssystem.

Lektion 2 • Relationsdatabaser med SQLAlchemy

Etablera anslutningar, reflektera scheman och kör rå SQL med SQLAlchemys core API. Ger ett databasoberoende åtkomstlager för pipelinekod.

Lektion 3 • Anslutningspoolning och bästa praxis

Konfigurera anslutningspooler, hantera autentiseringsuppgifter säkert och undvik vanliga antimönster. Säkerställer produktionsmässig tillförlitlighet och säkerhet i databasåtkomstkoden.

Lektion 1 • Pipelogging och observerbarhet

Instrumentera pipelines med strukturerad loggning, mätvärden och larm för att möjliggöra driftövervakning. Omvandlar skript till observerbara, produktionsklara processer.

Lektion 2 • Transformationslogik och affärsregler

Implementera fältmappningar, härledda kolumner och valideringsregler som rena Python-funktioner. Kapslar in affärslogik i testbara, återanvändbara transformationsenheter.

Lektion 3 • Ladda data till målsystem

Skriv transformerad data till databaser, datalager och objektlagring med Python-anslutningar. Kompletterar pipelinen genom att leverera ren data till dess destination.

Lektion 4 • ETL-arkitektur och designmönster

Förstå pipelinestadier, dataflöde och vanliga designmönster som ELT och medallion-arkitektur. Sätter den konceptuella ramen för allt pipelineimplementeringsarbete.

Lektion 1 • Infrastruktur som kod för datapipelines

Definiera molnresurser programmatiskt med Python-baserade IaC-verktyg för att automatisera miljöinstallation. Minskar manuell provisionering och säkerställer reproducerbar pipelineinfrastruktur.

Lektion 2 • Händelsedriven inläsning med meddelandeköer

Producera och konsumera meddelanden från köer och strömmande ämnen för att utlösa pipelinekörning. Ansluter Python-pipelines till händelsedrivna dataarkitekturer och realtidsarkitekturer.

Lektion 3 • Interagera med hanterade datalager

Anslut till molndatalager via Python-anslutningar, kör frågor och ladda data effektivt. Gör att Python-pipelines kan betjäna analytiska arbetsbelastningar i stor skala.

Lektion 1 • Felhantering och omförsöksstrategier

Konfigurera omförsök, tidsgränser och SLA-larm för att göra orkestrerade pipelines motståndskraftiga mot tillfälliga fel. Minskar direkt manuella ingrepp i produktionsmiljöer.

Lektion 2 • Dynamiska DAG:ar och parameterisering

Generera DAG:ar programmatiskt och skicka runtime-parametrar till uppgifter för flexibel pipelinekörning. Möjliggör skalbar orkestrering av många liknande pipelinevarianter.

Lektion 3 • Orkestreringskoncept och verktygslandskap

Förstå DAG:ar, uppgiftsberoenden och orkestratorers roll inom dataingenjörskonst. Ger den konceptuella grunden innan orkestreringskod implementeras.

Lektion 4 • Bygga DAG:ar med Apache Airflow

Definiera DAG:ar, operatorer och uppgiftsberoenden i Airflow med Python för att schemalägga pipelinekörningar. Airflow är den mest använda orkestratorn inom dataingenjörskonst.

Lektion 1 • Kodkvalitet och paketering

Framtvinga stil med linters, typkontrollera med mypy och paketera pipelinekod som installeringsbara Python-moduler. Höjer kodunderhållbarheten till professionell programvaruutvecklingsstandard.

Lektion 2 • Enhets- och integrationstestning för pipelines

Skriv pytest-baserade enhetstester för transformationsfunktioner och integrationstester för databasinteraktioner. Testning förhindrar regressioner och validerar pipelinekorrekthet.

Lektion 3 • Parallell och samtidig bearbetning

Tillämpa multiprocessing-, threading- och async-mönster för att parallellisera I/O-bundna och CPU-bundna pipelineuppgifter. Minskar den totala pipelinekörningstiden avsevärt.

Lektion 4 • Genomströmning

Identifiera flaskhalsar med profileringsverktyg och tillämpa vektorisering, chunking och cachning för att förbättra genomströmning. Prestandaoptimering är avgörande för storskaliga datapipelines.