Kurs Python dla Inżynierów Danych

Lekcja 1 • Przepływ sterowania i iteracja

Stosuj instrukcje warunkowe, pętle i wyrażenia składane do przetwarzania sekwencji rekordów danych. Bezpośrednio odwzorowuje logikę transformacji na poziomie wierszy stosowaną w potokach ETL.

Lekcja 2 • Funkcje i obsługa błędów

Definiuj funkcje wielokrotnego użytku z argumentami, wartościami domyślnymi i wartościami zwracanymi, a następnie elegancko obsługuj wyjątki. Umożliwia tworzenie modułowego, odpornego na błędy kodu potoku.

Lekcja 3 • Podstawowa składnia Pythona i typy danych

Omówienie zmiennych, operatorów i wbudowanych typów, w tym łańcuchów znaków, liczb całkowitych, zmiennoprzecinkowych i wartości logicznych. Stanowi podstawę składniową do pisania dowolnej logiki potoku danych.

Lekcja 4 • Kolekcje: listy, krotki, słowniki, zbiory

Poznaj typy kolekcji mutowalnych i niemutowalnych oraz związane z nimi kompromisy wydajnościowe. Te struktury stanowią podstawę operacji na danych w pamięci w całym kursie.

Lekcja 1 • Formaty binarne: Parquet i Avro

Odczyt i zapis kolumnowych plików Parquet i wierszowych plików Avro przy użyciu bibliotek Pythona. Te formaty są standardem w nowoczesnych architekturach jezior danych.

Lekcja 2 • Praca z plikami tekstowymi i CSV

Otwieranie, odczyt i zapis plików tekstowych przy użyciu menedżerów kontekstu, a następnie parsowanie CSV za pomocą biblioteki standardowej. Obejmuje najczęstszy format surowych danych w potokach wsadowych.

Lekcja 3 • Operacje na systemie plików i ścieżkach

Nawiguj po katalogach, przeszukuj pliki za pomocą wzorców i zarządzaj ścieżkami przy użyciu modułów pathlib i os. Automatyzuje typowe kroki odnajdywania plików w przepływach pracy pobierania wsadowego.

Lekcja 1 • Podstawy DataFrame i Series

Twórz obiekty DataFrame ze słowników, CSV i JSON, a następnie sprawdzaj strukturę i typy danych. Stanowi podstawę wszystkich prac transformacyjnych opartych na Pandas.

Lekcja 2 • Filtrowanie, sortowanie i wybór

Stosuj maski logiczne, selektory loc/iloc i operacje sortowania, aby wyodrębnić odpowiednie podzbiory danych. Bezpośrednio wspomaga filtrowanie jakości danych na etapach potoku.

Lekcja 3 • Agregacja, grupowanie i przestawianie

Podsumowuj dane za pomocą operacji groupby, agg i pivot, aby uzyskać wyniki analityczne. Umożliwia obliczanie metryk i raportowanie w ramach przepływów pracy potoku.

Lekcja 4 • Czyszczenie danych i wymuszanie typów

Obsługuj brakujące wartości, duplikaty i nieprawidłowe typy, aby uzyskać czyste, spójne zbiory danych. Czyszczenie jest najbardziej czasochłonnym krokiem w rzeczywistych potokach danych.

Lekcja 1 • Praca z bazami danych NoSQL

Połącz się z magazynami dokumentów i par klucz-wartość, wykonuj operacje CRUD i mapuj wyniki na obiekty Pythona. Rozszerza łączność potoków poza systemy relacyjne.

Lekcja 2 • Relacyjne bazy danych z SQLAlchemy

Nawiąż połączenia, odwzoruj schematy i wykonuj surowy SQL przy użyciu podstawowego API SQLAlchemy. Zapewnia niezależną od bazy danych warstwę dostępu dla kodu potoku.

Lekcja 3 • Poolowanie połączeń i najlepsze praktyki

Skonfiguruj pule połączeń, bezpiecznie zarządzaj poświadczeniami i unikaj typowych antywzorców. Zapewnia niezawodność i bezpieczeństwo na poziomie produkcyjnym w kodzie dostępu do bazy danych.

Lekcja 1 • Rejestrowanie i obserwowalność potoku

Instrumentuj potoki za pomocą ustrukturyzowanego logowania, metryk i alertów, aby umożliwić monitorowanie operacyjne. Przekształca skrypty w obserwowalne, gotowe do produkcji procesy.

Lekcja 2 • Logika transformacji i reguły biznesowe

Zaimplementuj mapowania pól, kolumny pochodne i reguły walidacji jako czyste funkcje Pythona. Hermetyzuje logikę biznesową w testowalnych, wielokrotnego użytku jednostkach transformacji.

Lekcja 3 • Ładowanie danych do systemów docelowych

Zapisuj przekształcone dane do baz danych, hurtowni danych i magazynów obiektów za pomocą łączników Pythona. Kończy potok, dostarczając czyste dane do miejsca przeznaczenia.

Lekcja 4 • Architektura ETL i wzorce projektowe

Zrozum etapy potoku, przepływ danych i typowe wzorce projektowe, takie jak ELT i architektura medalionowa. Stanowi ramy koncepcyjne dla wszystkich prac związanych z implementacją potoku.

Lekcja 1 • Infrastruktura jako kod dla potoków danych

Definiuj zasoby chmurowe programowo za pomocą narzędzi IaC opartych na Pythonie, aby zautomatyzować konfigurację środowiska. Redukuje ręczne przygotowanie i zapewnia odtwarzalną infrastrukturę potoku.

Lekcja 2 • Pobieranie sterowane zdarzeniami za pomocą kolejek komunikatów

Produkuj i konsumuj komunikaty z kolejek i tematów strumieniowych, aby wyzwalać wykonanie potoku. Łączy potoki Pythona z architekturami danych sterowanymi zdarzeniami i czasu rzeczywistego.

Lekcja 3 • Współdziałanie z zarządzanymi hurtowniami danych

Połącz się z chmurowymi hurtowniami danych za pomocą łączników Pythona, wykonuj zapytania i ładuj dane wydajnie. Umożliwia potokom Pythona obsługę obciążeń analitycznych na dużą skalę.

Lekcja 1 • Obsługa błędów i strategie ponawiania

Skonfiguruj ponawianie, limity czasu i alerty SLA, aby orkiestrowane potoki były odporne na przejściowe awarie. Bezpośrednio redukuje ręczną interwencję w środowiskach produkcyjnych.

Lekcja 2 • Dynamiczne DAG-i i parametryzacja

Generuj DAG-i programowo i przekazuj parametry czasu wykonania do zadań, aby uzyskać elastyczne wykonanie potoku. Umożliwia skalowalną orkiestrację wielu podobnych wariantów potoku.

Lekcja 3 • Koncepcje orkiestracji i krajobraz narzędzi

Zrozum DAG-i, zależności zadań i rolę orkiestratorów w inżynierii danych. Stanowi koncepcyjną podstawę przed implementacją kodu orkiestracji.

Lekcja 4 • Budowanie DAG-ów za pomocą Apache Airflow

Definiuj DAG-i, operatory i zależności zadań w Airflow za pomocą Pythona, aby planować uruchomienia potoku. Airflow jest najczęściej wdrażanym orkiestratorem w inżynierii danych.

Lekcja 1 • Jakość kodu i pakowanie

Wymuszaj styl za pomocą linterów, sprawdzaj typy za pomocą mypy i pakuj kod potoku jako instalowalne moduły Pythona. Podnosi łatwość utrzymania kodu do standardów profesjonalnej inżynierii oprogramowania.

Lekcja 2 • Testy jednostkowe i integracyjne dla potoków

Pisz testy jednostkowe oparte na pytest dla funkcji transformacji i testy integracyjne dla interakcji z bazami danych. Testowanie zapobiega regresjom i weryfikuje poprawność potoku.

Lekcja 3 • Przetwarzanie równoległe i współbieżne

Stosuj wzorce wieloprocesowości, wielowątkowości i asynchroniczności do parallelizacji zadań związanych z we/wy i obciążających procesor. Znacznie skraca całkowity czas wykonania potoku.

Lekcja 4 • Profilowanie i optymalizacja kodu Pythona

Zidentyfikuj wąskie gardła za pomocą narzędzi do profilowania i zastosuj wektoryzację, przetwarzanie fragmentami i buforowanie w celu poprawy przepustowości. Optymalizacja wydajności jest kluczowa dla potoków danych na dużą skalę.