Curs Big Data Integration

Lecția 1 • Metadate și cataloage de date

Explică rolurile metadatelor tehnice, de afaceri și operaționale. Stabilește gestionarea metadatelor ca o preocupare transversală pentru toată activitatea de integrare.

Lecția 2 • Privire de ansamblu asupra peisajului datelor de mari dimensiuni

Definește caracteristicile datelor de mari dimensiuni și spațiul problemelor de integrare. Fundamentează subiectele tehnice ulterioare într-un context de afaceri real.

Lecția 3 • Stiluri arhitecturale de integrare a datelor

Prezintă modelele ETL, ELT, virtualizarea datelor și modelele bazate pe evenimente. Oferă un cadru decizional utilizat pe parcursul cursului.

Lecția 1 • Sisteme de fișiere distribuite

Acoperă principiile stocării distribuite la nivel de bloc și semantica sistemelor de fișiere. Conectează arhitectura de stocare la deciziile de ingerare și procesare luate ulterior.

Lecția 2 • Selectarea formatului de stocare

Compară formatele pe rânduri, pe coloane și imbricate pentru sarcinile de integrare. Informează direct deciziile privind proiectarea schemei și transformarea ulterioară.

Lecția 3 • Stocare obiecte și niveluri cloud

Explică semantica stocării obiectelor și nivelarea nativă în cloud. Pregătește studenții pentru arhitecturi de integrare bazate pe cloud în capitolele ulterioare.

Lecția 4 • Depozite de date și lacuri de date

Contrastează depozitele cu schemă la scriere cu lacurile cu schemă la citire. Ghidează selecția stocării pe baza modelelor de interogare și a cerințelor de integrare.

Lecția 1 • Fundamentele transformării datelor

Acoperă transformări de filtrare, agregare, îmbinare și îmbogățire. Construiește setul de abilități de transformare extins în capitolele avansate.

Lecția 2 • Încărcarea datelor și modele țintă

Explică strategiile de încărcare de tip upsert, merge și dimensiuni cu modificare lentă. Conectează logica de încărcare la stocarea în depozit și lac acoperită în Capitolul 2.

Lecția 3 • Modele de proiectare a ingerării în lot

Acoperă strategii de ingerare de tip încărcare completă, încărcare incrementală și capturare a modificărilor de date. Stabilește stratul de ingestie care alimentează toată activitatea de transformare ulterioară.

Lecția 4 • Tehnici de extragere a datelor

Învață extragerea la scară din baze de date relaționale, fișiere și API-uri. Oferă modele de extragere reutilizabile aplicate în laboratoarele pipeline-urilor.

Lecția 1 • Procesarea streamurilor cu și fără stare

Învață filtrarea, maparea, ferestrele și agregarea pe stream-uri live. Construiește logica de procesare care alimentează dashboard-urile în timp real și sistemele din aval.

Lecția 2 • Concepte de streaming și sisteme de mesagerie

Definește stream-urile de evenimente, topic-urile, partițiile și grupurile de consumatori. Stabilește fundația de mesagerie pentru toată activitatea pipeline-urilor de streaming.

Lecția 3 • Arhitecturi Lambda și Kappa

Contrastează arhitecturile de integrare cu lot-plus-streaming și doar streaming. Ghidează deciziile arhitecturale pentru sarcinile de lucru hibride întâlnite în practică.

Lecția 4 • Livrarea stream-to-storage

Explică conectorii sink, aterizarea micro-batch și strategiile de compactare. Conectează ieșirea streaming-ului la sistemele de stocare acoperite în Capitolul 2.

Lecția 1 • Gestionarea datelor master și a datelor de referință

Definește domeniile de date master, înregistrările de aur și guvernanța datelor de referință. Oferă fundația de consistență a datelor pentru scenariile de integrare multi-sursă.

Lecția 2 • Proiectarea schemei pentru lacuri de date

Explică schema-la-citire, arhitectura pe zone și convențiile de foldere pentru lacuri. Extinde conceptele de stocare în lac din Capitolul 2 cu îndrumări practice de proiectare.

Lecția 3 • Modelarea conceptuală și logică a datelor

Acoperă modelarea entitate-relație și normalizarea pentru contexte de integrare. Oferă fundația de modelare pentru proiectarea schemei fizice ulterioare.

Lecția 4 • Evoluția schemei și compatibilitatea

Acoperă strategiile de compatibilitate backward, forward și completă pentru evoluția schemelor. Previne defecțiunile pipeline-urilor cauzate de derivele schemei în sistemele de producție.

Lecția 1 • Reguli de calitate și cadre de validare

Explică validarea bazată pe reguli, suite de așteptări și modele de carantină. Integrează porți de calitate în pipeline-urile în lot și în streaming construite anterior.

Lecția 2 • Monitorizarea calității datelor și SLA-uri

Acoperă monitorizarea continuă a calității, alertarea și urmărirea acordurilor de nivel de serviciu. Conectează metricile de calitate la dashboard-urile operaționale și procesele de guvernanță.

Lecția 3 • Profilarea și detectarea anomaliilor

Acoperă tehnici de profilare statistică, analiză a modelelor și detectare a valorilor atipice. Oferă instrumente de diagnosticare utilizate înainte și în timpul execuției pipeline-ului.

Lecția 4 • Tehnici de curățare a datelor

Învață transformări de standardizare, deduplicare, imputare și parsare. Extinde abilitățile de transformare din Capitolul 3 cu logică axată pe calitate.

Lecția 1 • Observabilitatea și logarea pipeline-urilor

Învață logarea structurată, trasarea distribuită și colectarea de metrici pentru pipeline-uri. Oferă vizibilitatea necesară pentru a diagnostica defecțiunile în fluxurile de integrare complexe.

Lecția 2 • Orchestrarea avansată a fluxurilor de lucru

Acoperă DAG-uri dinamice, dependențe cross-pipeline și planificare bazată pe SLA. Extinde orchestrarea de bază din Capitolul 3 la fluxuri de lucru la scară enterprise.

Lecția 3 • Testarea pipeline-urilor și CI/CD

Explică strategii de testare unitară, de integrare și end-to-end pentru pipeline-urile de date. Încorporează asigurarea calității în ciclul de viață al deployment-ului codului de integrare.

Lecția 4 • Optimizarea performanței și planificarea capacității

Acoperă identificarea blocajelor, dimensionarea resurselor și strategii de scalare pentru pipeline-uri. Asigură că sistemele de integrare îndeplinesc SLA-urile de debit și latență sub sarcină.

Lecția 1 • Conformitate cu reglementările și jurnale de audit

Explică retenția datelor, dreptul la ștergere, gestionarea consimțământului și logarea de audit. Aliniază pipeline-urile de integrare cu obligațiile de protecție a datelor din diverse industrii.

Lecția 2 • Controlul accesului și gestionarea identității

Acoperă controlul accesului bazat pe roluri și pe atribute pentru platformele de date. Asigură activele de date în straturile de stocare și pipeline construite în capitolele anterioare.

Lecția 3 • Criptarea și transportul securizat al datelor

Acoperă criptarea în repaus, în tranzit și gestionarea cheilor pentru sistemele de integrare. Protejează datele în toate operațiunile de mutare și stocare din pipeline.

Lecția 4 • Cadre de guvernanță a datelor pentru integrare

Definește rolurile de guvernanță, politicile și modelele de administrare pentru activele de date integrate. Oferă structura organizațională care susține toate controalele de guvernanță tehnică.