Curs de Data Engineering

Lecția 1 • Tipuri de date și formate de stocare

Acoperă formatele de date structurate, semi-structurate și nestructurate, precum și sistemele lor de stocare. Pregătește studenții să încorporeze diverse surse de date.

Lecția 2 • Recapitulare de matematică și statistică

Revede algebra liniară, calculul diferențial și probabilitățile esențiale pentru modelare. Oferă baza cantitativă necesară pentru toate capitolele următoare.

Lecția 3 • Python pentru știința datelor

Prezintă sintaxa Python, structurile de date și bibliotecile științifice. Permite studenților să scrie scripturi de analiză reproductibile din prima zi.

Lecția 1 • Transformarea și remodelarea datelor

Aplică agregarea, pivotarea, îmbinarea și codificarea pentru a restructura datele în vederea analizei. Face legătura între datele brute și formatele gata pentru caracteristici.

Lecția 2 • Analiza exploratorie a datelor

Învață profilarea sistematică a seturilor de date pentru a detecta distribuții, valori aberante și relații. Conduce la decizii informate privind curățarea și ingineria caracteristicilor.

Lecția 3 • Metode de colectare a datelor

Acoperă web scraping-ul, apelurile API și interogările bazelor de date ca strategii principale de achiziție a datelor. Face legătura între sursele de date și proiectarea pipeline-urilor din aval.

Lecția 4 • Curățarea datelor și imputarea

Abordează valorile lipsă, duplicatele, formatele inconsistente și intrările eronate. Asigură integritatea datelor înainte de începerea modelării.

Lecția 1 • Testare A/B și experimentare

Proiectează experimente controlate, calculează dimensiunile eșantioanelor și interpretează corect rezultatele. Aplicabil direct în rolurile de analiză de produs și de afaceri.

Lecția 2 • Fundamentele inferenței bayesiene

Prezintă distribuțiile anterioare și posterioare și actualizarea bayesiană ca paradigmă alternativă de inferență. Pregătește studenții pentru modelarea probabilistică în capitolele ulterioare.

Lecția 3 • Cadrul de testare a ipotezelor

Acoperă ipotezele nule și alternative, valorile p și tipurile de erori pentru o testare riguroasă. Leagă semnificația statistică de luarea deciziilor practice.

Lecția 1 • Modele de clasificare

Antrenează regresia logistică, arborii de decizie și mașinile cu vectori suport pentru ținte categorice. Abordează dezechilibrul claselor și selecția pragurilor.

Lecția 2 • Fundamentele machine learning-ului

Definește învățarea supervizată, compromisul bias-varianță și paradigma împărțirii în seturi de antrenare și testare. Stabilește cadrul conceptual pentru toate capitolele de modelare.

Lecția 3 • Modele de regresie

Acoperă regresia liniară, polinomială și regularizată pentru predicția țintelor continue. Construiește intuiția pentru coeficienții modelului și penalitățile de regularizare.

Lecția 4 • Ajustarea hiperparametrilor și selecția modelelor

Aplică căutarea în grilă, căutarea aleatoare și optimizarea bayesiană pentru a maximiza performanța modelului. Învață compararea și selecția principială a modelelor.

Lecția 1 • Învățarea regulilor de asociere

Extrage seturi frecvente de itemi și reguli de asociere pentru a dezvălui modele de co-ocurență. Susține aplicațiile de recomandare și analiza coșului de cumpărături.

Lecția 2 • Tehnici de reducere a dimensionalității

Aplică PCA, t-SNE și UMAP pentru a reduce spațiul caracteristicilor, păstrând în același timp structura. Permite vizualizarea și accelerează modelarea din aval.

Lecția 3 • Detectarea anomalii

Identifică valorile aberante și evenimentele rare folosind abordări statistice și bazate pe modele. Se aplică direct scenariilor de detectare a fraudelor și control al calității.

Lecția 1 • Metode de selecție a caracteristicilor

Aplică metode de filtrare, wrapper și încorporate pentru a identifica cele mai predictive caracteristici. Reduce dimensionalitatea și previne supraadaptarea.

Lecția 2 • Auditarea echității și a bias-ului

Detectează și atenuează bias-ul demografic în predicțiile modelului folosind metrici de echitate. Asigură că modelele respectă standardele etice și organizaționale.

Lecția 3 • Interpretabilitate independentă de model

Folosește SHAP și LIME pentru a explica predicțiile individuale și comportamentul global al modelului. Construiește încrederea părților interesate și sprijină conformitatea cu reglementările.

Lecția 1 • Fundamentele rețelelor neuronale

Explică perceptronii, funcțiile de activare, propagarea directă și propagarea inversă. Oferă baza matematică pentru toate arhitecturile de deep learning.

Lecția 2 • Rețele neuronale recurente și secvențe

Antrenează RNN-uri, LSTM-uri și GRU-uri pentru date secvențiale și serii de timp. Leagă modelarea secvențelor de aplicațiile NLP și de prognoză.

Lecția 3 • Arhitectura Transformer și atenția

Prezintă auto-atenția, atenția multi-cap și blocul transformer ca fundament al NLP-ului modern. Pregătește studenții pentru reglajul fin al modelelor lingvistice mari.

Lecția 4 • Optimizarea antrenării și regularizarea

Aplică normalizarea pe loturi, dropout-ul, programarea ratei de învățare și oprirea timpurie pentru a stabiliza antrenarea. Reduce supraadaptarea în modelele profunde.

Lecția 1 • Monitorizarea modelelor și detectarea derivei

Urmărește calitatea predicțiilor, deriva datelor și deriva conceptelor în producție pentru a menține fiabilitatea modelului. Declanșează alarme și reantrenare atunci când performanța scade.

Lecția 2 • CI/CD pentru machine learning

Automatizează testarea, validarea și implementarea pipeline-urilor de ML folosind practici de integrare continuă. Reduce erorile manuale și accelerează ciclurile de lansare.

Lecția 3 • Infrastructură ML scalabilă

Proiectează infrastructura de antrenare și inferență distribuită folosind instrumente cloud-native și de orchestrare. Pregătește studenții pentru proiectarea sistemelor ML la scară enterprise.

Lecția 4 • Urmărirea experimentelor și registrul modelelor

Înregistrează parametrii, metricile și artefactele folosind instrumente de urmărire a experimentelor și registre de modele. Permite reproductibilitatea și colaborarea în echipă la dezvoltarea modelelor.