Corso di Data Mining e Knowledge Discovery

Lezione 1 • Che cos'è il Data Mining

Definisce il data mining, i suoi obiettivi e il suo ruolo all'interno del più ampio processo KDD. Fondamenta tutte le tecniche successive in un framework concettuale condiviso.

Lezione 2 • Compiti fondamentali del Data Mining

Introduce classificazione, regressione, clustering e estrazione di regole associative come famiglie di compiti primari. Collega ciascun compito a tipologie di problemi reali che gli studenti incontreranno.

Lezione 3 • Considerazioni etiche e sulla privacy

Tratta i principi di bias, equità, consenso e governance dei dati rilevanti per i progetti di mining. Stabilisce standard di pratica responsabile applicati durante l'intero corso.

Lezione 1 • Campionamento dei dati e gestione dello sbilanciamento

Spiega le strategie di campionamento casuale, stratificato e a cluster insieme alle tecniche per distribuzioni di classi sbilanciate. Garantisce set di addestramento rappresentativi per una valutazione affidabile del modello.

Lezione 2 • Integrazione e trasformazione dei dati

Tratta l'unione di fonti eterogenee, la risoluzione dei conflitti di schema e l'applicazione di normalizzazione e discretizzazione. Garantisce che i dati provenienti da origini multiple siano coerenti e pronti per l'algoritmo.

Lezione 3 • Tecniche di pulizia dei dati

Affronta valori mancanti, outlier, rumore e incoerenze che degradano le prestazioni del modello. Sviluppa le competenze pratiche di pulizia richieste prima di applicare qualsiasi algoritmo.

Lezione 1 • Visualizzazione univariata e bivariata

Tratta istogrammi, box plot, scatter plot e mappe di calore per l'analisi di variabili singole e appaiate. Fornisce agli studenti gli strumenti per rilevare visivamente distribuzioni, outlier e relazioni.

Lezione 2 • Statistica descrittiva per il mining

Rivede tendenza centrale, dispersione, asimmetria e correlazione come strumenti diagnostici per la comprensione dei dati. Collega i riepiloghi statistici alle decisioni sulla pre-elaborazione e sulla scelta dell'algoritmo.

Lezione 3 • Progettazione di dashboard per insight sui dati

Insegna principi di layout, interattività e narrazione per dashboard analitiche. Prepara gli studenti a presentare i risultati dell'EDA a stakeholder sia tecnici che non tecnici.

Lezione 1 • Metodi instance-based e kernel

Introduce k-nearest neighbors e support vector machine come classificatori non parametrici. Collega i kernel trick e le metriche di distanza ai trade-off pratici sulle prestazioni.

Lezione 2 • Alberi decisionali e apprendimento di regole

Spiega i criteri di suddivisione, la potatura degli alberi e l'estrazione di regole per una classificazione interpretabile. Fornisce la base concettuale per comprendere metodi ensemble più complessi.

Lezione 3 • Metodi ensemble

Insegna bagging, boosting e stacking per combinare weak learner in predittori forti. Dimostra come gli ensemble riducano varianza e bias oltre i limiti del modello singolo.

Lezione 4 • Valutazione del classificatore e selezione del modello

Tratta matrici di confusione, curve ROC, validazione incrociata e test statistici per il confronto tra modelli. Garantisce che gli studenti possano scegliere oggettivamente il miglior classificatore per un dato compito.

Lezione 1 • Metodi di regolarizzazione

Introduce le penalità Ridge, Lasso ed Elastic Net per controllare l'overfitting in contesti ad alta dimensionalità. Collega la forza della regolarizzazione alla selezione delle feature e al trade-off bias-varianza.

Lezione 2 • Regressione non lineare e basata su alberi

Estende la previsione a modelli polinomiali, spline e basati su alberi per catturare relazioni complesse. Dimostra quando i modelli non lineari superano le baseline lineari.

Lezione 3 • Regressione lineare e multipla

Tratta la stima con minimi quadrati ordinari, l'interpretazione dei coefficienti e il controllo delle assunzioni. Stabilisce la baseline di regressione rispetto alla quale vengono confrontati tutti i metodi avanzati.

Lezione 1 • Clustering basato su densità e su griglia

Introduce DBSCAN e OPTICS per scoprire cluster di forma arbitraria e gestire il rumore. Contrappone gli approcci basati su densità ai metodi centroidali per distribuzioni di dati complesse.

Lezione 2 • Approcci di clustering gerarchico

Spiega le strategie agglomerative e divisive, i criteri di linkage e l'interpretazione del dendrogramma. Consente agli studenti di effettuare il clustering senza specificare k in anticipo.

Lezione 3 • Metodi di clustering partizionale

Tratta gli algoritmi k-means e k-medoids, le strategie di inizializzazione e il comportamento di convergenza. Stabilisce il paradigma di clustering fondamentale prima di introdurre varianti più complesse.

Lezione 1 • Algoritmi di mining efficienti

Tratta l'algoritmo FP-Growth e la sua struttura ad albero compresso come alternativa scalabile ad Apriori. Dimostra i vantaggi computazionali su grandi dataset transazionali.

Lezione 2 • Valutazione e potatura delle regole

Introduce misure di interessanza oltre la confidenza per filtrare regole ridondanti e spurie. Fornisce agli studenti gli strumenti per fornire set di regole concisi e di alto valore agli stakeholder.

Lezione 3 • Fondamenti di mining di itemset frequenti

Definisce supporto, confidenza e lift e spiega il principio Apriori per la potatura dello spazio di ricerca. Fornisce la base teorica per tutti gli algoritmi di regole associative.

Lezione 1 • Mining su larga scala con strumenti per big data

Introduce framework di elaborazione distribuita ed elaborazione in-memory per compiti di mining su larga scala. Prepara gli studenti ad applicare gli algoritmi fondamentali su dataset che superano la capacità di una singola macchina.

Lezione 2 • Distribuzione e monitoraggio dei modelli

Insegna la serializzazione dei modelli, la pubblicazione di API REST e il monitoraggio in produzione per il concept drift. Completa la pipeline KDD dai dati grezzi a un servizio di previsione live mantenuto.

Lezione 3 • Reti neurali per il data mining

Tratta reti feedforward, backpropagation e funzioni di attivazione applicate a classificazione e regressione. Collega gli algoritmi di mining classici agli approcci moderni di deep learning.

Lezione 4 • Progetto finale end-to-end

Integra tutte le competenze del corso in un progetto di mining completo, dalla definizione del problema al modello distribuito. Sviluppa artefatti di portfolio professionale che dimostrano piena competenza KDD.