Scegli la tua lingua
Corso su Azure Data Lake
Più di 2 milioni di studenti in tutto il mondo

Corso su Azure Data Lake

Padroneggia Azure Data Lake Storage Gen2 dalle basi — architettura, sicurezza, ingestione, trasformazione e governance in un unico luogo. Costruisca pipeline di dati pronte per la produzione utilizzando Azure Data Factory, Databricks e Synapse Analytics. Che gestisca petabyte di dati o che sia alle prime armi con i dati cloud, questo corso Le fornirà le competenze pratiche richieste dai datori di lavoro.

Dedika per aziende

Cosa imparerai:

Imparerà a progettare e gestire un ambiente Azure Data Lake completamente funzionale, dalla configurazione iniziale all'ottimizzazione avanzata. Il corso copre l'organizzazione dei dati, i formati di file, le strategie di partizionamento e la gestione del ciclo di vita. Implementerà la sicurezza basata sull'identità, la crittografia e i controlli di rete per proteggere i dati sensibili. Costruirà pipeline di ingestione batch e in streaming, applicherà le trasformazioni dell'architettura medallion e interrogherà i dati utilizzando SQL serverless e Databricks. Inoltre, governerà il suo data lake con Microsoft Purview, traccerà la derivazione dei dati e controllerà i costi utilizzando gli strumenti Monitoraggio di Azure e Gestione dei costi.

Come studi in modo pratico Corso su Azure Data Lake

Come metti in pratica Corso su Azure Data Lake

Per te che sei un'azienda e vuoi formare il tuo team

Su Dedika per aziende, il corso include esercizi ed esempi personalizzati sul tuo business e secondo le esigenze della tua azienda.

Clicca qui

Contenuto del corso

8 Capitoli • 38 LezioniDurata tra 4 e 360 ore (decidi tu)

Capitolo 1Vedi dettagli

Introduzione ad Azure Data Lake

  • Lezione 1 • Configurazione del primo Data Lake

    Guida alla creazione di un account ADL Storage Gen2 con la configurazione corretta. Rafforza le competenze sul portale e sulla CLI, introducendo le impostazioni dell'account di archiviazione.

  • Lezione 2 • Nozioni di base su Azure Portal e CLI

    Insegna la navigazione nel portale di Azure e nell'interfaccia della riga di comando di Azure per la gestione delle risorse. Fornisce le competenze pratiche di accesso necessarie durante il corso.

  • Lezione 3 • Fondamenti di archiviazione dei dati cloud

    Illustra i concetti di archiviazione distribuita e i principi di gestione dei dati cloud. Stabilisce le basi necessarie per comprendere la logica di progettazione di Azure Data Lake.

  • Lezione 4 • Panoramica di Azure Data Lake

    Introduce l'architettura di Azure Data Lake Storage Gen2 e le sue funzionalità chiave. Collega le caratteristiche di ADL alle esigenze reali di elaborazione dei big data.

Capitolo 2Vedi dettagli

Organizzazione dei dati e file system

  • Lezione 1 • Criteri di gestione del ciclo di vita

    Insegna le regole di suddivisione in livelli automatizzata e di eliminazione per controllare i costi di archiviazione. Collega i criteri del ciclo di vita ai requisiti di conservazione e conformità dei dati.

  • Lezione 2 • Metadati e assegnazione di tag

    Introduce i metadati dei blob, i tag indice e le proprietà personalizzate per la rintracciabilità. Supporta l'integrazione con il catalogo dati trattata nei capitoli successivi.

  • Lezione 3 • Container, directory e file

    Spiega la gerarchia container-directory-file in ADL Storage Gen2. Collega la progettazione dello spazio dei nomi alle prestazioni delle query a valle e alla governance.

  • Lezione 4 • Formati di file per i big data

    Confronta CSV, JSON, Parquet, ORC e Avro per i carichi di lavoro ADL. Guida la selezione del formato in base a compressione, evoluzione dello schema e velocità delle query.

  • Lezione 5 • Strategie di partizionamento dei dati

    Illustra schemi di partizionamento come layout basati su data ed entità. Dimostra come il partizionamento riduca i costi di scansione nelle query di analisi.

Capitolo 3Vedi dettagli

Sicurezza e controllo degli accessi

  • Lezione 1 • Identità e autenticazione di Azure

    Illustra le identità di Azure Active Directory, le entità servizio e le identità gestite. Stabilisce le basi di autenticazione necessarie per tutte le configurazioni di controllo degli accessi.

  • Lezione 2 • Sicurezza di rete e firewall

    Configura gli endpoint di servizio della rete virtuale, gli endpoint privati e le regole del firewall. Limita l'accesso ad ADL alle reti attendibili e ai servizi di Azure.

  • Lezione 3 • Controllo degli accessi in base al ruolo per ADL

    Spiega i ruoli RBAC predefiniti e personalizzati con ambito per account di archiviazione e container. Dimostra l'assegnazione del privilegio minimo per i team di analisi.

  • Lezione 4 • ACL POSIX sullo spazio dei nomi gerarchico

    Insegna le autorizzazioni granulari per file e directory utilizzando ACL in stile POSIX. Collega l'ereditarietà degli ACL alla progettazione sicura di data lake per più team.

  • Lezione 5 • Crittografia e gestione delle chiavi

    Illustra la crittografia lato server, le chiavi gestite dal cliente e l'integrazione con Azure Key Vault. Garantisce il rispetto degli standard di protezione per i dati inattivi e in transito.

Capitolo 4Vedi dettagli

Inserimento dei dati in Azure Data Lake

  • Lezione 1 • Inserimento con Azure IoT Hub

    Instrada i dati di telemetria dei dispositivi IoT verso ADL tramite le regole di routing dei messaggi di IoT Hub. Dimostra i modelli di acquisizione dei dati delle serie temporali per i carichi di lavoro dei sensori.

  • Lezione 2 • Inserimento da terze parti e da ambienti on-premises

    Illustra il runtime di integrazione self-hosted di ADF e i connettori partner per l'inserimento ibrido. Affronta le sfide di connettività comuni per i sistemi di origine on-premises.

  • Lezione 3 • Inserimento batch con ADF

    Utilizza le pipeline di Azure Data Factory e le attività di copia per caricare i dati in ADL. Sfrutta le conoscenze sulla sicurezza per configurare servizi collegati con identità gestite.

  • Lezione 4 • Monitoraggio dell'inserimento e gestione degli errori

    Implementa il monitoraggio delle pipeline, gli avvisi e la logica di ripetizione dei tentativi per un inserimento dati affidabile. Si collega a Monitoraggio di Azure e Log Analytics per la visibilità operativa.

  • Lezione 5 • Inserimento in streaming con Hub eventi

    Acquisisce flussi di eventi in tempo reale da Hub eventi di Azure in ADL Storage. Introduce Acquisizione di Hub eventi per il recapito automatico da flusso a lake.

Capitolo 5Vedi dettagli

Elaborazione e trasformazione dei dati

  • Lezione 1 • Trasformazione basata su SQL con Synapse SQL

    Applica CETAS T-SQL e tabelle esterne per trasformare i file ADL senza spostamento dei dati. Collega le competenze SQL ai modelli di query serverless introdotti in seguito.

  • Lezione 2 • Progettazione dell'architettura a medaglione

    Introduce i modelli a livelli bronze, silver e gold per l'organizzazione del data lake. Fornisce il quadro strutturale applicato in tutte le sezioni di trasformazione.

  • Lezione 3 • Orchestrazione di pipeline in più fasi

    Concatena le fasi di inserimento e trasformazione in pipeline end-to-end di ADF o Synapse. Implementa la gestione delle dipendenze e la logica di esecuzione condizionale.

  • Lezione 4 • Trasformazione con pipeline di Azure Synapse

    Sfrutta i flussi di dati di mapping di Synapse Analytics per trasformazioni senza codice. Dimostra l'integrazione con ADL Gen2 come origine e sink.

  • Lezione 5 • Trasformazione dei dati con Azure Databricks

    Utilizza i notebook Databricks e i processi Spark per trasformare i dati ADL su larga scala. Illustra le operazioni sui DataFrame, l'applicazione dello schema e la scrittura su ADL.

Capitolo 6Vedi dettagli

Esecuzione di query e analisi dei dati

  • Lezione 1 • Query SQL serverless su ADL

    Utilizza il pool SQL serverless di Synapse per interrogare file Parquet, CSV e JSON in ADL. Dimostra la sintassi OPENROWSET e la creazione di tabelle esterne per analisi ad hoc.

  • Lezione 2 • Esecuzione di query con Azure Databricks SQL

    Esegue analisi SQL su tabelle Delta basate su ADL utilizzando i warehouse SQL di Databricks. Collega i concetti di Delta Lake introdotti nella trasformazione all'ottimizzazione delle query.

  • Lezione 3 • Connessione degli strumenti di BI ad ADL

    Integra Power BI e altri strumenti di BI con gli endpoint di Synapse e Databricks. Abilita l'analisi self-service su set di dati ADL curati per gli utenti aziendali.

  • Lezione 4 • Ottimizzazione delle prestazioni per le query ADL

    Applica statistiche, eliminazione delle partizioni e memorizzazione nella cache dei set di risultati per ridurre i costi delle query. Illustra l'ottimizzazione delle dimensioni dei file e le strategie di co-ubicazione per set di dati di grandi dimensioni.

Capitolo 7Vedi dettagli

Governance e catalogazione dei dati

  • Lezione 1 • Criteri di conformità e conservazione

    Configura i criteri di immutabilità, i blocchi legali e i blocchi di conservazione sui container ADL. Affronta funzionalmente i requisiti normativi di conservazione ed eliminazione dei dati.

  • Lezione 2 • Microsoft Purview per ADL

    Registra ADL Storage Gen2 come origine dati di Purview ed esegue analisi automatizzate. Stabilisce le basi del catalogo per tutte le attività di governance in questo capitolo.

  • Lezione 3 • Classificazione dei dati ed etichette di riservatezza

    Applica regole di classificazione predefinite e personalizzate per contrassegnare i dati sensibili in ADL. Collega i risultati della classificazione al controllo degli accessi e al reporting di conformità.

  • Lezione 4 • Monitoraggio della derivazione dei dati

    Acquisisce la derivazione end-to-end dall'inserimento alla trasformazione fino al consumo. Utilizza i grafici di derivazione di Purview per supportare l'analisi d'impatto e la verifica.

  • Lezione 5 • Regole di qualità dei dati e monitoraggio

    Definisce le regole di completezza, unicità e validità per misurare la qualità del set di dati ADL. Integra le metriche di qualità nel monitoraggio delle pipeline per avvisi proattivi.

Capitolo 8Vedi dettagli

Monitoraggio, ottimizzazione e gestione dei costi

  • Lezione 1 • Analisi dei costi e definizione del budget

    Utilizza Gestione costi di Azure per analizzare i costi di archiviazione e transazione di ADL. Imposta budget e avvisi per prevenire spese impreviste in ambienti di produzione.

  • Lezione 2 • Ripristino di emergenza e alta disponibilità

    Configura la replica con ridondanza geografica e il failover per gli account di archiviazione ADL. Progetta gli obiettivi del punto di ripristino e del tempo di ripristino per i carichi di lavoro critici del data lake.

  • Lezione 3 • Monitoraggio di Azure e diagnostica per ADL

    Abilita le impostazioni di diagnostica per trasmettere le metriche e i log di ADL a Log Analytics. Costruisce le basi di osservabilità per tutte le attività di monitoraggio in questo capitolo.

  • Lezione 4 • Tecniche di ottimizzazione dell'archiviazione

    Riduce i costi attraverso la compattazione, l'automazione della suddivisione in livelli e la rimozione dei dati ridondanti. Collega i criteri del ciclo di vita del Capitolo 2 alle decisioni di ottimizzazione guidate dai costi.

  • Lezione 5 • Monitoraggio delle prestazioni e analisi dei colli di bottiglia

    Identifica i problemi di throughput, latenza e limitazione utilizzando le metriche e i log di ADL. Applica tecniche di correzione come la regolazione della frequenza delle richieste e il parallelismo.

Certificazione

Il tuo certificato valido di completamento

Questo corso è per te:

  • Ingegneri dei dati: che desiderano approfondire le proprie competenze specifiche su Azure in materia di pipeline e storage.

  • Sviluppatori BI: pronti ad andare oltre i report per gestire i dati che vi stanno dietro.

  • Architetti cloud: che progettano piattaforme dati scalabili e sicure per le proprie organizzazioni.

  • Amministratori di database: in transizione da sistemi on-premises alla gestione dati nativa del cloud.

  • Ingegneri dell'analisi: che vogliono possedere l'intero livello dati, non solo la logica di trasformazione.

  • Professionisti IT: che desiderano ampliare le proprie competenze per includere l'infrastruttura moderna per i big data.

Cosa dicono i nostri studenti

Le sue lezioni sono perfette. Ho acquistato il pacchetto annuale e finalmente ho l'opportunità di seguire diversi argomenti di mio interesse senza dover cambiare piattaforma... vi ringrazio per tutto quello che fate, vi ho già raccomandati ad altre persone...
Giulio Carlo
Giulio CarloStudente di Marketing Digitale
Mi piace come le lezioni vanno dritte al punto e come riesco a cambiare capitoli e saltare contenuti di cui non ho bisogno.
Mariana Ferres
Mariana FerresStudentessa di Fotografia
Mi piace il contenuto e il modo di presentazione e trascrizione dei video, che accelera il processo!
Luciana Alvarenga
Luciana AlvarengaStudentessa di Nail Design
La piattaforma è veloce, semplice da usare. La diversità dei contenuti e i video complementari aiutano molto nell'apprendimento.
André Felipe
André FelipeStudente di Prompt Engineering

Principali percorsi formativi

FAQ

Chi è Dedika?

Il certificato è valido in Italia?

I corsi sono gratuiti?

Qual è il carico di lavoro del corso?

Come sono strutturati i corsi?

Come funzionano i corsi?

Qual è la durata dei corsi?

Qual è il costo o il prezzo dei corsi?

Cos’è un corso EAD o online e come funziona?

Corso PDF