Insegnerò argomenti di ingegneria dei dati pyspark, sql, data warehouse

Vuoi imparare gli strumenti e le tecniche più recenti per l'elaborazione, la gestione e l'architettura dei dati? In questo corso completo, ti insegnerò tutto ciò che devi sapere sui Batch/Streaming ETL Jobs nel cloud, con un focus specifico su AWS e Data bricks. Approfondiremo l'elaborazione dei dati usando PySpark, un framework open-source molto popolare nel cloud. Imparerai anche come costruire pipeline di dati usando Lake House Architecture e come creare una pipeline ELT con DBT (Data Build Tool).

Ma non è tutto! Ti insegnerò anche come migliorare la qualità dei dati con Pydeeque, Great Expectation, strumenti potenti per la validazione dei dati. La modellazione dei dati è un'altra area chiave, in particolare il Dimension Modelling, fondamentale per costruire architetture di dati robuste. Tratteremo anche Data Warehousing usando piattaforme cloud popolari come Snowflake, Big Query e RedShift.

Oltre a questi argomenti, imparerai anche come orchestrare i processi con Apache Airflow, AWS Step Function e come costruire pipeline di dati usando AWS Athena, AWS Kinesis, AWS Glue Catalog e AWS DMS. Infine, copriremo Data Lake usando AWS S3.