Insegnerò argomenti di ingegneria dei dati pyspark, sql, data warehouse

Vuoi apprendere gli strumenti e le tecniche più recenti per l'elaborazione, la gestione e l'architettura dei dati? In questo corso completo, ti insegnerò tutto ciò che devi sapere sui processi ETL in batch/streaming nel cloud, con particolare attenzione ad AWS e ai Data Brick. Approfondiremo l'elaborazione dei dati utilizzando PySpark, un popolare framework open source per l'elaborazione dei dati utilizzato nel cloud. Imparerai anche come creare pipeline di dati utilizzando Lake House Architecture e come creare una pipeline di dati ELT utilizzando DBT (Data Build Tool).

Ma non è tutto! Vi parlerò anche della qualità dei dati attraverso Pydeeque e Great Expectation, potenti strumenti di convalida dei dati. Anche la modellazione dei dati è un'area chiave di interesse, in particolare la modellazione dimensionale, fondamentale per la creazione di architetture dati robuste. Parleremo anche di Data Warehousing utilizzando piattaforme cloud diffuse come Snowflake, Big Query e RedShift.

Oltre a questi argomenti, imparerai anche l'orchestrazione con Apache Airflow, AWS Step Function e come creare pipeline di dati con AWS Athena, AWS Kinesis, AWS Glue Catalog e AWS DMS. Parleremo anche di Data Lake con AWS S3.