Stai cercando un Data Engineer esperto per costruire la tua pipeline dati nel cloud che preferisci? Sei in buone mani!
Sono un data engineer con 10 anni di esperienza nello sviluppo nel settore. Ho una comprovata esperienza nella creazione e manutenzione di data management scalabili ed efficienti.
pipeline che utilizzano DataBricks, PySpark, Dbt e AWS Glue.
Di seguito sono riportate alcune delle mie competenze
- Crea un'architettura e una strategia dei dati per la tua organizzazione
- Lavori ETL in batch/streaming nel cloud (AWS, Data bricks)
- Elaborazione dei dati tramite PySpark
- Creazione di una pipeline di dati utilizzando l'architettura Lake House
- Creazione di pipeline di dati ELT utilizzando DBT (Data Build Tool)
- Qualità dei dati tramite Pydeeque, grandi aspettative
- Modellazione dei dati (modellazione dimensionale)
- Data warehousing (Snowflake, Big Query, RedShift)
- Orchestrazione tramite Apache Airflow, AWS Step Function.
- Data Lake (AWS S3, Google Cloud Storage)
- Apache Kafka
- Streaming di Spark
- Catalogo AWS Athena, AWS Kinesis, AWS Glue
- AWS DMS
- Elaborazione dati GCP