Costruirò pipeline di data engineering su AWS usando python, pyspark, sql e glue
Ingegnere dati senior
Informazioni su questo servizio
Stai cercando un Data Engineer esperto per creare pipeline di dati affidabili e scalabili?
Svilupperò e ottimizzerò soluzioni di data engineering, ETL/ELT e processamento dati su AWS usando Python, PySpark, SQL, AWS Glue, S3, Redshift, Athena e Databricks.
Ecco come posso aiutarti:
- Pipeline ETL/ELT con AWS Glue
- Trasformazioni dati con Python & PySpark
- Soluzioni di data lake su AWS S3
- Query SQL e ottimizzazione
- Data warehousing con Amazon Redshift
- Table esterne e analisi con Athena
- Pipeline con Databricks & Delta Lake
- Ingestione dati tramite API e database
- Pulizia, trasformazione e validazione dei dati
- Risoluzione problemi ETL e ottimizzazione delle performance
- Elaborazione batch e pipeline incrementali
Mi concentro sulla creazione di soluzioni di dati pulite, scalabili, manutenibili e pronte per la produzione in base alle tue esigenze di business.
Se hai bisogno di una nuova pipeline di dati, di ottimizzare un workflow esistente o di aiuto con il troubleshooting del tuo progetto di data engineering, posso aiutarti.
Tecnologie: AWS | Python | PySpark | SQL | Glue | S3 | Redshift | Athena | Databricks | Delta Lake
Expertise:
CI/CD
•
Monitoraggio e registrazione
•
Automazione
Provider Cloud:
Amazon Web Services
