Vuoi automatizzare i tuoi flussi di lavoro sui dati? Sono specializzato nella creazione di pipeline ETL scalabili e convenienti usando Python e AWS, trasformando i tuoi dati grezzi in insight utili.
Ciò che posso fare per te:
- AWS Glue Jobs: Sviluppo di script ETL robusti usando PySpark per l'elaborazione di grandi volumi di dati o Python Shell per integrazioni leggere.
- Pipeline serverless: Costruzione di flussi di lavoro basati su eventi con AWS Lambda e trigger S3.
- Orchestrazione dei dati: Configurazione e gestione di workflow con AWS Step Functions o Glue Workflows.
- Caricamento dati: Caricamento efficiente dei dati in Amazon Redshift, S3 (Data Lakes) o RDS.
- Integrazione API: Estrazione di dati da API di terze parti usando Python e salvataggio sicuro su AWS.
- Ottimizzazione: Ottimizzazione dei Glue jobs esistenti per ridurre i costi di DPU (Data Processing Unit).