Scriverò pipelines di dati scalabili etl elt con python airflow spark AWS azure

Costruirò pipeline di dati scalabili ETL ELT con Python, Airflow, Spark, AWS, Azure e GCP.

Con oltre 10+ anni di esperienza in Data Engineering, AI e Data Analytics, ho progettato e sviluppato pipeline di dati end-to-end da zero per diverse aziende tech. Possiedo 9 pubblicazioni peer-reviewed (tra cui 1 premiata in AI), che mi conferiscono una profonda competenza tecnica e capacità di risolvere problemi basate sulla ricerca.

Hai problemi con processi manuali, flussi di dati poco affidabili o difficoltà di scalabilità? Creo pipeline ETL/ELT robuste e automatizzate che forniscono dati puliti e tempestivi per analisi e applicazioni di AI.

Cosa otterrai:

• Pipeline di dati batch e in tempo reale end-to-end
• Orchestrazione usando Airflow, Prefect o Dagster
• Integrazione da database, API, SaaS e fonti cloud
• Trasformazioni avanzate con Python, SQL, PySpark e dbt
• Deployment su AWS, Azure, GCP o Databricks
• Monitoraggio, logging, gestione degli errori e pipeline CI/CD

Principali vantaggi:

• Soluzioni altamente scalabili che gestiscono milioni di record al giorno
• Riduzione del lavoro manuale, degli errori e dei costi operativi
• Pipeline pronte per la produzione, ben documentate e facili da mantenere