Costruirò pipeline ETL su databricks con spark

Ciao, sono un consulente di Data Engineering con oltre 5 anni di esperienza nella creazione di pipeline di dati in produzione su Databricks.

Ho progettato carichi di lavoro reali su Databricks in produzione, tra cui una Customer Data Platform che elabora grandi dataset con PySpark, Delta Live Tables e architettura medallion. Lavoro quotidianamente su Databricks, non solo come parola di moda.

Cosa costruirò per te:

• Pipeline ETL end-to-end (batch o streaming)
• Architettura medallion Bronze Silver Gold
• Delta Lake con ACID, evoluzione dello schema, time travel
• Transformazioni PySpark ottimizzate
• Ingestione da API, SQL Server, MySQL, Postgres, ADLS, S3, GCS, CSV, JSON, Parquet
• Carichi incrementali con MERGE INTO e CDC
• Autoloader, pianificazione dei job, orchestrazione dei workflow
• Codice pulito, modulare, sotto controllo versione

Perché lavorare con me:

• Esperienza reale in produzione, non tutorial
• 5 anni tra Databricks, Fabric, dbt, BigQuery, Synapse
• Codice parametrizzato, testabile, riutilizzabile
• Documentazione con ogni consegna
• Inglese fluente e aggiornamenti dettagliati

Stack tecnologico:

• Databricks
• PySpark
• Delta Lake
• DLT
• Unity Catalog
• ADLS
• S3
• SQL Server
• Python
• Git

Prima di ordinare:

Contattami con tutte le tue esigenze complete.