Costruirò pipeline ETL e soluzioni di data engineering con Databricks

Data Engineer con oltre 3 anni di esperienza pratica nella creazione di pipeline di livello produzione su Azure.

Mi specializzo nella progettazione e distribuzione di flussi di lavoro di dati scalabili usando Azure Data Factory, Databricks, PySpark e Delta Lake, dalla ingestione grezza ai modelli di dati pronti per l'analisi nel livello Gold.

Cose che posso costruirti:

Pipeline ETL/ELT guidate dai metadata in Azure Data Factory

Architettura Medallion (Bronze Silver Gold) in Databricks

Pipeline di streaming in tempo reale usando Azure Event Hubs (compatibile con Kafka)

Progettazione di data warehouse a schema a stella / dimensionale

SCD Tipo 1 e Tipo 2 per il tracciamento delle modifiche con autoCDC di Databricks

Transformazioni complesse in SQL, PySpark e stored procedures

Integrazioni API REST/SOAP con test in Postman

Configurazione di Unity Catalog e governance dei dati

Piattaforma tecnologica:

Python · PySpark · SQL · Azure Data Factory · Azure Databricks · Azure Data Lake Gen2 · Delta Lake · Unity Catalog · Event Hubs · Power BI

Punti salienti passati:

Pubblicazione di pipeline layer su Oracle

Migliorata l'efficienza delle API del 50% tramite elaborazione diretta sul backend

Ridotto del 30% il tempo di esecuzione di Spark grazie all'ottimizzazione delle partizioni

Costruita una piattaforma di analytics in tempo reale end-to-end per il ride-hailing su Azure