Sarò il tuo data engineer per databricks, azure, gcp

Data pipeline affidabili, scalabili e native del cloud | Specialista Azure & Databricks

Hai difficoltà a spostare, trasformare o scalare i tuoi dati in modo affidabile? Creo pipeline di dati end-to-end, di livello produzione, che automatizzano l'ingestione, la trasformazione, la validazione e il deployment completamente native del cloud e guidate da CI/CD.

Porto competenze pratiche in PySpark, Spark SQL, Python, SQL, Databricks, Azure e GCP per trasformare dati grezzi e disordinati in dataset puliti, affidabili e pronti per l'analisi.

Cosa offro:

• Progettazione di pipeline ETL & ELT (batch & streaming)
• Trasformazione dei dati con PySpark & Spark SQL su larga scala
• Sviluppo con Databricks usando Databricks Asset Bundles (DAB) per deployment ripetibili e versionati
• Configurazione di pipeline CI/CD usando Azure DevOps (build, release, test automatizzati e deployment)
• Integrazione sicura tramite Service Principals per l'autenticazione tra ambienti
• Deployment nativo del cloud: Azure Data Factory, Azure Data Lake, Azure SQL, Databricks, GCP Dataflow, BigQuery
• Integrazione di API, database e storage cloud
• Architettura di streaming in tempo reale (Kafka / Event Hubs / Pub-Sub)
• Pratiche DevOps end-to-end: controllo versione, promozione degli ambienti