Costruirò pipeline adf end to end con databricks e adls

Alcune informazioni sono state tradotte automaticamente.

India

Parlo Inglese, Hindi, Telugu
Sono Madhan, un Azure Data Engineer con esperienza specializzato in Data Factory (ADF), Databricks, ADLS Gen2, Unity Catalog, Pyspark, Python, SQL, Spark. Costruisco pipeline ETL scalabili e architett...
Informazioni su questo servizio

Stai cercando un Azure Data Engineer esperto per progettare, costruire o ottimizzare i tuoi data pipeline? Sei nel posto giusto!

Creerò pipeline Azure Data Factory (ADF) end-to-end integrate con Databricks, ADLS Gen2 trasformando dati grezzi in insight affidabili e pronti per l'analisi.

Cosa Offro:

  • Creazione, debug e parametrizzazione di pipeline ADF
  • Notebook di trasformazione PySpark/SQL in Databricks
  • Architettura Delta Lake (Bronze, Silver, Gold)
  • Integrazione sicura usando Azure Key Vault e Managed Identities
  • Catalogazione dei dati con Unity Catalog
  • CI/CD e versioning tramite Azure DevOps
  • Ottimizzazione delle prestazioni e dei costi
  • Test, validazione e documentazione

Perché Scegliere Me:

Ho oltre 4 anni di esperienza pratica nella creazione di soluzioni Azure di livello enterprise. I miei pipeline sono modulari, efficienti e completamente automatizzati, garantendo consegne di dati puliti, sicuri e scalabili.

Collaboriamo per costruire o modernizzare il tuo Azure Data Lakehouse con velocità, precisione e trasparenza.

Lingua:

Inglese

Filippino

Hindi

Tamil

Esperienza tecnica:

dbt (Data Build Tool)

Apache Spark

Expertise:

Pipeline dati

Sviluppo ETL

Settore:

Biotecnologie

Crypto e blockchain

Analisi dei dati