Costruirò pipeline Databricks con PySpark

Alcune informazioni sono state tradotte automaticamente.

India

Parlo Inglese, Hindi

Ingegnere dei dati

Data engineer con oltre 5 anni di esperienza nello sviluppo di pipeline dati affidabili e ben testate su Azure Databricks. Lavoro con Python, SQL, PySpark, Delta Lake e Unity Catalog per costruire pip...
Informazioni su questo servizio

Cerchi un data engineer Databricks esperto per costruire una pipeline dati affidabile e scalabile? Sono un Databricks Certified Data Engineer con oltre 5 anni di esperienza nello sviluppo di pipeline ETL su larga scala usando PySpark, Spark SQL e Delta Lake per clienti globali nei settori finanza e sanità.


Cosa fornisco:

  • Pipeline ETL/ELT batch in PySpark e Spark SQL
  • Architettura Medallion (Bronze Silver Gold) su Delta Lake
  • Ingestione dati da CSV, JSON, Parquet e database
  • MERGE/upsert, SCD e gestione dell’evoluzione dello schema
  • Databricks Workflows pianificati (lavori)
  • <li Controlli di qualità dei dati e validazione
  • Codice Spark ottimizzato per le prestazioni
  • Diagramma architetturale e note di progettazione della pipeline
  • Codice pulito e ben documentato


Perché lavorare con me:

  • Codice di livello produzione basato su casi reali
  • Esperienza nell’elaborare miliardi di record
  • Comunicazione chiara e consegna puntuale


Se hai più di 3 fonti o richieste personalizzate, ti invierò un’offerta su misura.

Lingua:

Inglese

•

Hindi

Esperienza tecnica:

Apache Spark

•

Databricks

•

hadoop

Expertise:

Pipeline dati

•

Sviluppo ETL

•

Configurazione Data Lake

Settore:

Analisi dei dati

•

Servizi finanziari

•

Alimenti e bevande