Costruirò pipeline ETL scalabili con databricks e pyspark

Se cerchi un Senior Data Engineer per creare soluzioni di dati ad alte prestazioni, sei nel posto giusto!

Con oltre 11 anni di esperienza aziendale e certificazioni ufficiali nel cloud, mi specializzo nella progettazione di pipeline di dati robuste che elaborano grandi dataset con latenza minima e costi ottimizzati sul cloud.

I miei servizi principali:

* pipeline ETL/ELT: ingestione automatizzata di dati da API, database e storage cloud.

* PySpark & SparkSQL: notebook modulari di Databricks per pulizia e normalizzazione complessa dei dati.

* Ottimizzazione delle prestazioni: debug di job Spark lenti, tuning delle query e ottimizzazione del cluster.

* Data warehousing: implementazione di architetture Medallion e logica di upsert dinamico.

Piattaforma tecnica:

Apache Spark | PySpark | Databricks | Azure Data Factory | Azure Synapse | Hive | SparkSQL | SQL Server

Il mio processo di consegna:

  1. Analisi approfondita dei requisiti e allineamento architetturale.

  2. Scrittura di codice pulito, pronto per la produzione, con test.

  3. Revisioni e perfezionamenti basati sul tuo feedback.

  4. Documentazione dettagliata e walkthrough.

Contattami tramite chat per discutere i tuoi requisiti prima di effettuare un ordine!