Sarà il tuo esperto ingegnere dati databricks e pyspark per pipeline ETL
Senior Data e AI Engineer, Certificato Databricks, 11 anni
Informazioni su questo servizio
Hai bisogno di pipeline Databricks infallibili che non si rompano alle 3 del mattino? Sei nel posto giusto.
Sono un Data Engineer certificato Databricks (Professional) con oltre 10 anni di esperienza nella creazione di sistemi di dati in produzione per aziende di trading energetico, bancario, retail e crypto-analytics, tra cui OVO Energy, Bank of America e Sainsbury's.
Ciò che realizzerò per te:
- Pipeline scalabili PySpark / Scala Spark su Databricks
- Architettura DeltaLake (bronzo/argento/oro medallion)
- Streaming + batch ETL con Kafka, Auto Loader o Structured Streaming
- Configurazioni di cluster ottimizzate per i costi (ho conseguito oltre 80.000£ di risparmi annuali sul cloud)
- Codice pulito, testato e documentato che puoi consegnare al tuo team
Il mio stack: Databricks, PySpark, Scala, DeltaLake, Airflow, Kafka, Snowflake, BigQuery, Terraform, AWS, GCP.
Il mio processo: chiamata di scoperta -> approvazione dell'architettura -> sviluppo -> test -> walkthrough -> consegna. Niente sorprese, niente scarsa definizione del scope.
Contattami prima di ordinare così posso definire correttamente il scope del progetto e confermare l'idoneità. Rispondo entro 1 ora durante le ore lavorative nel Regno Unito.
Costruiamo qualcosa di solido.
FAQ
Traduzione automatica.
Di quali informazioni hai bisogno per iniziare?
Posizione e formato dei dati di origine, destinazione target, dati di esempio (anonimizzati va bene), stime di volume e requisiti SLA. Ti invierò un breve modello di brief dopo l'ordine.
Puoi lavorare con la mia configurazione cloud esistente?
Sì — Lavoro con Databricks ospitati su AWS, GCP e Azure. Lavorerò all’interno del tuo ambiente usando credenziali in sola lettura che fornirai.
Firmi NDA?
Assolutamente. Inviami il tuo NDA prima di ordinare e lo rivedrò e firmerò.
E se non ho ancora dati?
Nessun problema — Posso simulare dati realistici per lo sviluppo e puoi sostituirli con dati di produzione in seguito.
Gestisci pipeline di streaming in tempo reale?
Sì — Le integrazioni con Structured Streaming, Auto Loader e Kafka sono punti di forza fondamentali.
Cosa succede dopo il parto?
Riceverai una walkthrough (chiamata o Loom), tutto il codice sorgente, README e 14 giorni di supporto via email per domande. La tier premium include una chiamata di consegna di 30 minuti.
Che supporto ricevo dopo la consegna?
Ogni servizio include 14 giorni di supporto via email — rispondo alle domande entro 24 ore, e se qualcosa che ho creato non funziona come previsto, lo sistemerò rapidamente senza costi aggiuntivi. Il pacchetto Premium aggiunge una chiamata di consegna di 30 minuti così tu e il tuo team siete completamente a vostro agio nel gestire e ampliare il lavoro.

