Sarà il tuo esperto ingegnere dati databricks e pyspark per pipeline ETL

Alcune informazioni sono state tradotte automaticamente.

Regno Unito

Parlo Inglese

Senior Data e AI Engineer, Certificato Databricks, 11 anni

Sono un professionista con oltre 11 anni di esperienza in ingegneria software e dati. Ho un curriculum comprovato nella guida di team agili, automazione di processi ETL e infrastrutture, ottimizzazion...
Informazioni su questo servizio

Hai bisogno di pipeline Databricks infallibili che non si rompano alle 3 del mattino? Sei nel posto giusto.

Sono un Data Engineer certificato Databricks (Professional) con oltre 10 anni di esperienza nella creazione di sistemi di dati in produzione per aziende di trading energetico, bancario, retail e crypto-analytics, tra cui OVO Energy, Bank of America e Sainsbury's.

Ciò che realizzerò per te:

  1. Pipeline scalabili PySpark / Scala Spark su Databricks
  2. Architettura DeltaLake (bronzo/argento/oro medallion)
  3. Streaming + batch ETL con Kafka, Auto Loader o Structured Streaming
  4. Configurazioni di cluster ottimizzate per i costi (ho conseguito oltre 80.000£ di risparmi annuali sul cloud)
  5. Codice pulito, testato e documentato che puoi consegnare al tuo team

Il mio stack: Databricks, PySpark, Scala, DeltaLake, Airflow, Kafka, Snowflake, BigQuery, Terraform, AWS, GCP.

Il mio processo: chiamata di scoperta -> approvazione dell'architettura -> sviluppo -> test -> walkthrough -> consegna. Niente sorprese, niente scarsa definizione del scope.

Contattami prima di ordinare così posso definire correttamente il scope del progetto e confermare l'idoneità. Rispondo entro 1 ora durante le ore lavorative nel Regno Unito.

Costruiamo qualcosa di solido.

Expertise:

Integrazione API

Automazioni

Big data

Flusso di dati

Tecnologia:

Apache Kafka

Apache Spark

Python

Snowflake

Databricks