Creerò pipeline di dati scalabili usando azure data factory e databricks

Alcune informazioni sono state tradotte automaticamente.

India

Parlo Kannada, Hindi, Inglese

Ingegnere dei Big Data

Ingegnere dei dati con oltre 7 anni di esperienza nella creazione di pipeline di dati scalabili, basate su cloud e nell'automazione dei flussi di lavoro dei dati. Mi specializzo in Python, SQL, Azure ...
Informazioni su questo servizio

Sono specializzato nella progettazione e nello sviluppo di pipeline ETL/ELT end-to-end usando Azure Data Factory (ADF) e Databricks (PySpark). Integro dati da molteplici fonti API, database SQL, storage cloud, file e altro, in pipeline pulite, strutturate e pronte per la produzione.


Con una forte competenza nell'orchestrazione ADF, pipeline Delta di Databricks e trasformazioni PySpark, posso aiutarti a costruire workflow robusti, facili da mantenere e ottimizzati per le prestazioni. Che tu abbia bisogno di una semplice pipeline di ingestion o di una soluzione dati multi-sorgente completa, consegno risultati scalabili, sicuri e ben documentati.


Ciò che offro:

Ingestion di dati da molteplici fonti

Pipeline, trigger e orchestrazione ADF

Pipeline ETL/ELT Delta di Databricks

Trasformazioni PySpark

<p Controlli qualità e validazioni dei dati

Pipeline streaming o batch

Documentazione e best practice


Costruiamo una pipeline che consegna dati accurati, affidabili e di livello produzione per il tuo business!

Destination Platform:

Google BigQuery

Azure Synapse Analytics

Strumenti e piattaforme:

AWS Glue DataBrew

Azure data factory

Il mio portfolio