Costruirò pipeline di dati end to end su azure usando adf e databricks

Alcune informazioni sono state tradotte automaticamente.

Pakistan

Parlo Inglese

Ingegnere di dati cloud

Sono un Cloud Data Engineer specializzato nella creazione di pipeline ETL/ELT scalabili usando Azure Data Factory, Databricks, Delta Lake e Azure Synapse Analytics. Trasformo dati grezzi in dataset pr...

Continua a leggere

Informazioni su questo servizio

Costruirò una soluzione di data engineering end-to-end per ingerire, trasformare, processare e preparare i tuoi dati per l'analisi.

Sono specializzato in Azure, Azure Data Factory, Azure Databricks, PySpark, Python, SQL, ADLS Gen2 e Delta Lake.

Ciò che posso costruire:

Pipeline di dati ETL/ELT
Ingestione di dati tramite API, CSV, Excel e SQL
Orchestrazione con Azure Data Factory
Soluzioni di data lake con ADLS Gen2
Trasformazioni con Databricks e PySpark
Delta Lake e architettura Medallion
Elaborazione di dati batch e incrementale
SCD Tipo 1 / Tipo 2
Modellazione dei dati e dataset pronti per l'analisi
Qualità e convalida dei dati
Layer di dati pronti per Power BI

Architettura tipica:

Source ADF ADLS Databricks/PySpark Delta Lake Livello Gold Analisi

Se hai bisogno di un nuovo pipeline, di ottimizzare un pipeline esistente o di una piattaforma dati completa, posso progettare la soluzione in base alle tue esigenze.

Hai un progetto in mente? Contattami prima di ordinare così posso capire le tue esigenze e consigliarti la soluzione migliore.

Continua a leggere