Costruirò e automatizzerò pipeline ETL su Azure usando Azure Data Factory e Databricks

Alcune informazioni sono state tradotte automaticamente.

Pakistan

Parlo Inglese

Costruire pipeline di dati end-to-end su Azure con Databricks e Power BI

Sono Arslan Ahmed, un Senior Data Engineer specializzato in soluzioni di dati Azure end-to-end. Creo e automatizzo pipeline ETL usando Azure Data Factory, Databricks (PySpark, Spark SQL) e Power BI. I...

Continua a leggere

Informazioni su questo servizio

Ingegnere di dati Azure professionista con più di 3 anni di esperienza e competenze pratiche nello sviluppo di pipeline ETL altamente complesse.

Esperto nell'implementare flussi di lavoro scalabili end-to-end ottimizzati su Azure Data Factory / Databricks per estrarre, elaborare e archiviare dati da fonti diverse, con una riduzione media del 40% dei tempi di elaborazione dei dati per i miei clienti.
Esperto nella migrazione di dati da sistemi legacy (On-premise) e API a Azure Data Lake, eseguendo trasformazioni complesse sui dati usando DataBricks (Python e PySpark), spostando i dati elaborati su SQL Server / PostgreSQL / Data o Delta Lake, e scrivendo SQL Stored Procedures / Functions che possono trasformare i dati e eseguire calcoli basati su logiche di business.
Sono anche competente nello sviluppo e nella manutenzione di architetture DeltaLake usando Databricks e sfruttando DataLakes per archiviare i dati di base e applicare standard di sicurezza.
Pianifico workload usando trigger di Azure Data Factory o workflow di Databricks.

Principali competenze: SQL, Python, PySpark, Databricks, Azure, API, Data Transformation, Analytics.

Portfolio: https://arlsnahafeez967.github.io/Arslanhafeez2.github.io/

Continua a leggere