Svilupperò la pipeline etl usando azure data factory e databricks

NOTA: contattami prima di effettuare qualsiasi ordine utilizzando il pulsante CONTATTAMI nell'angolo in alto a destra per discutere i requisiti. Il prezzo indicato sul servizio è una tariffa oraria .

Azure Data Engineer professionista con oltre 3 anni di esperienza e sviluppo pratico di pipeline ETL altamente complesse.

• Esperienza nell'implementazione di flussi di lavoro scalabili ottimizzati end-to-end su Azure Data Factory/Databricks per estrarre, elaborare e archiviare dati da diverse origini, con una riduzione media del 40% dei tempi di elaborazione dei dati per i miei clienti.
• Esperienza nella migrazione di dati da sistemi legacy (on-premise) e API ad Azure Data Lake , eseguendo trasformazioni complesse sui dati utilizzando DataBricks (Python e PySpark), spostando i dati elaborati su SQL Server / PostgreSQL / Data o Delta Lake e scrivendo Procedure/funzioni memorizzate SQL che possono trasformare i dati ed eseguire alcuni calcoli su di essi in base ad una logica aziendale.
• Sono inoltre esperto nello sviluppo e nella manutenzione di architetture DeltaLake utilizzando Databricks e sfruttando DataLakes per archiviare i dati sottostanti e applicare standard di sicurezza.
• Pianificazione dei carichi di lavoro usando i trigger di Azure Data Factory o i flussi di lavoro di Databricks.