Creerò pipeline di dati scalabili usando azure data factory e databricks
Ingegnere dei Big Data
Informazioni su questo servizio
Sono specializzato nella progettazione e nello sviluppo di pipeline ETL/ELT end-to-end usando Azure Data Factory (ADF) e Databricks (PySpark). Integro dati da molteplici fonti API, database SQL, storage cloud, file e altro, in pipeline pulite, strutturate e pronte per la produzione.
Con una forte competenza nell'orchestrazione ADF, pipeline Delta di Databricks e trasformazioni PySpark, posso aiutarti a costruire workflow robusti, facili da mantenere e ottimizzati per le prestazioni. Che tu abbia bisogno di una semplice pipeline di ingestion o di una soluzione dati multi-sorgente completa, consegno risultati scalabili, sicuri e ben documentati.
Ciò che offro:
Ingestion di dati da molteplici fonti
Pipeline, trigger e orchestrazione ADF
Pipeline ETL/ELT Delta di Databricks
Trasformazioni PySpark
<p Controlli qualità e validazioni dei datiPipeline streaming o batch
Documentazione e best practice
Costruiamo una pipeline che consegna dati accurati, affidabili e di livello produzione per il tuo business!
Strumenti e piattaforme:
AWS Glue DataBrew
•
Azure data factory
