Progetterò e costruirò pipeline di dati usando azure data factory e databricks ai ml

Progetterò, costruirò e ottimizzerò pipeline di dati scalabili usando Microsoft Azure, Azure Data Factory e Azure Databricks per trasformare i tuoi dati grezzi in potenti insight di business.

Con una forte esperienza in ingegneria dei dati cloud e analisi.

Cosa farò per te

• Costruire pipeline ETL/ELT end-to-end in Azure
• Creare flussi di lavoro dinamici e automatizzati in Azure Data Factory
• Sviluppare soluzioni di elaborazione dati scalabili usando PySpark & Spark SQL
• Integrare API, database SQL, Data Lake, Blob Storage e fonti di terze parti
• Ottimizzare le prestazioni delle pipeline e ridurre i costi cloud
• Implementare pulizia, validazione e trasformazione dei dati
• Distribuire pipeline di produzione sicure e affidabili

Funzionalità di AI & Machine Learning

• Costruire modelli ML usando Azure Databricks (classificazione, regressione, previsione)
• Preprocessing dei dati e feature engineering per ML
• Training e valutazione dei modelli usando Python & Spark ML
• Distribuire pipeline di machine learning in Azure
• Workflow di predizione batch e in tempo reale
• Analisi e insight guidati dall'AI

Strumenti & Tecnologie

• Azure Data Factory (ADF)
• Azure Databricks
• PySpark / Spark SQL
• Azure Data Lake Storage
• Azure SQL Database
• Python
• Machine Learning (ML)
• Data Modeling & Transformation