Costruirò soluzioni di data engineering usando azure
Web scraper e Data Engineer
Livello 2
Ha soddisfatto criteri di prestazioni elevate e ha una comprovata esperienza nel soddisfare le aspettative dei clienti.
Informazioni su questo servizio
Cerchi un data engineer per creare affidabili pipeline ETL su Azure? Progetto e implemento soluzioni di dati end-to-end usando Azure Data Factory (ADF), Azure Databricks e Medallion Architecture per ingerire, trasformare e gestire i tuoi dati in modo efficiente.
Servizi che offro:
- Ingestione dati: API, CSV, Excel, Database, Cloud Storage
- Trasformazione dati: Databricks (PySpark/SQL), ADF Data Flows (filtro, aggrega, seleziona, colonna derivata, modifica riga, join)
- Pipeline ETL con Medallion Architecture (Bronze, Silver, Gold)
- Attività ADF: Copy Data, ForEach, Lookup, Web, Stored Procedures
- Pianificazione e trigger: basati sul tempo, sullo storage e eventi
Perché scegliere me?
- Solida esperienza in ADF & Azure Databricks
- Pipeline ETL ottimizzate e scalabili
Strumenti e piattaforme:
Azure data factory
•
Altro
Il mio portfolio
FAQ
Traduzione automatica.
Di cosa hai bisogno da me per iniziare?
Avrò bisogno dell'accesso alla tua sottoscrizione Azure (o a un resource group dedicato), dettagli sulle tue fonti di dati (API, database, file, ecc.) e le tue esigenze di trasformazione e archiviazione.
Puoi configurare pipeline ETL semplici e complesse?
Sì! Posso creare qualsiasi cosa, da una pipeline ADF di base con trigger programmati a workflow ETL avanzati con Azure Databricks usando Medallion Architecture (Bronze, Silver, Gold).
Gestisci anche le trasformazioni dei dati?
Assolutamente. Uso ADF Data Flows (filtro, aggrega, join, colonne derivate, modifica righe, ecc.) e Databricks (PySpark/SQL) per trasformazioni personalizzate.
Puoi integrare con i miei database o API esistenti?
Sì. Posso ingerire dati da API, CSV, Excel, database SQL e cloud storage in Azure, garantendo un'integrazione fluida con i tuoi sistemi esistenti.
