Costruirò pipeline ETL su azure usando adf databricks e pyspark
Ingegnere dei dati di Azure
Informazioni su questo servizio
Cerchi un Data Engineer affidabile su Azure per costruire o ottimizzare i tuoi pipeline ETL?
Posso aiutarti a creare soluzioni di dati scalabili ed efficienti usando Azure Data Factory (ADF), Azure Databricks, PySpark e Azure Data Lake Storage Gen2.
Che tu abbia bisogno di ingestione dati, trasformazioni, orchestrazione di workflow o una soluzione ETL end-to-end, posso consegnare un'implementazione pulita e facile da mantenere, su misura per le tue esigenze.
Ciò che otterrai:
Sviluppo di pipeline Azure Data Factory (ADF)
Ingestione dati dinamica e parametrizzata
Trasformazioni Azure Databricks & PySpark
Sviluppo di pipeline ETL/ELT
Implementazione dell'architettura Medallion
Validazione della qualità dei dati
Orchestrazione e monitoraggio delle pipeline
Documentazione tecnica
Panoramica del pacchetto:
Base: pipeline di ingestione ADF semplice con 1 connettore
Standard: soluzione ETL ADF + Databricks con controlli di qualità dei dati e documentazione
Premium: soluzione Azure ETL end-to-end con orchestrazione, trasformazioni e documentazione completa
Tecnologie:
Azure Data Factory, Azure Databricks, PySpark, ADLS Gen2, Delta Lake, SQL, CSV e JSON.
Contattami prima di ordinare per discutere le tue esigenze e scegliere il miglior pacchetto.
Destination Platform:
Databricks Lakehouse
•
Altro
Strumenti e piattaforme:
Azure data factory
•
Altro
Il mio portfolio
FAQ
Traduzione automatica.
Quali fonti di dati puoi integrare?
Posso lavorare con file CSV, file JSON, database SQL, Azure Storage e altre fonti di dati supportate da Azure Data Factory.
Sviluppi pipeline Azure Data Factory (ADF)?
Sì. Progetto e sviluppo pipeline ADF dinamiche, parametrizzate e scalabili per l'ingestione dati, orchestrazione e workload ETL.
Lavori con Azure Databricks e PySpark?
Sì. Sviluppo notebook Databricks e trasformazioni PySpark per pulizia, arricchimento dei dati e implementazioni dell'architettura Medallion.
Puoi modificare o ottimizzare pipeline ETL esistenti?
Sì. Posso risolvere problemi, ottimizzare, migliorare e mantenere soluzioni Azure Data Factory e Databricks esistenti.
Di quali informazioni hai bisogno prima di iniziare il progetto?
Condividi i dettagli del sistema di origine, destinazione, requisiti di business, regole di trasformazione e output atteso. Questo mi aiuta a consigliare la soluzione e il pacchetto migliori.
Quale pacchetto devo scegliere?
Il pacchetto Basic è adatto per pipeline di ingestione ADF semplici. Standard è ideale per soluzioni ETL ADF + Databricks. Premium è raccomandato per progetti Azure ETL end-to-end completi con orchestrazione, trasformazioni e documentazione.
Cosa succede se le tue offerte non coprono le mie esigenze?
Nessun problema. Inviami le tue esigenze e posso consigliare il miglior pacchetto o creare un'offerta personalizzata in base alla portata del progetto.
I costi del cloud Azure sono inclusi nel prezzo del gig?
No. Il prezzo del gig copre solo servizi di sviluppo e implementazione. I costi di abbonamento Azure o infrastruttura cloud sono a carico del cliente.
Posso aggiungere più fonti di dati o connettori?
Sì. È possibile aggiungere connettori extra tramite Gig Extras o un'offerta personalizzata in base alle tue esigenze.
Offrite supporto dopo la consegna del progetto?
Sì. Offro supporto post-consegna per problemi relativi alla soluzione consegnata e posso anche aiutare con miglioramenti futuri.

