Sfoglia categorie
Esplora
Fiverr Pro
Italiano
$
USD
Svilupperò pipeline ETL e lavori pyspark su azure databricks
Azure Data Engineer per pipeline ETL su Databricks
Sono uno studente di Ingegneria del Software motivato, con esperienza pratica in pipeline di data engineering e sviluppo full-stack. Sono competente nella costruzione di processi ETL scalabili usando ...
Informazioni su questo servizio
Benvenuto nel mio servizio di consulenza Azure Data Engineering!
Se vuoi trasformare i tuoi dati grezzi in insight puliti e utili, sono la persona giusta. Mi specializzo nella progettazione e costruzione di pipeline di dati robuste e scalabili usando il moderno Azure Data Stack, con un focus principale su Azure Databricks e PySpark.
Che tu abbia bisogno di una roadmap architettonica, di uno script ottimizzato semplice o di un pipeline ETL/ELT completo dall'inizio alla fine, sono qui per aiutare i tuoi dati a muoversi in modo fluido e sicuro.
Cosa offro in questo servizio:
- Configurazione Data Lake: Organizzare lo storage seguendo le migliori pratiche come l'architettura Bronze/Silver/Gold (Medallion).
- Sviluppo pipeline ETL: Scrivere codice PySpark o SQL pulito ed efficiente per estrarre, trasformare e caricare i tuoi dati.
- Orchestrazione: Progettare il flusso automatizzato dei dati usando strumenti come Azure Data Factory.
- Ottimizzazione delle prestazioni: Debugging e velocizzazione di notebook Spark lenti.
- Diagrammi di architettura e audit: Fornire documentazione visiva chiara e raccomandazioni professionali per la configurazione attuale.
FAQ
Traduzione automatica.
Devo fornire il mio ambiente Azure?
Sì, dovrai fornirmi accesso sicuro alla tua sottoscrizione Azure (come un account Guest con permessi specifici sul resource group) così posso costruire, testare e distribuire le pipeline direttamente nel tuo workspace.
Cos'è l'architettura Medallion di cui hai parlato?
È un pattern di progettazione dati molto efficiente usato in Databricks. Organizza logicamente i dati in un lakehouse in tre livelli distinti: Bronze (dati grezzi e ingestiti), Silver (dati puliti e filtrati) e Gold (aggregati a livello di business pronti per analisi e report).
Puoi risolvere un bug nel mio codice PySpark esistente?
Assolutamente! Il pacchetto Basic è perfetto per questo. Posso fare un audit del tuo notebook attuale, identificare il collo di bottiglia o l'errore e fornirti il codice ottimizzato e corretto.
Dobbiamo fare una videochiamata per i minuti di consulenza?
Assolutamente no! Anche se Fiverr fornisce un link Zoom, possiamo mantenere le telecamere spente per una chiamata solo audio, oppure usare quel tempo dedicato per chattare ampiamente via testo mentre rivedo la tua architettura e i tuoi obiettivi di dati.
