Sfoglia categorie
Esplora
Fiverr Pro
Italiano
$
USD
Costruirò pipeline ETL scalabili con adf e databricks
Con il duro lavoro e lo sforzo, puoi ottenere qualsiasi cosa
Data Engineer
Sono un professionista Data Engineer con esperienza pratica nella creazione di pipeline di dati affidabili e soluzioni strutturate di data warehouse. Aiuto le aziende a raccogliere, puli...
Informazioni su questo servizio
Stai cercando un esperto tecnico per progettare la tua infrastruttura cloud e sviluppare pipeline ETL/ELT ad alte prestazioni? Sei nel posto giusto.
Sono specializzato nella progettazione e implementazione di soluzioni complete di dati. Che tu abbia bisogno di un Data Lakehouse moderno su Azure, di una pipeline robusta su AWS o di trasformazioni complesse in Databricks, fornisco architetture pronte per la produzione.
Le mie competenze e servizi:
- Data Architecture: Progettazione di framework scalabili per le esigenze di dati dell'organizzazione.
- Batch & Streaming ETL: Lavori ad alte prestazioni usando Apache Spark e PySpark.
- Excel in Databricks: Creazione di workflow automatizzati e pipeline Delta Lake.
- Integrazione dati Azure: Sviluppo usando Data Factory (ADF) e Synapse.
- Ingestione API: Connessione di API a S3/Blob/SQL tramite AWS Lambda o Functions.
- Preparazione BI: Ottimizzazione dei dati per Power BI, Tableau e Qlik.
- Transformazioni personalizzate: Pulizia esperta con Python e SQL.
La stack tecnologica:
- Piattaforme: Azure, AWS, GCP.
- Motori: Databricks, Spark, Glue.
- Orchestrazione: ADF, Airflow.
Expertise:
Integrazione API
•
Big data
•
Estrazione dati
•
etl
•
SQL
•
NoSQL
Il mio portfolio
FAQ
Traduzione automatica.
Spiegherete anche l'architettura di implementazione?
Sì, fornisco una panoramica completa dell'architettura. Spiegherò il flusso dei dati, la scelta dei servizi cloud specifici (ADF, Databricks, ecc.) e il ragionamento dietro il progetto per garantire che il tuo team possa gestirlo in futuro.
Puoi gestire progetti di dati sia di piccola che di grande scala?
Assolutamente. Progetto pipeline con scalabilità in mente. Che tu abbia bisogno di un ingest semplice API-a-SQL o di una grande organizzazione che processa miliardi di righe tramite Spark, adatto le risorse di calcolo e storage alle tue esigenze di volume e budget.
Fornisci documentazione tecnica con la consegna?
Ogni progetto include una panoramica tecnica e una guida di configurazione. Per documentazione dettagliata di livello enterprise (inclusi dizionari dei dati e documenti di mappatura), menzionalo durante la nostra call di scoperta così posso includerlo nel scope del progetto.
Fornisci supporto continuo per le soluzioni che sviluppi?
Sì. Offro supporto post-consegna per garantire che la pipeline funzioni senza problemi in produzione. Questo include troubleshooting delle prime esecuzioni, correzione di bug e ottimizzazione delle prestazioni. È possibile anche organizzare manutenzione a lungo termine o supporto mensile.
Come si determina il prezzo di un progetto?
Il prezzo si basa su tre fattori: il numero di fonti dati, la complessità delle trasformazioni (logica ETL/ELT) e i requisiti di orchestrazione. Fornisco un preventivo trasparente dopo aver esaminato lo schema dei dati e gli obiettivi del progetto.
Qual è l'approccio per iniziare un progetto?
Iniziamo con una breve fase di scoperta in cui esamino le tue fonti dati e i requisiti di destinazione. Una volta approvata l'architettura, configuro l'ambiente, costruisco le pipeline, eseguo una rigorosa validazione dei dati e infine consegno il codice con una panoramica tecnica.
