Sfoglia categorie
Esplora
Fiverr Pro
Italiano
$
USD
Costruirò pipeline ETL scalabili usando spark, databricks e delta lake
SDE1
Sono uno sviluppatore Python esperto con forte focus su problem solving, automazione e creazione di pipeline dati robuste per analisi di big data. La mia competenza consiste nel trasformare i dati in ...
Informazioni su questo servizio
Ingegnere dei dati professionista | ETL | Databricks | Spark | Specialista Data Lake
Stai cercando una pipeline di dati scalabile e pronta per la produzione per la tua attività?
Sono un Data Engineer professionista con esperienza reale nel settore nella creazione di soluzioni Big Data usando:
- Apache Spark / PySpark
- Databricks (Delta Lake, Medallion Architecture)
- Azure Data Factory
- Ecosistema Hadoop
- SQL & Python
- Integrazioni API (SOAP/REST)
- MongoDB, Oracle, MySQL, PostgreSQL, ecc.
Ciò in cui posso aiutarti:
- Sviluppo di pipeline ETL / ELT
- Elaborazione dati batch e in tempo reale
- Integrazioni Data Lake con database
- Progettazione architetturale Delta Lake
- Pulizia e trasformazione dei dati
- Ottimizzazione delle prestazioni
- Ottimizzazione dei job Spark
- Automazione e pianificazione
- Ingestione API nel database
- Data engineering su cloud (Azure/Databricks)
Esperienze reali includono:
- Integrazione MongoDB Delta Lake
- Ingestione API SOAP di Oracle Fusion in Delta Lake
- Pipeline giornaliere a livello enterprise
- Elaborazione ottimizzata di big data per milioni di record
Perché scegliermi?
⭐ Esperienza nel settore
⭐ Codice pulito e ottimizzato
⭐ Architettura scalabile
⭐ Consegna puntuale
⭐ Soddisfazione del cliente al 100%
FAQ
Traduzione automatica.
1. Quali servizi offri in questo servizio?
Offro servizi professionali di Data Engineering e ETL/ELT che includono: Sviluppo PySpark / Spark Workflow Databricks Pipeline Azure Data Factory Integrazioni database e API Configurazione Data Lake / Delta Lake Pulizia e trasformazione dati Ottimizzazione e automazione pipeline
2. Con quali tecnologie e strumenti lavori?
Mi specializzo in: Apache Spark / PySpark Databricks (Delta Lake, Notebooks, Jobs) Azure Data Factory Ecosistema Hadoop Python & SQL API REST/SOAP MongoDB, Oracle, MySQL, PostgreSQL, SQL Server Storage cloud (ADLS, S3, Blob)
3. Puoi integrare dati da più fonti?
Sì. Posso integrare dati da: Database API File CSV/Excel/JSON Storage cloud Sorgenti streaming
4. Costruisci pipeline ETL e ELT?
Sì. Supporto: ETL (Trasforma prima di caricare) ELT (Carica prima, trasforma in Databricks/Spark) In base al caso d'uso, consiglierò l'architettura migliore per prestazioni e costi.
5. Puoi ottimizzare i miei job Spark o Databricks lenti?
Assolutamente. Aiuto con: Ottimizzazione partizioni Strategie di caching Ottimizzazione della memoria Riduzione shuffle Ottimizzazione delle query Ottimizzazione delle prestazioni Delta Lake Questo può ridurre significativamente i tempi di esecuzione e i costi cloud.
Cosa ti serve da me prima di iniziare?
Per favore fornisci: Dettagli sulla fonte (DB/API/file) Esempio di dataset o schema Formato di output atteso Dettagli sulla piattaforma cloud Requisiti aziendali Scadenza Requisiti chiari mi aiutano a consegnare più velocemente e meglio.
