Costruirò pipeline dati databricks con delta lake
Data Engineer, Certificato Databricks e Fabric, 4 anni di esperienza
Informazioni su questo servizio
Hai bisogno di una pipeline Databricks pronta per la produzione, realizzata da un ingegnere certificato?
Data Engineer Associate certificato Databricks con 4 anni di esperienza, di cui 2 nel Regno Unito. Costruisco pipeline scalabili seguendo le migliori pratiche aziendali.
COSA OTTIENI:
Architettura Medallion (Bronze-Silver-Gold)
Delta Lake per transazioni ACID
Governance Unity Catalog
Workflow automatizzati
Test di qualità dei dati
Ottimizzazione delle prestazioni
Documentazione completa
CAPACITÀ TECNICHE:
- Implementazione completa di pipeline Medallion
- Delta Live Tables
- Streaming in tempo reale con Spark
- Integrazione di più fonti di dati
- Trasformazioni PySpark
- Gestione degli errori e monitoraggio
- Deployment su Azure Databricks
FONTI DI DATI:
CSV, JSON, Parquet, Azure Blob/ADLS, database SQL, API REST, streaming (Kafka, Event Hubs)
PERCHÉ SCEGLIERE ME:
- Certificato Databricks & Fabric
- 4 anni di esperienza professionale
- Standard aziendali formati nel Regno Unito
- Qualità di livello produzione
- Supporto post-consegna
Ho costruito più di 5 pipeline Databricks di produzione che elaborano milioni di record ogni giorno.
Contattami prima di ordinare per discutere i requisiti!
Strumenti e piattaforme:
Azure data factory
•
Altro
Il mio portfolio
Altri servizi della categoria Data engineer offerti da me
FAQ
Traduzione automatica.
Cosa devo fornire per iniziare?
Le tue fonti di dati (file, credenziali del database o dettagli API), requisiti di business, trasformazioni desiderate e eventuali KPI specifici che vuoi monitorare. Ti guiderò nel resto e progetterò l'architettura.
Fornisci il codice e i notebook di Databricks?
Sì! Ricevi tutti i notebook di Databricks, le configurazioni dei workflow e la documentazione completa. Tutto è tuo per modificare e mantenere.
Puoi lavorare con la mia infrastruttura Azure esistente?
Assolutamente! Posso integrare le risorse Azure esistenti (Storage Accounts, database SQL, Event Hubs, ecc.) e seguire gli standard e le politiche di sicurezza della tua organizzazione.
Cosa include la configurazione di Unity Catalog?
La configurazione di Unity Catalog include setup dello spazio di lavoro, creazione del metastore, politiche di governance dei dati, controlli di accesso e tracciamento della lineage. Disponibile nei pacchetti Standard e Premium.
Offrite supporto dopo la consegna?
Sì! Tutti i pacchetti includono supporto post-consegna. Standard include 30 giorni, Premium 60 giorni. Sono disponibile per rispondere alle domande e aiutare con piccole modifiche.

