Sfoglia categorie
Esplora
Fiverr Pro
Italiano
$
USD
Costruirò una pipeline ETL con databricks e delta lake per il tuo data warehouse
Ingegnere del software, Ingegnere dei dati
Sono un ingegnere software e di dati con esperienza in produzione nella realizzazione di sistemi di livello enterprise su piattaforme cloud.
Come data engineer, ho lavorato con architetture lakehouse...
Informazioni su questo servizio
La maggior parte delle pipeline di dati fallisce silenziosamente. Nessun audit trail, nessun controllo di qualità,
uno script che fa tutto. I tuoi analisti eseguono la stessa query due volte
e ottengono numeri diversi.
Costruisco pipeline che non fanno questo.
COSA OTTIENI
Architettura medallion su Databricks + Delta Lake:
- Bronze: i dati grezzi vengono immutabilmente archiviati. Il tuo punto di recupero.
- Silver: ogni riga supera un controllo di qualità. I fallimenti vengono registrati.
- Gold: tabelle Delta aggregate e pronte per BI. Veloci. Affidabili.
Orchestrato come un DAG di Workflow Databricks completamente automatizzato.
PERCHÉ FUNZIONA
- Riesecuzione idempotente che non duplica né perde dati
- Metriche DQ auditabili e interrogabili
- Recuperabile: ogni layer si ricostruisce da Bronze
CON CHI LAVORO
Sorgenti: CSV, Parquet, JSON, REST API, PostgreSQL, S3, ADLS
Piattaforme: Databricks su Azure o AWS
PRIMA DI ORDINARE
Scrivimi prima con la tua sorgente dati e domanda di business.
Confermo l'ambito prima che tu effettui l'ordine. Nessuna sorpresa.
Il mio portfolio
FAQ
Traduzione automatica.
Non ho ancora Databricks, puoi aiutarmi a configurarlo?
Certamente. Databricks Community Edition è gratuito e richiede circa 20 minuti per essere configurato. Includerò le istruzioni di setup con la consegna, se necessario.
I miei dati sono in un database (Postgres/MySQL), non in file. Funziona lo stesso?
Sì. Connetto Databricks tramite JDBC e li ingesto direttamente nella pipeline. Ricordami di menzionarlo quando mi scrivi così posso definire correttamente l'ambito.
E se uso AWS invece di Azure?
L'architettura e il codice sono identici tra le cloud. Solo il percorso di storage cambia (S3 vs ADLS). Tutti i package funzionano su entrambi.
Il mio team sarà in grado di mantenerlo?
Sì. Ogni consegna include un Architecture Decision Record che spiega cosa fa ogni notebook e perché. Le versioni Standard e Premium includono un repo GitHub commentato.
