Sfoglia categorie
Esplora
Fiverr Pro
Italiano
$
USD
Costruirò una pipeline data lakehouse in tempo reale
Sviluppatore Python, FastAPI, Web Scraping, automazione AI, Data Engineering
Sono un Data Engineer con oltre 3 anni di esperienza nel settore, specializzato nella creazione di API RESTful, sistemi di web scraping e applicazioni alimentate dall'AI. Mi occupo di FastAPI, Streaml...
Informazioni su questo servizio
Vuoi creare una pipeline di dati in tempo reale che tenga il tuo data warehouse sempre aggiornato senza lavori ETL manuali?
Progetterò e consegnerò una pipeline lakehouse completamente automatizzata, end-to-end, che cattura ogni modifica nel tuo database al momento che avviene, la streamma tramite Kafka e la deposita come tabelle Delta Lake interrogabili, tutto orchestrato e monitorato da Apache Airflow.
Ciò che ottieni:
- CDC live dal tuo database MySQL (senza downtime, senza esportazioni manuali)
- Elaborazione stream scalabile con Apache Spark
- Storage Delta Lake compatibile S3 (MinIO) interrogabile con Trino o Spark SQL
- Airflow DAG per controlli di salute automatizzati e monitoraggio della pipeline
- Run completamente Dockerizzati sul tuo server o VM cloud
- Guida all'installazione e documentazione inclusa
Perfetto per start-up, team di dati e aziende che hanno bisogno di disponibilità di dati affidabile in tempo reale senza dover gestire infrastrutture complesse da zero.
Il mio portfolio
FAQ
Traduzione automatica.
Di quali informazioni hai bisogno per iniziare?
Ho bisogno di dettagli sul tuo database di origine (tipo, versione, dimensione), destinazione di storage preferita e ambiente server/cloud. Se non sei sicuro, una chiamata di scoperta gratuita può aiutarti a definire il progetto.
Puoi connetterti al mio database esistente senza downtime?
Sì. Usando CDC (Change Data Capture) tramite Debezium, la pipeline legge il log binario di MySQL — senza blocchi, senza downtime, senza impattare sulla tua applicazione in esecuzione.
Cosa consegna la pipeline in tempo reale?
Ogni INSERT, UPDATE e DELETE nel tuo database di origine viene catturato istantaneamente e depositato in tabelle Delta Lake su MinIO (compatibile S3) in pochi secondi — interrogabile tramite Spark SQL o Trino.
Devo usare infrastruttura cloud o questa funziona on-premise?
Entrambe. L'intera stack gira su Docker Compose — puoi deployarla sul tuo server locale, su una VM cloud (AWS EC2, GCP, Azure) o su qualsiasi macchina Linux con almeno 8GB di RAM.
Puoi gestire cambiamenti di schema nel mio database di origine?
Sì. La pipeline è progettata pensando all'evoluzione dello schema. Configuro Debezium e Spark per gestire nuove colonne e cambi di tipo senza interrompere il flusso.
Firma un NDA se i miei dati sono sensibili?
Assolutamente sì. Sono disponibile a firmare un NDA prima di iniziare il progetto.
Offrite supporto post-consegna?
Sì — 7 giorni (Basic), 14 giorni (Standard), 30 giorni (Premium) per correzioni di bug e problemi di deployment.
