Costruirò pipeline di dati pronte per la produzione con apache spark e kafka

Costruisco pipeline di dati che reggono in produzione, non solo in un percorso felice.

Dodici anni in banca e servizi finanziari significano che ho passato la maggior parte del mio tempo nelle parti meno glamour: record duplicati, dati in arrivo tardi, cambiamenti di schema che rompono tutto a valle, e job che devono essere eseguibili in modo sicuro e ripetibile. Questa è la differenza tra una pipeline che funziona in una demo e una che puoi lasciare in esecuzione.

Con cosa lavoro: Apache Spark, Kafka, Avro, Apache Iceberg, PostgreSQL, Java, Python, su GCP e Kubernetes.

Tipici lavori che svolgo:

• ETL batch o streaming da sistemi sorgente a un magazzino o lago dati
• Trasformare script fragili in veri job Spark
• Consumer e producer Kafka con gestione sensata di errori e retry
• Riparare pipeline lente, instabili o che perdono dati silenziosamente

Spiego quello che faccio in modo semplice e onesto, e ti dirò se il problema richiede una soluzione più semplice di quella che hai chiesto.

Scrivimi prima di ordinare con le tue fonti di dati e una stima del volume, e ti dirò quale pacchetto si adatta o se sono la persona sbagliata per il lavoro.