Riparerò e ottimizzerò le pipeline di dati ETL con airflow o nifi

Alcune informazioni sono state tradotte automaticamente.

Pakistan

Parlo Inglese, Urdu, Punjabi, Tedesco

Ingegnere dei Big Data

Senior Data Engineer con oltre 7 anni di esperienza nella creazione di pipeline di dati e lakehouse di livello produzione per clienti aziendali. Mi specializzo in Apache NiFi, Airflow, Spark ETL e pro...

Continua a leggere

Informazioni su questo servizio

La tua pipeline di dati è inaffidabile, lenta o ancora da costruire? Progetterò e consegnerò una pipeline pronta per la produzione, su misura per la tua architettura.

Quello che offro:

Progettazione e deployment di pipeline Apache NiFi (Docker o Kubernetes)
Sviluppo di DAG in Airflow, pianificazione, retry, alerting, dipendenze
ETL con PySpark e Spark SQL per trasformazioni di grandi volumi di dati
Ingestione da REST API, SAP OData, S3/MinIO, database e file flat
Processor personalizzati in Java per logiche di business complesse

Perché lavorare con me:

Oltre 7 anni di esperienza reale in aziende grandi, costruendo pipeline per clienti aziendali tedeschi
Ho realizzato pipeline che gestiscono milioni di record in architetture complesse multi-sorgente
Ogni consegna include gestione degli errori, logging e documentazione, non solo codice funzionante

NON faccio: