削 I will build or fix cdc pipelines with debezium, kafka and postgres

Alcune informazioni sono state tradotte automaticamente.

Pakistan

Parlo Inglese

181 ordini completati

Ingegnere senior di Data e AI, RAG, LangChain, Snowflake, dbt, Agents, Clickhouse

Creo data platform e pipeline LLM che girano in produzione. 10 anni in software e data engineering, dal 2016. Data Engineer II in Careem (Uber), dove il nostro team DataOps gestiva 500+ streaming e 7...

Livello 2

Ha soddisfatto criteri di prestazioni elevate e ha una comprovata esperienza nel soddisfare le aspettative dei clienti.

Informazioni su questo servizio
  • Il change data capture si rompe silenziosamente. I replicatori si bloccano e riempiono il disco, grandi colonne arrivano come segnaposto e le istruzioni MERGE sovrascrivono buone righe mentre ogni dashboard resta verde.

Costruisco CDC che regge, o riparo quella che hai:

  • CDC basato sui log da Postgres o MySQL con Debezium, Kafka, Meltano o Maxwell
  • Carica in Snowflake, BigQuery o Postgres con logica MERGE corretta per cancellazioni e aggiornamenti
  • Correzioni per sovrascritture segnaposto TOAST di Postgres
  • Monitoraggio della replica e percorso di recupero sicuro, senza ricaricamento completo
  • controlli di riconciliazione affinché conteggi e valori tra origine e destinazione coincidano

Curriculum:

  • Ripristinata la replica di Postgres con CDC basato sui log in Snowflake per una unicorn nel settore delivery-tech statunitense
  • Creato un agente che libera slot di replica bloccati e esegue un refresh parziale pulito, senza che qualcuno venga contattato
  • Careem: CDC in tempo reale tramite Maxwell, Kafka e Spark Streaming
  • Scritto l’errore TOAST di Debezium per sovrascrittura silenziosa e la sua correzione su tre livelli

Lingua:

Inglese

Esperienza tecnica:

Apache Airflow

•

Dagster

•

Apache Spark

•

Snowflake

Expertise:

Pipeline dati

•

Elaborazione dati streaming

Settore:

Audio e video

•

Sicurezza informatica

•

Analisi dei dati

Il mio portfolio

Altri servizi della categoria Data engineer offerti da me

Tag correlati