Costruirò pipeline di streaming in tempo reale con apache kafka
Senior Data Engineer, certificato AWS, sviluppatore Cloudera Spark
Informazioni su questo servizio
Hai bisogno di una pipeline di dati in tempo reale che trasferisca eventi in modo affidabile dai database o API delle tue applicazioni alla tua piattaforma di analisi?
Costruisco pipeline di streaming pronte per la produzione usando Apache Kafka Kafka Connect Spark Structured Streaming AWS Kinesis Glue Databricks e data warehouse cloud.
Ciò che posso consegnare:
- architettura topic Kafka e producer consumer
- ETL in streaming con Spark Structured Streaming o Python
- connettori source Kafka Connect o Debezium
- controlli sulla qualità dei dati e convalida dello schema
- consegna su Snowflake BigQuery Redshift S3 o Databricks
- documentazione di monitoraggio e guida al deployment
Perché lavorare con me:
- 9 anni come Senior Data Engineer
- esperienza solida in architetture batch e streaming
- esperienza con AWS Databricks Snowflake e piattaforme dati aziendali
- consegna pulita con documentazione del codice e note sull'architettura
Contattami prima di ordinare così posso confermare la sorgente evento, la piattaforma di destinazione e il throughput previsto.
Altri servizi della categoria Data engineer offerti da me
FAQ
Traduzione automatica.
Di quali informazioni hai bisogno per iniziare?
Per favore condividi il sistema sorgente, la piattaforma di destinazione, il volume di eventi previsto, campioni di payload e eventuali dettagli dell'account Kafka, Kinesis o cloud esistenti.
