Costruirò pipeline di streaming in tempo reale con apache kafka

Alcune informazioni sono state tradotte automaticamente.

Stati Uniti

Parlo Inglese

Senior Data Engineer, certificato AWS, sviluppatore Cloudera Spark

Costruisco pipeline di dati di livello produzione, data warehouse cloud e stack di dati moderni per startup e aziende in crescita. 9 anni in banche, finanza, retail e ospitalità — su AWS, GCP, Databr...
Informazioni su questo servizio

Hai bisogno di una pipeline di dati in tempo reale che trasferisca eventi in modo affidabile dai database o API delle tue applicazioni alla tua piattaforma di analisi?



Costruisco pipeline di streaming pronte per la produzione usando Apache Kafka Kafka Connect Spark Structured Streaming AWS Kinesis Glue Databricks e data warehouse cloud.



Ciò che posso consegnare:


- architettura topic Kafka e producer consumer


- ETL in streaming con Spark Structured Streaming o Python


- connettori source Kafka Connect o Debezium


- controlli sulla qualità dei dati e convalida dello schema


- consegna su Snowflake BigQuery Redshift S3 o Databricks


- documentazione di monitoraggio e guida al deployment



Perché lavorare con me:


- 9 anni come Senior Data Engineer


- esperienza solida in architetture batch e streaming


- esperienza con AWS Databricks Snowflake e piattaforme dati aziendali


- consegna pulita con documentazione del codice e note sull'architettura



Contattami prima di ordinare così posso confermare la sorgente evento, la piattaforma di destinazione e il throughput previsto.

Destination Platform:

Snowflake

Google BigQuery

Amazon Redshift

Strumenti e piattaforme:

AWS Glue DataBrew

Altri servizi della categoria Data engineer offerti da me