Sfoglia categorie
Esplora
Fiverr Pro
Italiano
$
USD
Costruirò pipeline di dati end to end su GCP usando pubsub, kafka e dataform
Sono Arpit, laureato IIT M.Tech e Data Engineer certificato GCP, specializzato in progettare soluzioni scalabili e ad alto impatto. Con oltre 4 anni di esperienza in data engineering, sviluppo full-st...
Informazioni su questo servizio
Una piattaforma dati moderna richiede un'ingestione robusta e analisi modellate con cura. Come Data Engineer certificato Google Cloud, costruisco sistemi end-to-end che garantiscono l'integrità dei dati dal sorgente al dashboard.
Progetto pipeline ad alto volume e driven da eventi con consegna almeno una volta, mentre architetto modelli BigQuery centralizzati che unificano tabelle disparate di oltre 19 unità di business.
Ciò che posso fare per te:
- Ingestione in tempo reale: Progetto sistemi sicuri usando Apache Kafka e GCP Pub/Sub in Java Spring Boot.
- Elaborazione serverless: Progetto microservizi decoupled tramite Cloud Run per trasformare grandi dataset.
- Modellazione dimensionale: Trasformo dati grezzi di BigQuery in Star Schemas usando Dataform, applicando SCD Type 2 e 4.
- Orchestrazione: Coordino workflow ELT multi-stage tramite Cloud Composer (Airflow) per automatizzare i job Dataform.
Tecnologie che uso: GCP Pub/Sub, Kafka, BigQuery, Dataform, Java (Spring Boot), Cloud Run, Airflow e Terraform.
Perché scegliermi? Ottieni un esperto certificato in cloud che implementa framework di qualità dei dati robusti, loggando i fallimenti di assertion in tabelle di errore persistenti, così i tuoi analytics rimangono affidabili.
Parliamo prima di ordinare per allinearci sul scope!
_nbgzvd.jpg)
_g7msf6.jpg)
FAQ
Traduzione automatica.
Come gestisci la differenza tra dati in streaming e modellazione batch?
Utilizzo un approccio moderno in cui Pub/Sub e Cloud Run gestiscono l'ingestione in tempo reale, portando i dati in modo sicuro nelle tabelle raw di BigQuery. Poi, pianifico Dataform tramite Cloud Composer (Airflow) per pulire, testare e modellare periodicamente quei dati raw in tabelle curate pronte per il business.
Puoi garantire che nessun messaggio in streaming venga perso?
Sì. Progetto sistemi con garanzia di consegna almeno una volta usando logica di retry robusta e storage temporaneo intermedio per garantire tolleranza totale ai guasti.
Usi Dataform o dbt per la modellazione di BigQuery?
Consiglio vivamente Dataform per stack nativi GCP, poiché è completamente gestito all’interno di BigQuery e si integra perfettamente con Cloud Composer. Tuttavia, sono competente in entrambi gli strumenti a seconda del tuo ambiente.
Come garantisci che i dati modellati siano accurati?
Implemento un framework di qualità dei dati robusto in Dataform per catturare i fallimenti di assertion. Qualsiasi fallimento di validazione viene automaticamente indirizzato a una tabella di log error BigQuery persistente per la revisione.
