Costruirò controlli di validazione e qualità dei dati usando pyspark, snowflake e aws

Alcune informazioni sono state tradotte automaticamente.
Sumit

India

Parlo Inglese

26 ordini completati

Ingegneria dei dati, analisi dei dati, sviluppo web, automazione, sviluppo di intelligenza artificiale

Ho 11 anni di esperienza approfondita in Data Analytical Programming, Automazione, Data Quality Framework, REST APIs, Data Warehousing, Cloud Engineering e Web Development. Ho competenze nelle seguen...
Continua a leggere

Livello 1

Ha soddisfatto determinati criteri di prestazione e mostra un forte potenziale nel marketplace.

Informazioni su questo servizio

I dati cattivi portano a decisioni sbagliate. Ti aiuto a rilevare, convalidare e correggere i problemi dei dati creando framework di validazione dei dati scalabili e pronti per la produzione utilizzando strumenti moderni di data engineering.

Cosa farò

  • Controlli di validazione e qualità dei dati
  • Riconciliazione tra dati di origine e di destinazione
  • Controllo del conteggio delle righe, dello schema e dei tipi di dati
  • Controlli di null, duplicati e anomalie
  • Validazioni delle regole di business
  • Pipeline di validazione automatizzate
  • Report dettagliati di validazione e log

️ Stack tecnologico

  • PySpark validazione di dati su larga scala
  • Python regole personalizzate e automazione
  • Snowflake validazione a livello di warehouse
  • SQL riconciliazione e controlli analitici
  • AWS S3, Glue, EC2, Lambda, CloudWatch, Redshift, RDS, Secrets Manager
Continua a leggere
build data validation and quality checks using pyspark snowflake and aws
Schermo intero
build data validation and quality checks using pyspark snowflake and aws

Expertise:

Automazioni

•

Big data

•

etl

•

Normalizzazione

•

SQL

•

NoSQL

Tecnologia:

Amazon Redshift

•

Apache Cassandra

•

Python

•

SQL

•

Snowflake

+1 in più

Altri servizi della categoria Data engineer offerti da me

Tag correlati