Costruirò e ottimizzerò pipeline ETL AWS glue

Alcune informazioni sono state tradotte automaticamente.

Sudafrica

Parlo Inglese

Ingegnere AWS Amazon Connect Terraform e DevOps

Sono un Cloud Engineer certificato AWS e sviluppatore Amazon Connect specializzato in Amazon Connect, Terraform, automazione DevOps e data engineering nel cloud. Aiuto le aziende a costruire, migliora...
Informazioni su questo servizio

Hai bisogno di una pipeline dati AWS affidabile, da costruire, sistemare o ottimizzare?


Sono un Cloud e DevOps Engineer certificato AWS con esperienza pratica nella progettazione di pipeline dati aziendali usando AWS Glue, PySpark, Amazon S3, Amazon Redshift, Python, Terraform e GitHub Actions.


Posso aiutarti con:


Sviluppo e troubleshooting di job AWS Glue ETL

Ingestione S3, partizionamento e elaborazione Parquet

Trasformazioni PySpark e gestione degli schemi

Staging, caricamento, MERGE e deduplicazione in Redshift

Conversione di timestamp, backfill e caricamenti incrementali

<p Controlli sulla qualità dei dati, validazione e monitoraggio

Configurazione del Glue Catalog e crawler

Workflow di infrastruttura Terraform e CI/CD

Ottimizzazione delle performance e dei costi della pipeline

Analisi delle cause di errori specifici di schema e ambiente


La mia esperienza include la creazione di pipeline di produzione per dati JSON complessi, appiattimento di strutture annidate, applicazione della logica dell’ultimo record, risoluzione di conflitti di tipo e promozione di modifiche controllate attraverso ambienti di sviluppo, test e produzione.


Contattami prima di ordinare se la tua pipeline ha più fonti, grandi backfill, schemi complessi o requisiti di deployment in produzione.

Destination Platform:

Amazon Redshift

•

Amazon S3

Strumenti e piattaforme:

Altro

Il mio portfolio