Costruirò e ottimizzerò pipeline ETL AWS glue
Ingegnere AWS Amazon Connect Terraform e DevOps
Informazioni su questo servizio
Hai bisogno di una pipeline dati AWS affidabile, da costruire, sistemare o ottimizzare?
Sono un Cloud e DevOps Engineer certificato AWS con esperienza pratica nella progettazione di pipeline dati aziendali usando AWS Glue, PySpark, Amazon S3, Amazon Redshift, Python, Terraform e GitHub Actions.
Posso aiutarti con:
Sviluppo e troubleshooting di job AWS Glue ETL
Ingestione S3, partizionamento e elaborazione Parquet
Trasformazioni PySpark e gestione degli schemi
Staging, caricamento, MERGE e deduplicazione in Redshift
Conversione di timestamp, backfill e caricamenti incrementali
<p Controlli sulla qualità dei dati, validazione e monitoraggioConfigurazione del Glue Catalog e crawler
Workflow di infrastruttura Terraform e CI/CD
Ottimizzazione delle performance e dei costi della pipeline
Analisi delle cause di errori specifici di schema e ambiente
La mia esperienza include la creazione di pipeline di produzione per dati JSON complessi, appiattimento di strutture annidate, applicazione della logica dell’ultimo record, risoluzione di conflitti di tipo e promozione di modifiche controllate attraverso ambienti di sviluppo, test e produzione.
Contattami prima di ordinare se la tua pipeline ha più fonti, grandi backfill, schemi complessi o requisiti di deployment in produzione.
Destination Platform:
Amazon Redshift
•
Amazon S3
Strumenti e piattaforme:
Altro
Il mio portfolio
FAQ
Traduzione automatica.
Puoi sistemare un job AWS Glue esistente?
Sì. Condividi lo script, i dettagli degli errori, il risultato atteso, lo schema di esempio e i log rilevanti. Rimuovi dati riservati e credenziali prima di inviare qualsiasi cosa.
Puoi caricare dati in Amazon Redshift o Amazon S3?
Sì. Posso costruire o migliorare flussi ETL che ingestano, trasformano, validano e caricano dati in Amazon S3 o Amazon Redshift.
Puoi gestire JSON annidati, cambi di schema e backfill?
Sì. Posso appiattire JSON annidati, gestire conflitti di schema e tipo, applicare deduplicazioni e progettare backfill storici controllati.
Puoi deployare la pipeline con Terraform e CI/CD?
Sì. Lo scope Standard o Premium può includere Terraform e workflow di promozione automatizzata usando GitHub Actions, a seconda del tuo ambiente.
