Costruirò pipeline di dati AWS e ETL con Python, Airflow e dbt

Alcune informazioni sono state tradotte automaticamente.

Germania

Parlo Inglese, Urdu, Tedesco

Lead Data e AI Engineer, AWS Pipelines, app RAG e LLM

Costruisco piattaforme di dati di produzione e applicazioni GenAI. Oltre 9 anni di leadership nell'ingegneria di dati e ML presso Orion, Delivery Hero, Amazon e Goldman Sachs. Cosa faccio: - Data pip...
Informazioni su questo servizio

Le pipeline di dati sono facili da costruire e difficili da mantenere attive. Costruisco quelle che sopravvivono ai cambiamenti di schema, ai file in ritardo e ai lunedì mattina.


Sono un Lead Data e AI Engineer con oltre 9 anni di esperienza. Ho costruito piattaforme di dati per Amazon, Delivery Hero, Goldman Sachs e Orion, e possiedo 13 certificazioni cloud tra cui AWS Data Engineer Associate e AWS Solutions Architect.


COSA COSTRUISCO PER TE

Ingestione da API, database, S3, strumenti SaaS e stream di eventi

Orchestrazione in Airflow, Dagster o AWS Step Functions

Transformazioni come modelli dbt con test e documentazione

Carichi incrementali, backfill e rerun sicuri da ripetere

<p Controlli sulla qualità dei dati e alert, così i fallimenti ti raggiungono e non i tuoi clienti

Infrastruttura come codice in Terraform, con CI/CD


STACK

Python, SQL, Airflow, dbt, AWS Glue, Spark, Kafka, Snowflake, Redshift, BigQuery, Terraform


COSA OTTIENI

Codice documentato nel tuo repository, un runbook e una call di consegna.


Dimmi le tue fonti, i volumi e quanto devono essere freschi i dati, e ti dirò onestamente cosa serve.

Expertise:

Big data

Flusso di dati

Convalida dati

etl

Tecnologia:

Amazon Redshift

Apache Spark

Python

SQL

Snowflake

Il mio portfolio