Costruirò pipeline di dati AWS e ETL con Python, Airflow e dbt
Lead Data e AI Engineer, AWS Pipelines, app RAG e LLM
Informazioni su questo servizio
Le pipeline di dati sono facili da costruire e difficili da mantenere attive. Costruisco quelle che sopravvivono ai cambiamenti di schema, ai file in ritardo e ai lunedì mattina.
Sono un Lead Data e AI Engineer con oltre 9 anni di esperienza. Ho costruito piattaforme di dati per Amazon, Delivery Hero, Goldman Sachs e Orion, e possiedo 13 certificazioni cloud tra cui AWS Data Engineer Associate e AWS Solutions Architect.
COSA COSTRUISCO PER TE
Ingestione da API, database, S3, strumenti SaaS e stream di eventi
Orchestrazione in Airflow, Dagster o AWS Step Functions
Transformazioni come modelli dbt con test e documentazione
Carichi incrementali, backfill e rerun sicuri da ripetere
<p Controlli sulla qualità dei dati e alert, così i fallimenti ti raggiungono e non i tuoi clientiInfrastruttura come codice in Terraform, con CI/CD
STACK
Python, SQL, Airflow, dbt, AWS Glue, Spark, Kafka, Snowflake, Redshift, BigQuery, Terraform
COSA OTTIENI
Codice documentato nel tuo repository, un runbook e una call di consegna.
Dimmi le tue fonti, i volumi e quanto devono essere freschi i dati, e ti dirò onestamente cosa serve.

