Sfoglia categorie
Esplora
Fiverr Pro
Italiano
$
USD
Costruirò una pipeline ETL in Python per i tuoi dati
Data Engineer e sviluppatore Python
Data Engineer che costruisce pipeline automatizzate di livello produttivo, dall'ingestione all'analisi dei dati.
Realizzato: una pipeline batch di oltre 1 miliardo di righe (Airflow, S3, Snowpipe, db...
Informazioni su questo servizio
Hai script che funzionano ma vengono eseguiti manualmente o senza una pianificazione adeguata?
Ti realizzerò un orchestration di livello produttivo per il tuo flusso di lavoro dati esistente.
Cosa ottieni:
- DAG di Apache Airflow per pianificare e monitorare i tuoi script esistenti
- Gestione degli errori e logica di riprova adeguate
- Opzionale: modelli dbt per sostituire le trasformazioni SQL ad hoc con modelli testati e sotto controllo di versione
- Opzionale: test di qualità dei dati e controlli sulla freschezza delle sorgenti
Questo è lo stesso pattern di orchestrazione che ho usato per eseguire in modo affidabile un pipeline batch di oltre 1 miliardo di righe, adattato alle dimensioni del tuo codice esistente, senza dover ricostruire tutto da zero.
Condividi la struttura attuale dei tuoi script/repo nei requisiti così posso fare una stima accurata prima di iniziare.
Strumenti e piattaforme:
AWS Glue DataBrew
•
Kafka Connect
•
Altro
Il mio portfolio
FAQ
Traduzione automatica.
Devo riscrivere i miei script?
No — lavoro con quello che hai e lo inserisco in un orchestrazione, con modifiche minime alla logica esistente.
Hai bisogno dei miei script prima di ordinare?
Non è necessario, ma condividerli (o una descrizione della configurazione) mi aiuta a fare un preventivo preciso e a evitare sorprese.
Puoi migrare da cron jobs a Airflow?
Sì, questa è una richiesta comune ed è molto adatta qui.
