Sfoglia categorie
Esplora
Fiverr Pro
Italiano
$
USD
Costruirò pipeline ETL per l'ingegneria dei dati usando Apache Airflow
Junior Data Scientist, ML Engineer, Python, Pipelines ETL
Sono un Data Scientist e Data Engineer, recentemente laureato all'AIUB (CGPA: 3.98/4.00), con una pubblicazione in conferenza IEEE sottoposta a peer review e doppie certificazioni DataCamp, Certified ...
Informazioni su questo servizio
I tuoi dati sono in API o file senza un modo automatizzato per raccoglierli e archiviarli? Costruisco pipeline ETL pronte per la produzione e workflow di data engineering usando Apache Airflow 3, Python e SQL che estraggono, trasformano e caricano i tuoi dati secondo un programma, completamente automatizzati, senza lavoro manuale.
Cosa consegno:
- Pipeline automatizzata con task indipendenti di estrazione, trasformazione e caricamento
- Apache Airflow 3 con TaskFlow API e pianificazione giornaliera
- Stack Docker multi-container per un deployment pulito e riproducibile
- Database PostgreSQL o MySQL con record strutturati e interrogabili
- Codice sorgente completo consegnato tramite GitHub
Perché scegliere me? Ho una pubblicazione peer-reviewed in una conferenza IEEE, doppie certificazioni DataCamp (Certified Data Scientist e Certified Associate Data Scientist) e uno stage di ricerca presso un laboratorio di AI nel Regno Unito. La mia pipeline ETL funziona in produzione in tempo reale, accumulando oltre 365 record strutturati all'anno senza intervento manuale.
Collaboro con: API REST e fonti di dati basate su file, caricando i dati in database SQL come PostgreSQL o MySQL.
Nota: Ti prego di scrivermi prima di ordinare per discutere la tua fonte di dati e le tue esigenze.
Destination Platform:
PostgreSQL
•
MySQL
Strumenti e piattaforme:
Altro
Il mio portfolio
FAQ
Traduzione automatica.
A quali fonti di dati puoi collegarti?
Attualmente API REST. Se hai una fonte diversa come file CSV o un database, inviami un messaggio prima e possiamo discutere della fattibilità.
Ti occupi di data engineering completa o solo di script ETL di base?
Data engineering completa: architettura delle pipeline, orchestrazione con Apache Airflow, containerizzazione con Docker e codice pronto per la produzione, non uno script isolato.
Devo già avere Apache Airflow installato?
No. Configurerò l'ambiente della pipeline per te, inclusa la configurazione Docker se necessario.
La pipeline funzionerà automaticamente senza che faccia nulla?
Sì. I pacchetti Standard e Premium includono automazione completamente pianificata con Apache Airflow che funziona secondo il tuo programma senza trigger manuali.
Riceverò il codice sorgente?
Sì, tutti i pacchetti includono il codice sorgente Python completo e i file DAG.
È possibile lavorare con il mio database esistente?
Sì, purché tu possa fornire in modo sicuro le credenziali di connessione. Ti consiglio di discuterne prima di ordinare.
Il pipeline controlla dati cattivi o non validi?
Sì. I dati in ingresso vengono validati prima di essere caricati, verificando tipi, campi obbligatori e valori chiaramente invalidi, così un record malformato viene rilevato invece di finire silenziosamente nel tuo database.
Cosa succede se un passaggio nella pipeline fallisce?
Ogni task riprova automaticamente un paio di volte prima di fallire, e puoi ricevere una notifica via email se un'esecuzione fallisce definitivamente, così i problemi vengono individuati subito invece di scoprirli giorni dopo.
