Costruirò una pipeline di dati in python con test e pianificazione

I tuoi dati arrivano in file, API ed esportazioni che non sono compatibili tra loro, e qualcuno li mette insieme manualmente ogni mese.

Io invece costruisco una pipeline: un lavoro ripetibile che prende le tue fonti, le normalizza in uno schema unico e produce l'output di cui hai realmente bisogno - secondo una pianificazione, senza che nessuno debba badarci continuamente.

Come lavoro:

Ogni riga della fonte viene presa in considerazione. Le righe che non riescono a essere mappate vengono SEGNALATE, mai eliminate silenziosamente. Ricevi una riconciliazione che mostra i conteggi prima e dopo.

Gestisco prima i casi di errore: tentativi di nuovo in caso di errori transitori, e un avviso quando una fonte non è disponibile invece di un report vuoto silenzioso.

Le credenziali sono conservate in segreti ambientali che controlli tu, mai nel codice.

Includo test, così se un fornitore cambia formato viene rilevato subito invece di scoprirlo tre settimane dopo.

Costruisco queste pipeline con CI, controllo dei tipi, deployment automatizzato e esecuzione programmata come standard. La tua consegna include il codice specifico del progetto, i test e la documentazione, fino alla portata del tuo pacchetto.

Scrivimi con le tue fonti e come deve essere l'output, e ti dirò onestamente se questa soluzione fa per te prima che tu ordini.