Voglio costruire pipeline di web scraping, ETL e API data con validazione

Alcune informazioni sono state tradotte automaticamente.

Stati Uniti

Parlo Inglese, Tedesco

Full Stack, Backend e Data Engineer

Costruisco applicazioni web full-stack, backend SaaS e sistemi dati con Python/FastAPI, TypeScript/Node.js, React e PostgreSQL/Supabase. Il mio lavoro comprende autenticazione, pagamenti Stripe e cred...
Informazioni su questo servizio

Trasforma dati sparsi provenienti da siti web e API in una pipeline riutilizzabile dal tuo team.


Creo collezionisti Python e workflow ETL che estraggono, normalizzano e convalidano i dati per report, ricerca e operatività aziendale. Progetti clienti consegnati includono raccolta dati da marketplace e validazione dati basata su API.


Ogni pacchetto include codice sorgente riutilizzabile, un export di esempio in CSV o JSON, controlli di validazione concordati e note di setup/hand-off. Le versioni Standard aggiungono normalizzazione cross-sorgente e deduplicazione. Premium aggiunge scheduling, retry, log di esecuzione e una destinazione database o API.


I pacchetti coprono sorgenti definite, campi e un batch di validazione iniziale. Una sorgente significa un layout di sito web o un flusso API; i limiti sui campi si applicano allo schema di output combinato. Rivedo un esempio prima di concordare scope e criteri di accettazione.


Invia la sorgente, l'output desiderato e la frequenza di aggiornamento prima di ordinare. Collezioni più grandi, sorgenti aggiuntive, requisiti di accesso complessi e manutenzione continua possono essere quotati come progetto personalizzato. Hosting e tariffe di terze parti sono separati.

Destination Platform:

PostgreSQL

•

Altro

Strumenti e piattaforme:

Altro

Il mio portfolio