Costruisco scraper che funzionano anche dopo la prima settimana.
Chiunque può scrivere un ciclo requests che funziona una volta.La parte che richiede tempo è tutto ciò che viene dopo: il sito cambia markup, il login scade, una richiesta torna 200 con un captcha nel corpo, la paginazione si ferma silenziosamente alla pagina 40.
Cosa faccio al riguardo:
- Valido la risposta, non solo lo status code. Un 200 con una lista vuota è un fallimento, non un successo.
- Salvo le risposte grezze prima di parsarle, così quando qualcosa sembra sbagliato puoi rifare il parsing senza rifare lo scraping.
- Backoff e retry sugli errori che lo meritano, e fallisco in modo chiaro su quelli che non lo fanno.
- Errori strutturati, così sai se si è rotto o il sito è giù.
Ho eseguito uno scraping di 100 prodotti in circa 10 secondi da una singola pagina, e ho scritto batch processor che gestiscono una dozzina di file contemporaneamente senza perdere gli originali.
Inviami l'URL e quali campi ti servono. Se il sito è protetto da login, dimmelo e troveremo l'accesso prima di proporti un preventivo.