Costruirò uno scraper web affidabile con playwright e nodejs o typescript

La maggior parte degli scraper funziona il primo giorno e muore alla prima modifica del layout del sito. Io costruisco quelli che continuano a funzionare.

Lavoro con Playwright e Node o TypeScript, quindi login, scroll infinito, popup e tutte le stranezze javascript sono gestiti. I dati vengono estratti puliti in JSON, CSV, Google Sheets o direttamente in un database. Per lavori ricorrenti aggiungo scheduling, retries e rilevamento delle modifiche, così sai cosa è nuovo, cosa è cambiato e cosa è scomparso dall'ultima esecuzione, invece di ricevere un dump grezzo ogni volta e confrontarlo manualmente.

Faccio questa tipologia di pipeline per i miei progetti in produzione, non è qualcosa che sto ancora capendo a tue spese.

Una cosa prima che tu mi scriva. Ritaglio solo dati accessibili pubblicamente e mantengo un ritmo di richieste cortese. Niente bypass di paywall, niente scraping dietro login di qualcun altro.

Dimmi il sito, i campi di cui hai bisogno e con quale frequenza, e ti dirò subito se è fattibile e a quanto.