Costruirò uno scraper web in python per estrarre dati puliti

Estrazione dati da siti web che non vogliono condividerli.

Elenco prodotti, directory di aziende, bacheche di lavoro, immobili, prezzi, recensioni, dati di contatto. Se è su una pagina pubblica, posso inserirlo in un foglio di calcolo pulito.

Ciò che rende questo diverso da uno scraper di base:

La maggior parte degli scraper si interrompe quando un sito carica contenuti con JavaScript, paginizza in modo strano o cambia layout. Uso Selenium per pagine renderizzate dinamicamente e includo gestione degli errori in modo che una pagina malfunzionante non interrompa tutto. Nel mio lavoro quotidiano ho creato gli scraper dietro circa il 30% del database delle attrezzature della mia azienda, quindi si tratta di lavoro di produzione, non di uno script tutorial.

Ciò che ottieni:

- Dati puliti e deduplicati in CSV, Excel o JSON

- Esattamente i campi richiesti, senza colonne di riempimento

- Lo script Python stesso in Premium, così puoi eseguirlo di nuovo tu stesso

Contattami prima di ordinare con l'URL del sito e i campi di cui hai bisogno. Ti dirò onestamente se è possibile estrarli e quale pacchetto fa al caso tuo. Se non ne vale la pena, te lo dirò.