Scriverò uno script/spider/crawler per il web scraping utilizzando Python. Devi solo cliccare sullo script e il resto sarà fatto dallo script stesso.
Librerie che utilizzo per scrivere la sceneggiatura:
- Raschiato
- ZuppaBellissima
- Richieste
- Lxml
- I panda
- Selenio
- Espressione regolare
- file csv
- JSON-IT
Caratteristiche:
- Multithread (processo di esecuzione di più thread contemporaneamente)
- Scrivi i dati in qualsiasi database (csv, json, xml, mongoDB, google Sheets)
- Esegui lo scraping di pagine JS pesanti utilizzando Selenium (headless)
- Rotazione proxy
- Scraping di pagine AJAX tramite POST
Riceverai un codice/script ben commentato con gestione avanzata degli errori.