Creerò un ragno scrapy riutilizzabile per recuperare i dati di cui hai bisogno

Se necessario, è possibile raccogliere e utilizzare quasi tutti i dati dei siti Web pubblici, ma questo processo diventa molto più difficile se i proprietari dei siti non offrono un qualche tipo di API per ottenere facilmente dati puliti.

Problemi del genere possono essere risolti utilizzando il web scraping , nel senso che scriviamo codice che ottiene i dati, li pulisce, li preelabora e magari li invia da qualche parte o semplicemente li memorizza in un file o database .

Negli ultimi anni, ho avuto l'opportunità di lavorare con molti siti Web per scopi simili, ho creato decine di spider pericolosi , ne ho corretti alcuni e li ho persino integrati completamente con i popolari backend di siti Web esistenti come Django o Flask, con la possibilità per ottenere dati in tempo quasi reale.

Se hai un problema/attività simile a portata di mano, considera di contattarmi, forse possiamo automatizzare completamente la parte di web scraping e integrarla nei tuoi sistemi backend esistenti, o scriverne uno nostro, per rendere il tuo lavoro più semplice , veloce ed efficiente .