Eliminerò qualsiasi sito web che mi fornirai ed elaborerò i dati Excel

Sono un ingegnere del software di professione, con oltre 8 anni di esperienza nello sviluppo di app web e da più di 4 anni scrivo crawler per lo scraping di siti web. Ho realizzato tutti i crawler (scraper) in PHP. Ho usato HTML DOM semplice, PHP Dom Document, parser DOM, xpath, ecc. per analizzare e ottenere dati HTML. L'elaborazione dei dati include output in formato json, xml, fogli Excel. Ho anche utilizzato librerie PHP come curl con intestazioni e parametri per ottenere i contenuti delle pagine. Utilizzo alcune tecniche di ottimizzazione per ridurre le chiamate a siti di terze parti e rendere più veloce la funzionalità.

Scrivere scraper si basa sulla struttura dei siti web da esplorare. La struttura varia da sito a sito. Esaminerò la struttura del sito.

Per massimizzare l'estrazione dei dati, applicherò XPATH, espressioni regolari e tecniche DOM per recuperare dati precisi e il massimo possibile. Lo script PHP verrà eseguito automaticamente sul sito. Questo script sarà ottimizzato in termini di tempo e throughput.