Costruirò crawler e scraper web scalabili

Sono un Big Data Engineer di Amazon con oltre 5 anni di esperienza in raccolta, modellazione e trasformazione dei dati.

Se vuoi fare crawling e scraping di alcuni siti web, sei a un semplice ping dal realizzarlo.

Web Crawling | Web Scraping | Estrazione dati | Data Mining | Raccolta dati | Data Scraping

I miei servizi (tra cui ma non solo):

1. Web crawling - navigare tra le pagine web, pagine con paginazione/scroll o caricamento di contenuti aggiuntivi.
2. Web scraping - estrarre contenuti dalle pagine web, estrazione di immagini, URL e revisitarli.
3. Estrazione dati dagli endpoint API.
4. Raccogliere dati in diversi formati (Excel, CSV, XML, JSON, MySql, Parquet, ORC, ecc.).
5. Crawling e scraping di qualsiasi sito web, inclusi siti di e-commerce (Shopify, WooCommerce, ecc.), Directory aziendali, ecc.
6. Scaricare immagini dal sito web.