Costruirò uno scraper web in Python, API o pipeline di dati

Alcune informazioni sono state tradotte automaticamente.

Regno Unito

Parlo Malayalam, Inglese

Ingegnere backend

Sono un ingegnere backend che costruisce sistemi di dati in tempo reale, attualmente concentrato su Stopboard, una bacheca di partenza degli autobus in tempo reale che serve oltre 50 pendolari al gior...
Informazioni su questo servizio

Costruisco scraper Python e pipeline di dati che estraggono, puliscono e consegnano dati strutturati da siti web, API e feed di dati pubblici.

Quello che ottieni: uno script Python funzionante che estrae dal tuo target e produce CSV, JSON puliti o direttamente nel tuo database. Gestisco paginazione, limiti di velocità, autenticazione e HTML disordinato.

Utilizzo: BeautifulSoup, Scrapy, Selenium, REST API, FastAPI, PostgreSQL. Ho creato pipeline di dati in produzione che ingestano feed in tempo reale e servono dashboard live (stopboard.uk).

Ciò di cui ho bisogno da te: l'URL o gli URL da estrarre e i campi di dati di cui hai bisogno. Confermerò la fattibilità prima di iniziare.

Tecnologia:

Python

Fogli Google

Scraper istantaneo di dati

Excel

Tipo di informazioni:

Ricerca competitor

Tecnica:

Automatizzato

Il mio portfolio