Costruirò pipeline ETL geospaziale

Alcune informazioni sono state tradotte automaticamente.

Pakistan

Parlo Inglese

Ingegnere di dati e ML

Sono un ingegnere di Data e ML con oltre 5 anni di esperienza nella creazione di pipeline ETL per diverse fonti di dati, tra cui dati geospaziali, finanziari e sanitari. Mi specializzo in elaborazione...
Informazioni su questo servizio

Hai a che fare con dati geospaziali che richiedono troppo tempo per essere elaborati o che crashano il tuo computer?

Costruisco pipeline di dati geospaziali pulite e affidabili senza ore di debug di raster tiles, errori di memoria e problemi di formato.

Ciò che porto:

  • Oltre 3 anni di esperienza nella creazione di pipeline di produzione che elaborano decine di milioni di record
  • Elaborazione ottimizzata di raster tile con letture a finestra, workflow a blocchi, conversioni di formato che non crashano alle 3 di notte
  • Esperienza con dataset EO (Copernicus, Sentinel) e dati socioeconomici (US Census, World Bank, Eurostat)
  • Deploy in produzione su AWS e Snowflake

Con cosa posso lavorare:

  • Qualsiasi formato GeoTIFF, Shapefile, GeoJSON, CSV, Parquet, feed API
  • Qualsiasi database di destinazione, S3, file flat, dashboard

Ciò che otterrai:

  • Codice Python pulito e documentato
  • Dati validati e trasformati pronti per l'analisi
  • Workflow ottimizzati che non consumeranno tutta la RAM
  • Consegna chiara con istruzioni

Nota: Nessuno streaming in tempo reale o app mobili.

Non sei sicuro di quale pacchetto sia adatto? Scrivimi prima!

Expertise:

Integrazione API

Big data

Convalida dati

etl

Tecnologia:

Amazon Redshift

Apache Spark

Python

SQL

Snowflake