Costruirò e ottimizzerò pipeline ETL di dati su AWS o Azure usando pyspark

Alcune informazioni sono state tradotte automaticamente.

India

Parlo Inglese, Russo, Francese, Tedesco

Data Engineer AWS e Azure per PySpark, ETL e Data Pipelines

Data Engineer con quasi 5 anni di esperienza nella creazione di pipeline di produzione su AWS e Azure, attualmente in una fintech regolamentata SEBI. AWS Certified Data Engineer - Associate. Costruis...
Informazioni su questo servizio

Hai bisogno di pipeline di dati affidabili senza assumere un ingegnere a tempo pieno?


Sono un Data Engineer con quasi 5 anni di esperienza su AWS e Azure, attualmente in una fintech regolamentata. AWS Certified Data Engineer - Associate.


Ciò che posso fare per te:

  • Costruire pipeline ETL/ELT con PySpark, Python e SQL
  • - AWS: Glue, Lambda, S3, Redshift, Athena
  • - Azure: Data Factory, Synapse, Databricks, più Snowflake
  • - Migrare dati da sistemi legacy o file in un magazzino cloud
  • - Accelerare query e pipeline lente (ho conseguito miglioramenti del 30-40%)
  • - Aggiungere controlli sulla qualità dei dati in modo che dati cattivi non arrivino mai ai tuoi report
  • - Orchestrare con Airflow o ADF

Come lavoriamo: condividi l'accesso o un esempio di dati, ti mando un piano breve, lo costruisco e consegno codice funzionante più documentazione.


Per favore, scrivimi prima di ordinare così posso confermare l'ambito.

Destination Platform:

Snowflake

•

Amazon Redshift

Strumenti e piattaforme:

Azure data factory

•

Altro