Sarò il tuo data engineer per progetti airflow, spark e dbt

Alcune informazioni sono state tradotte automaticamente.
Rufat V

Russia

Parlo Russo, Inglese

Responsabile della piattaforma dati

Sono Head of Data Platform in Uzum, dove costruisco prodotti di dati scalabili, affidabili e facili da usare. Guido un team di data engineer e lavoro in prima persona su stack completi, inclusi data l...
Continua a leggere
Informazioni su questo servizio

Costruisco e sistemo pipeline di dati con Airflow, dbt e Spark.


Guido la data platform in un grande marketplace di e-commerce: oltre 1000 DAG Airflow, 600 TB di dati, 130+ utenti dati. Lavoro nel data engineering dal 2019.


Carà utile per te:

  • Riparo DAG Airflow che falliscono o sono lenti, lavori Spark e modelli dbt che non girano
  • Costruisco pipeline ETL/ELT da database, API e file verso il tuo data warehouse
  • Configuro Airflow, dbt e Spark in Docker o Kubernetes
  • Progetto tabelle in ClickHouse, PostgreSQL, Trino e Iceberg
  • Trasmetto cambiamenti del database con Debezium e Kafka
  • Aggiungo test di qualità dei dati e alert

Come lavoro:

  1. Descrivi il compito e concordiamo scope e scadenze prima di ordinare.
  2. Lavoro nel tuo repository o consegno codice che deployi tu.
  3. Ottieni codice funzionante, breve documentazione e una call di handover.

Mandami un messaggio prima di ordinare così controllo che il task è compatibile con il pacchetto.

Continua a leggere
be your data engineer for airflow, spark and dbt projects
Schermo intero
be your data engineer for airflow, spark and dbt projects

Lingua:

Inglese

Esperienza tecnica:

dbt (Data Build Tool)

•

Apache Airflow

+3 in più

Expertise:

Pipeline dati

•

Configurazione Data Lake

+2 in più

Settore:

Analisi dei dati

•

Servizi finanziari

•

Alimenti e bevande

+2 in più

Tag correlati