Costruirò pipeline di data engineering per progetti di big data

Alcune informazioni sono state tradotte automaticamente.
Pavankumar D K

India

Parlo Kannada, Inglese, Hindi

Ingegnere dati senior

Sr. Data Engineer con oltre 13 anni di esperienza nella creazione di piattaforme di dati scalabili usando Azure, Databricks e Snowflake. Aiuto i team a progettare pipeline ETL/ELT resilienti, migrare ...
Continua a leggere
Informazioni su questo servizio

Crea pipeline di dati affidabili, scalabili e pronte per il cloud con un professionista di data engineering con oltre 10 anni di esperienza.

Sono specializzato nello sviluppo di pipeline ETL ed ELT end-to-end che automatizzano l'ingestione, la trasformazione, la validazione e il caricamento dei dati in ambienti cloud e on-premises.


I miei servizi includono:

  • Sviluppo di pipeline ETL/ELT
  • Elaborazione batch e incrementale dei dati
  • Integrazione API, database e file
  • Pulizia e trasformazione dei dati
    • <li Controlli di qualità e validazione dei dati
  • Integrazione di data lake e data warehouse
  • Orchestrazione delle pipeline, logging e gestione degli errori
  • Migrazione al cloud e progettazione dell'architettura


Technologie: Python, SQL, Pyspark, GraphDB (Neo4j), Databricks, Azure Data Factory, Azure Data Lake Storage, AWS Glue, Amazon S3, BigQuery e database relazionali.


Fornisco soluzioni pulite, manutenibili e ben documentate, personalizzate in base alle esigenze del tuo progetto.


Per favore contattami prima di ordinare così posso capire le tue fonti di dati, i requisiti e la complessità del progetto.

Continua a leggere
build data engineering pipelines for big data projects
Schermo intero
build data engineering pipelines for big data projects

Destination Platform:

Azure Synapse Analytics

•

MySQL

+3 in più

Strumenti e piattaforme:

Azure data factory

Tag correlati