Creo data pipeline in pyspark e databricks

Alcune informazioni sono state tradotte automaticamente.

India

Parlo Inglese, Hindi

Analista Programmatore

Sono neolaureato in Informatica con solida base in Cloud Technologies, Data Stewardship e gestione di database. Sono esperto di Python, servizi Azure e sicurezza di rete, con passione per costruire ar...
Informazioni su questo servizio

Cerchi data pipeline robuste ad alte prestazioni pronte per scalare?


Mi specializzo nella progettazione, ottimizzazione e automazione di pipeline ETL/ELT end-to-end usando PySpark, Databricks e architetture moderne di cloud data. Che tu abbia bisogno di ingestire file grezzi disordinati, trasformare set di dati complessi o migrare dati strutturati, fornisco soluzioni affidabili e pronte per la produzione.


Servizi offerti:


1. Progettazione personalizzata di pipeline ETL/ELT e automazione dei workflow

2. Elaborazione dati su larga scala e trasformazione con PySpark e Databricks

3. Ottimizzazione di query SQL, convalida dati e deduplicazione

4. Integrazione con lo storage cloud (Azure Data Lake, Synapse, Databricks Lakehouse)

5. Integrazione API, testing e workflow di ingestion automatizzati

6. Migrazione dati end-to-end e supporto governance


Stack tecnologico:

Databricks, Apache Spark / PySpark, Azure Synapse, ADLS, Python, SQL, REST APIs / Postman.


Perché lavorare con me?


Esperienza pratica in data engineering aziendale e data stewardship

Codice pulito, modulare e ben documentato

Consegna puntuale con una comunicazione chiara


Per favore inviami un messaggio con i requisiti del progetto e un campione di dati prima di dare l’ordine, così scegliamo il miglior scope!

Lingua:

Inglese

•

Hindi

Esperienza tecnica:

Informatica

•

Apache Spark

•

Databricks

Expertise:

Pipeline dati

•

Sviluppo ETL

•

Data warehousing

Settore:

Biotecnologie

•

Sicurezza informatica

•

Analisi dei dati