Creo data pipeline in pyspark e databricks
Analista Programmatore
Informazioni su questo servizio
Cerchi data pipeline robuste ad alte prestazioni pronte per scalare?
Mi specializzo nella progettazione, ottimizzazione e automazione di pipeline ETL/ELT end-to-end usando PySpark, Databricks e architetture moderne di cloud data. Che tu abbia bisogno di ingestire file grezzi disordinati, trasformare set di dati complessi o migrare dati strutturati, fornisco soluzioni affidabili e pronte per la produzione.
Servizi offerti:
1. Progettazione personalizzata di pipeline ETL/ELT e automazione dei workflow
2. Elaborazione dati su larga scala e trasformazione con PySpark e Databricks
3. Ottimizzazione di query SQL, convalida dati e deduplicazione
4. Integrazione con lo storage cloud (Azure Data Lake, Synapse, Databricks Lakehouse)
5. Integrazione API, testing e workflow di ingestion automatizzati
6. Migrazione dati end-to-end e supporto governance
Stack tecnologico:
Databricks, Apache Spark / PySpark, Azure Synapse, ADLS, Python, SQL, REST APIs / Postman.
Perché lavorare con me?
Esperienza pratica in data engineering aziendale e data stewardship
Codice pulito, modulare e ben documentato
Consegna puntuale con una comunicazione chiara
Per favore inviami un messaggio con i requisiti del progetto e un campione di dati prima di dare l’ordine, così scegliamo il miglior scope!
