Immagina di avere una data pipeline che estrae dati da molteplici fonti, li pulisce e li trasforma, e fornisce dati affidabili pronti all’analisi. È qui che posso aiutarti! Con esperienza pratica in data engineering presso Airtel Digital e Grant Thornton Bharat, posso aiutarti a costruire pipeline di dati efficienti, ottimizzare l’elaborazione dei dati e automatizzare flussi di lavoro su misura per le tue esigenze di business.
Le mie competenze:
- Forte competenza in Python, SQL, PySpark e Spark SQL
- Esperienza con Apache Spark, Databricks e Delta Lake
- Esperienza pratica con Apache Kafka e streaming di dati in tempo reale
- Esperienza nella creazione di pipeline ETL, caricamenti incrementali dei dati e framework di deduplicazione dei dati
- Conoscenza di Google Cloud Platform, Google Cloud Storage e BigQuery
- Esperienza con ottimizzazione delle prestazioni di Spark e ottimizzazione delle query SQL
- Comprensione di data warehousing, modellazione dei dati e qualità dei dati
- Forti capacità di problem solving e analisi
Cosa faccio:
- Data Engineering: costruire e ottimizzare pipeline ETL usando Python, SQL e PySpark.
- Data Cleaning & Transformation: pulire, validare e trasformare i dati grezzi in dataset strutturati pronti per l’analisi.
- Pipeline Automation: automatizzare l’elaborazione dati ripetitiva