Costruirò e ottimizzerò script pyspark, hive e sqoop

Lascia che ti aiuti a trasformare dati disordinati in pipeline veloci, strutturate e affidabili.

• Contattami prima di effettuare un ordine per discutere il tuo caso d'uso.

Offro servizi professionali di data engineering utilizzando Apache Spark (PySpark), Hive e Sqoop, specializzandomi in:

• PySpark ETL Pipelines Pulizia, trasformazione e arricchimento dei dati
• Ottimizzazione Hive Partizionamento efficiente, bucketing e tuning delle query
• Script Sqoop Importa/esporta dati tra RDBMS e Hadoop
• Ottimizzazione dei job Migliora le prestazioni e riduci i tempi di esecuzione
• Pipeline di ingestion dati personalizzate Strutturate per batch processing o scheduling
• Progettazione dello schema e conversione del formato dati Avro, Parquet, ORC

Cosa consegno:

• Script PySpark con codice modulare e pulito
• Script HiveQL con query ottimizzate
• Comandi Sqoop per un trasferimento dati efficiente
• Documentazione (su richiesta)
• Supporto per deployment e debugging

Perché scegliermi?

• Oltre 7 anni nell'ecosistema Big Data
• Esperienza a livello di produzione con Spark su grandi dataset
• Codice pulito, riutilizzabile con commenti inline
• Consegna puntuale e comunicazione chiara

Extra (Disponibili nei piani Premium):

• Supporto scheduling (Oozie)
• Test unitari e integrazione del logging
• Refactoring del codice e revisione delle performance dei job