Ti aiuterò a creare notebook pyspark e ottimizzare i job

Alcune informazioni sono state tradotte automaticamente.

India

Parlo Inglese

4 ordini completati

Databricks, Catalogo Unity, ADF, DLT

Strumenti con cui lavoro - Databricks, Unity Catalog, DLT, Azure, SQL Cose con cui aiuto: - Progettare e costruire pipeline ETL usando Azure Data Factory e Databricks - Ottimizzare job Spark e PySpar...
Informazioni su questo servizio

Il tuo job PySpark impiega ore? La tua query SQL scade?

Troverò esattamente cosa lo rallenta e lo sistemerò.

Ho ottimizzato job PySpark che elaborano miliardi di record in ambienti di produzione. So esattamente dove guardare.


Ciò che sistemerò:

  • Transformazioni e azioni PySpark lente
  • Disallineamento delle partizioni e problemi di memoria
  • Query SQL inefficienti su grandi dataset
  • Ottimizzazione della configurazione di Spark
  • Ottimizzazione di DataFrame e strategia di caching


Condividi il tuo codice. Analizzo, sistemo e spiego esattamente cosa c'era di sbagliato e perché.

Scrivimi prima con il tuo problema. Ti dirò onestamente se posso aiutarti.

Lingua:

Inglese

Esperienza tecnica:

Apache Spark

•

Databricks

•

Altro

Expertise:

Pipeline dati

•

Sviluppo ETL

•

Data warehousing

•

Altro

Settore:

Analisi dei dati

Tag correlati