Costruirò pipeline Databricks con PySpark
Ingegnere dei dati
Informazioni su questo servizio
Cerchi un data engineer Databricks esperto per costruire una pipeline dati affidabile e scalabile? Sono un Databricks Certified Data Engineer con oltre 5 anni di esperienza nello sviluppo di pipeline ETL su larga scala usando PySpark, Spark SQL e Delta Lake per clienti globali nei settori finanza e sanità.
Cosa fornisco:
- Pipeline ETL/ELT batch in PySpark e Spark SQL
- Architettura Medallion (Bronze Silver Gold) su Delta Lake
- Ingestione dati da CSV, JSON, Parquet e database
- MERGE/upsert, SCD e gestione dell’evoluzione dello schema
- Databricks Workflows pianificati (lavori) <li Controlli di qualità dei dati e validazione
- Codice Spark ottimizzato per le prestazioni
- Diagramma architetturale e note di progettazione della pipeline
- Codice pulito e ben documentato
Perché lavorare con me:
- Codice di livello produzione basato su casi reali
- Esperienza nell’elaborare miliardi di record
- Comunicazione chiara e consegna puntuale
Se hai più di 3 fonti o richieste personalizzate, ti invierò un’offerta su misura.
FAQ
Traduzione automatica.
Quale piattaforma cloud supporti?
Mi specializzo in Azure Databricks, inclusi stoccaggio ADLS Gen2 e Azure Data Factory.
E se ho più di 3 fonti dati?
Scrivimi prima di ordinare con i tuoi requisiti e ti invierò un’offerta personalizzata.
Cosa riceverò alla fine?
Notebook PySpark/Spark SQL, un Databricks Workflow pianificato, un diagramma architetturale e documentazione su come eseguire e mantenere la pipeline.
Puoi lavorare con il mio formato di dati esistente?
Sì. Posso ingestire CSV, JSON, Parquet, Delta e tabelle di database. Invia un campione prima di ordinare se il tuo formato è insolito.

