Costruirò data pipeline usando databricks, pyspark, azure e sql
Ingegnere dati senior
Informazioni su questo servizio
Costruirò, ottimizzerò o risolverò problemi di data pipeline usando Databricks, PySpark, Azure Data Factory, Azure Data Lake, Delta Lake e SQL.
Con oltre 5 anni di esperienza nell'ingegneria dei dati a livello aziendale, posso aiutarti a trasformare dati grezzi in pipeline affidabili, scalabili e facili da mantenere.
I miei servizi includono:
Sviluppo di pipeline ETL/ELT
Sviluppo di Databricks & PySpark
Orchestrazione con Azure Data Factory
Ingestione e trasformazione dei dati
Sviluppo e ottimizzazione di SQL
Soluzioni Delta Lake
Elaborazione batch e incrementale
<p Controlli sulla qualità dei dati e validazioniRisolvere problemi e ottimizzare le pipeline
Migrazione dei dati a Databricks
Test unitari e documentazione tecnica
Se hai bisogno di una nuova pipeline, vuoi sistemare un flusso di lavoro esistente o aiutarti a modernizzare una piattaforma dati, posso lavorare con la tua architettura e le tue esigenze.
Mi concentro su un'implementazione pulita, elaborazioni Spark scalabili, flussi di dati affidabili e documentazione chiara.
Contattami prima di effettuare un ordine con i tuoi requisiti, dettagli di sorgente/destinazione e risultati attesi, così posso confermare l'ambito e consigliare il pacchetto più adatto.
Strumenti e piattaforme:
Azure data factory
•
Altro
FAQ
Traduzione automatica.
1. Con quali tecnologie lavori?
Databricks, PySpark, Azure Data Factory, Azure Data Lake, Delta Lake, SQL e i servizi Azure correlati.
2. Puoi costruire una pipeline ETL completa?
Sì. A seconda del pacchetto, posso gestire ingestione, trasformazione, orchestrazione, controlli sulla qualità dei dati, testing e documentazione.
3. Puoi sistemare una pipeline Databricks o PySpark esistente?
Sì. Posso risolvere errori, revisionare il codice esistente, identificare colli di bottiglia e implementare miglioramenti.
4. Puoi migrare pipeline esistenti a Databricks?
Sì. Posso aiutarti a migrare e modernizzare i workload di dati esistenti usando Databricks, PySpark e Delta Lake.
5. Di quali informazioni hai bisogno per iniziare?
Fornisci i tuoi requisiti, sistemi di origine e destinazione, dati/schema di esempio dove applicabile, codice o pipeline esistenti e risultato atteso.
6. Puoi gestire requisiti personalizzati?
Sì. Se il tuo requisito non rientra nei pacchetti elencati, contattami prima così possiamo definire l'ambito e creare un'offerta personalizzata.
