Costruirò pipeline di dati etl con python sql spark azure e palantir foundry
Data Engineer, Palantir Foundry, Spark, Azure e Python
Informazioni su questo servizio
Progetto, costruisco e miglioro pipeline di dati affidabili per analisi, report e casi d'uso operativi.
Posso aiutarti con:
sviluppo di pipeline ETL e ELT
trasformazioni con Python, SQL, Spark e PySpark
flussi di lavoro dati su Azure e Databricks
pipeline Palantir Foundry, modellazione dei dati e lavoro su ontologie
Ingestione di dati tramite API e file
validazione dei dati, trasformazioni e controlli di qualità
debugging delle pipeline e ottimizzazione delle prestazioni
documentazione tecnica e codice sorgente facilmente manutenibile
dataset pronti per Power BI e livelli di reporting
Prima di ordinare, condividi l'obiettivo di business, sistemi di origine e destinazione, esempio di schema o dati, volume e frequenza attesi, trasformazioni richieste, vincoli della piattaforma e aspettative di consegna. Esaminerò l'ambito e ti consiglierò il pacchetto più adatto.
L'accesso ai sistemi privati deve essere fornito tramite metodi sicuri e approvati.
Strumenti e piattaforme:
Azure data factory
•
Altro
Il mio portfolio
FAQ
Traduzione automatica.
Lavori con grandi set di dati?
Sì. Posso progettare trasformazioni Spark e PySpark per grandi dataset. Condividi la stima del volume, della frequenza, dell'ambiente e dei requisiti di performance, così posso confermare l'ambito.
Puoi automatizzare il processo ETL?
Sì. Posso automatizzare flussi di lavoro ETL o ELT programmati usando la piattaforma concordata, come Azure Data Factory, Databricks o Palantir Foundry, quando appropriato.
Questo servizio include workflow di machine learning?
Posso preparare e automatizzare il pipeline di dati intorno a un workflow di ML. Lo sviluppo del modello o MLOps devono essere valutati e definiti separatamente in base ai dati, alla piattaforma e alle esigenze di deployment.
Puoi preparare dati per Power BI o report?
Sì. Posso creare dataset validati e pronti per il reporting, oltre a layer di trasformazione per Power BI. Lo sviluppo del dashboard può essere incluso se concordato nell'ambito.

