Costruirò, riparerò o ottimizzerò la tua pipeline di dati ETL in Python
Senior Data Engineer e AI Product Engineer
Informazioni su questo servizio
Hai bisogno di un pipeline dati costruito, riparato o migliorato?
Sono un Senior Data Engineer con esperienza nella consegna di sistemi di dati in produzione nel settore bancario, edilizio e startup, inclusi lavori di trasformazione dati sull'integrazione UBSCredit Suisse.
Posso aiutarti a:
Costruire pipeline ETL/ELT da API, database o file
Debuggare e migliorare pipeline Python, SQL o PySpark esistenti
Integrare API con database, data lake o warehouse
Costruire workflow con Databricks, Azure Data Factory o Airflow
Aggiungere validazioni, controlli di qualità dei dati e test
Migliorare l'elaborazione dati lenta o costosa
Documentare il pipeline per facilitarne la manutenzione
Lavoro con Python, SQL, Databricks, PySpark, Delta Lake, Azure Data Factory, Airflow, PostgreSQL, SQL Server e piattaforme Azure.
Ogni progetto è diverso, quindi per qualsiasi cosa oltre a una piccola riparazione, contattami prima di ordinare. Ti aiuterò a definire l'ambito e a consigliare la soluzione più semplice.
Il mio portfolio
FAQ
Traduzione automatica.
Cosa ti serve da me prima di iniziare?
Una descrizione del problema, le tue fonti di dati attuali e la destinazione, e eventuali codici, schemi o documentazione API rilevanti. Per progetti più grandi, contattami prima di ordinare così possiamo concordare l'ambito.
Puoi riparare un pipeline esistente invece di crearne uno nuovo?
Sì. Posso risolvere problemi di pipeline Python, SQL, PySpark, Databricks, Azure Data Factory e altri ETL, identificare la causa di un problema e implementare una soluzione.
Con quali fonti di dati puoi lavorare?
Lavoro con API REST, database SQL, PostgreSQL, SQL Server, file come CSV/JSON/Parquet, data lake e altre fonti comuni. Contattami se hai un sistema meno comune.
Puoi ottimizzare un pipeline lento o costoso?
Sì. Posso revisionare l'architettura e il codice, identificare i colli di bottiglia e migliorare aree come trasformazioni, Spark, layout dei dati, parallelismo e calcolo inutile.
Puoi lavorare con Databricks e Azure?
Sì. Databricks e Azure Data Engineering sono aree chiave della mia esperienza professionale, inclusi PySpark, Delta Lake, Azure Data Factory, ADLS e piattaforme basate su SQL.
Devo contattarti prima di ordinare?
Per il pacchetto Basic, un compito piccolo e ben definito può essere ordinato direttamente. Per Standard, Premium o qualsiasi progetto con ambito incerto, contattami prima.
