Mi occuperò di progetti ETL, Data Pipeline e Data Engineering
Senior Data Engineer specializzato in Cloud ETL e Architettura
Informazioni su questo servizio
Hai bisogno di una pipeline ETL affidabile per automatizzare il tuo flusso di lavoro sui dati?
Costruirò una pipeline ETL/ELT pulita e scalabile usando Python, SQL, Apache Spark/PySpark e Airflow.
Posso aiutarti con:
- Estrazione di dati da API, file CSV/Excel e database
- Pulizia, trasformazione, convalida e deduplicazione dei dati
- Pipeline ETL/ELT usando Python e SQL
- Elaborazione PySpark/Spark per grandi dataset
- Airflow DAG e orchestrazione dei workflow
- Caricamento dei dati in PostgreSQL, SQL Server, Snowflake, Databricks o altre piattaforme di dati
- Carichi incrementali, pianificazione e ottimizzazione della pipeline
- Debug e miglioramento delle pipeline esistenti
Riceverai codice pulito, facile da mantenere, documentazione adeguata e una soluzione su misura per le tue esigenze.
Hai già una pipeline che non funziona? Posso aiutarti a risolvere i problemi e ottimizzarla anche.
Strumenti e piattaforme:
Azure data factory
Il mio portfolio
Altri servizi della categoria Data engineer offerti da me
FAQ
Traduzione automatica.
Con quali tipi di origini dati puoi lavorare?
Posso lavorare con database SQL, file CSV/Excel, API REST, storage cloud, dati JSON e molte altre fonti di dati strutturati.
Puoi costruire workflow Apache Airflow?
Sì. Posso creare DAG di Airflow con pianificazione, dipendenze, retry, logging e monitoraggio.
Supporti Apache Spark?
Sì. Costruisco pipeline Spark per elaborazioni di grandi volumi di dati, trasformazioni e workload ETL.
Puoi automatizzare job ricorrenti sui dati?
Assolutamente. Posso creare pipeline programmate che estraggono, trasformano, convalidano e caricano i dati automaticamente.
Puoi distribuire la pipeline?
Sì. L'assistenza al deployment usando Docker o piattaforme cloud può essere inclusa come Gig Extra o nel pacchetto Premium.

