Creerò pipeline di dati scalabili, flussi di lavoro ETL e soluzioni di dati cloud
Informazioni su questo servizio
Hai difficoltà a gestire dati grezzi disordinati o a semplificare i tuoi flussi di dati? Sono qui per aiutarti!
Come Data Engineer esperto, mi specializzo nella progettazione e nello sviluppo di pipeline di dati end-to-end che sono scalabili, pronte per il cloud e ottimizzate per le prestazioni. Ho una profonda comprensione di come trasformare dataset complessi in insight utili per il business.
Ciò che offro:
Creazione di pipeline ETL/ELT (Batch & Streaming)
Deployment su cloud: AWS Glue, Lambda, Azure Data Factory, Databricks, GCP Dataflow
Elaborazione in tempo reale usando Kafka, Pub/Sub o Event Hubs
Integrazione API e supporto allo storage cloud
Validazione, pulizia e assicurazione della qualità dei dati
Automazione di ingestione, trasformazione e caricamento dei dati
Integrazione con PostgreSQL, NoSQL, Snowflake, Databricks
Stack tecnologico:
Python, SQL, Spark, PySpark, Apache Kafka, AWS, Azure, GCP, Databricks, PostgreSQL, NoSQL, Hadoop, Snowflake e altri.
Strumenti e piattaforme:
Azure data factory
•
Altro
