Costruirò pipeline e piattaforme di dati su gcp, AWS e azure

Sono un data engineer con oltre 10 anni di esperienza specializzato in Apache Airflow, Apache Spark, BigQuery e Snowflake. Ho competenze nella creazione di pipeline ETL usando Python e posso lavorare con API, database e file flat come fonti di dati. Ho distribuito pipeline su principali piattaforme cloud come AWS, Google Cloud e Azure. Ho anche lavorato su pipeline CDC usando Kafka e Spark Streaming/Meltano.

Con solide capacità analitiche e un background in data analytics e machine learning, ho lavorato in vari settori tra cui sviluppo software per contact center, cybersecurity, fintech e ride-hail.

Posso aiutarti con architettura di piattaforme dati, creazione di piattaforme dati, costruzione di data mart su larga scala usando Spark e Hive, orchestrazione di pipeline con Airflow/Dagster/Mage e distribuzione di piattaforme dati su AWS e GCP. Inoltre, ho esperienza con strumenti di version control e CICD come GitHub, GitLab e Jenkins. Integrazione di Slack/Twillio/Google Chat per il monitoraggio.

Configura Stitch, Talend, Ascend, Fivetran per piattaforme gestite e crea connettori personalizzati.

Collaboriamo per risolvere le tue esigenze di data engineering.

Per favore, non mettere un ordine senza averne discusso prima.