Realizzerò una creazione professionale di ETL di data engineering
Data Engineering AWS GCP PYTHON
Informazioni su questo servizio
Sviluppatore ETL basato su cloud (AWS + GCP) | Data Pipelines | Automazione | Big Data
Stai cercando un sviluppatore ETL affidabile in cloud per costruire, automatizzare o ottimizzare i tuoi data pipeline su AWS o Google Cloud?
Aiuto le aziende a progettare flussi di lavoro ETL scalabili, ottimizzati per i costi e pronti per la produzione utilizzando strumenti cloud-native moderni.
Cosa posso fare per te
Costruire pipeline ETL/ELT end-to-end (batch o streaming)
Migrare lavori ETL on-premise su AWS / GCP
Integrare API, database, data lake, strumenti SaaS
Trasformare e pulire i dati usando Python, SQL, dbt, Pandas
Orchestrare i workflow usando Airflow / Cloud Composer / Step Functions
Sviluppare pipeline streaming usando Pub/Sub / Kinesis
Creare ETL serverless usando Lambda / Cloud Functions
Costruire soluzioni Data Lakehouse usando BigQuery / Redshift / Athena
CI/CD per ETL (GitHub Actions, Cloud Build, CodePipeline)
Stack Cloud con cui lavoro
AWS
- AWS Glue, Lambda, Step Functions
- S3, Redshift, Athena, EMR
- API Gateway, EventBridge
- DynamoDB, RDS, Aurora
GCP
- Cloud Composer (Airflow)
- Cloud Functions, Cloud Run
- Cloud Storage
- Pub/Sub
Cosa riceverai
- Pipeline ETL pronta per la produzione
Tecnologia:
Apache Spark
•
Python
•
SQL
•
Snowflake
•
NoSQL
•
Apache Airflow
