Costruirò una pipeline ETL personalizzata usando Python e Apache Airflow

Alcune informazioni sono state tradotte automaticamente.

Pakistan

Parlo Inglese

Data Engineer, pipeline ETL, esperto di Spark e Cloud Data Warehouse

Data Engineer | oltre 4 anni di esperienza nella creazione di pipeline ETL, data warehouse e sistemi di streaming in tempo reale. Esperto in Python, Apache Airflow, Apache Spark, dbt, Snowflake, BigQu...
Informazioni su questo servizio

Hai problemi con trasferimenti di dati manuali, script rotti o pipeline di dati poco affidabili? Ti costruirò una pipeline ETL pronta per la produzione che estrae, trasforma e carica i tuoi dati automaticamente, risparmiandoti ore di lavoro manuale ogni settimana.


Cosa consegno:

- Pipeline ETL personalizzata creata in Python con codice pulito e documentato

- DAG di Apache Airflow per pianificazione e monitoraggio automatici

- Supporto per tutte le principali fonti di dati: database (PostgreSQL, MySQL), API, CSV/Excel, S3, Google Sheets

- Logica di trasformazione e pulizia dei dati su misura per le tue regole di business

- Gestione degli errori, logica di retry e alert via email/Slack in caso di fallimenti

- Deployment sulla tua infrastruttura cloud (AWS, GCP, Azure) o server locale

- Documentazione completa affinché il tuo team possa mantenerla in autonomia


Technologie che uso: Python, Apache Airflow, Apache Spark, Pandas, SQLAlchemy, AWS Glue, AWS Lambda, S3, PostgreSQL, MySQL, BigQuery, Snowflake.


Per chi è pensato:

- Startup che creano la loro prima pipeline di dati automatizzata

- Aziende che migrano da workflow manuali Excel/CSV a ETL automatizzati

- Team che sostituiscono una pipeline di dati legacy rotta o lenta

- Aziende che necessitano di una pipeline di ingestione dati per Snowflake o BigQuery


Destination Platform:

Snowflake

Amazon Redshift

Strumenti e piattaforme:

Airbyte

AWS Glue DataBrew

Kafka Connect

Il mio portfolio

Altri servizi della categoria Data engineer offerti da me