Costruirò pipeline ETL robuste e flussi di lavoro dati in python e sql
Ingegnere dei dati
Informazioni su questo servizio
Le attività manuali di gestione dei dati rallentano il tuo business o hai bisogno di una pipeline affidabile per spostare e trasformare i dati tra database, API e cloud storage?
Costruisco pipeline ETL/ELT di livello produttivo, script personalizzati per web scraping/ingestion e flussi di lavoro di database progettati per affidabilità, velocità e facilità di manutenzione.
Servizi principali offerti:
Pipeline ETL/ELT personalizzate: estrazione, trasformazione e caricamento automatizzati tra API, database, file flat (CSV/JSON/Parquet) e cloud storage.
Integrazione dati e ingestion API: collegamento di API di terze parti (REST/GraphQL), webhook e strumenti SaaS a data warehouse centralizzati o database relazionali.
Design di database e ottimizzazione SQL: modellazione dello schema, indicizzazione delle tabelle, ottimizzazione delle query e migrazioni automatizzate (PostgreSQL, MySQL, SQLite, Snowflake, BigQuery).
Automazione e orchestrazione dei workflow: pianificazione e monitoraggio dei flussi di lavoro usando script Python, cron o DAG di Apache Airflow.
Pulizia e pre-elaborazione dei dati: gestione di valori mancanti, applicazione di schema, deduplicazione e formattazione strutturata con Pandas/NumPy.
Estrazione dati e web scraping: estrazione di dati puliti e strutturati
