Progetterò e costruirò il tuo data pipeline, workflow ETL o integrazione dei dati

Se i tuoi dati sono sparsi in cinque sistemi diversi e i tuoi analisti passano più tempo a pulirli che ad analizzarli, è il problema che risolvo io. Costruisco pipeline di livello produzione che spostano, trasformano e caricano i tuoi dati in modo affidabile, rispettando le scadenze, con gestione degli errori e monitoraggio integrati.

Questo include pipeline ETL/ELT (batch o in tempo reale), integrazioni API che prelevano dati da fonti REST o GraphQL nel tuo data warehouse, migrazioni e repliche da database a database, e layer di trasformazione dbt sopra qualsiasi warehouse tu stia usando.

Stack: Python, Apache Airflow, dbt, Spark, Kafka, Snowflake, BigQuery, Redshift, PostgreSQL, MySQL, AWS Glue/Lambda, GCP Pub/Sub e Azure Data Factory, scelti in base a quello che si adatta al tuo setup.

Otterrai codice pipeline completamente documentato (repo GitHub o ZIP), pianificazione impostata sulla tua frequenza, avvisi di errore e log, un README che copre setup e manutenzione, e supporto per la messa in produzione.

Prima di ordinare, è utile sapere il sistema(i) di origine, dove devono arrivare i dati e più o meno quanti dati ci sono e con quale frequenza vengono aggiornati.