Costruirò pipeline ETL, workflow pyspark e dashboard looker usando airflow, sql

Costruisco su AWS (Glue, Lambda, S3, Redshift, EMR), Azure (Data Factory, Databricks, Synapse Analytics) e GCP (Cloud Composer, BigQuery, Dataflow). Consiglio la piattaforma migliore in base alla tua infrastruttura esistente, alle competenze del team e al budget — e fornisco questa raccomandazione gratuitamente prima di iniziare.

Apache Airflow è uno strumento di orchestrazione dei workflow che pianifica, monitora e riprova automaticamente le tue pipeline di dati. Se hai bisogno di elaborare dati secondo un programma regolare (ogni ora, ogni giorno, evento-driven), Airflow è essenziale. Progetto DAG di Airflow pronti per la produzione con logica di riprova, alert e

ETL (Extract-Transform-Load) processa e pulisce i dati prima di caricarli nel data warehouse — meglio per sistemi legacy e governance rigorosa dei dati. ELT (Extract-Load-Transform) carica i dati grezzi prima e li trasforma all’interno del warehouse usando strumenti come dbt — meglio per stack cloud moderni come S

Sì. Mi specializzo nella migrazione da SQL Server, Oracle, MySQL e file flat verso warehouse cloud come Snowflake, BigQuery e Redshift. Questo include progettazione dello schema, mappatura dei tipi di dato, test di validazione, configurazione di caricamenti incrementali e backfill di dati storici — tutto documentato.

Ogni consegna include documentazione tecnica completa: diagramma dell'architettura della pipeline, descrizione dei DAG, spiegazione della logica di trasformazione, dizionario dei dati, guida all’installazione e runbook per il tuo team. Il mio obiettivo è che qualsiasi data engineer del tuo team possa capire e estendere le pipeline in modo indipendente.