Costruirò pipeline ETL in Python usando Airflow e dbt
Sviluppatore di AI, dati e software, app, agenti e automazione
Informazioni su questo servizio
Hai bisogno di automatizzare la raccolta, la trasformazione e il caricamento dei dati?
Costruirò pipeline ETL basate su Python per spostare i dati dalle tue API, dai database, dai fogli di calcolo e da altre fonti verso la destinazione che preferisci.
Cosa posso costruire:
- estrazione dati API
- in ingestione CSV ed Excel
- integrazioni PostgreSQL e MySQL
- trasformazione dati usando Python e SQL
- dag Apache Airflow e pianificazione
- modelli dbt e test dei dati
- caricamento dati in BigQuery e PostgreSQL
- gestione degli errori, logging e documentazione
- ambienti di sviluppo basati su Docker
Sono un data e software engineer con oltre 7 anni di esperienza nella costruzione di sistemi backend, applicazioni analitiche e flussi di dati automatizzati.
Il mio focus è su pipeline affidabili, manutenibili, testabili e facili da gestire.
Per favore mandami un messaggio prima di ordinare così confermiamo fonti dati, destinazione, volumes e requisiti di scheduling.
Il mio portfolio
FAQ
Traduzione automatica.
Riesci a collegare API a PostgreSQL o BigQuery?
Sì. Posso estrarre dati dalle API e caricarli nella destinazione preferita.
Riesci a costruire DAG di Apache Airflow?
Sì. Posso creare DAG pianificate con dipendenze tra task, gestione errori e logging.
Supporti dbt?
Sì. Posso creare trasformazioni SQL e test di qualità dei dati di base.
Riesci a sistemare una pipeline ETL esistente?
Sì. Inviami una descrizione del problema prima di ordinare.
È inclusa l'infrastruttura cloud?
I costi per infrastruttura cloud e hosting sono a parte. Posso fornire assistenza al deployment in base a uno scope personalizzato.
