Costruirò pipeline automatizzate di dati con python, sql e dbt

Alcune informazioni sono state tradotte automaticamente.

Nigeria

Parlo Inglese

Ingegnere dati e cloud

Sono un data engineer che costruisce pipeline dati automatizzate che funzionano da sole, in locale o in cloud. Lavoro con Python, SQL, PostgreSQL, Apache Airflow e Docker, ecc. e ho già implementato u...
Informazioni su questo servizio

Hai bisogno che i tuoi dati siano raccolti, puliti e tenuti aggiornati automaticamente? Costruisco pipeline che funzionano da sole, così hai sempre dati freschi e affidabili.


COSA COSTRUISCO

- Estrazione da API e file con Python

- Caricamento in PostgreSQL

- Pulizia e modellazione con dbt, con test di qualità dei dati

- Automazione quotidiana con GitHub Actions, nessun server necessario

- Una dashboard live in Streamlit che puoi aprire con un link e anche verso qualsiasi destinazione finale a tua scelta


DIMOSTRA CHE FUNZIONA

Ho creato e gestito Nigeria Data Jobs Tracker: prende annunci di lavoro ogni giorno, li pulisce con dbt e aggiorna automaticamente una dashboard pubblica.

Demo live: nigeria-job-market-tracker-c2dqzraz9ouopa9qo4cgnt.streamlit.app


COME LAVORO

- Dimmi quale è la tua fonte dati e cosa vuoi vedere

- Costruisco la pipeline e consegno il codice

- Test vengono eseguiti ad ogni aggiornamento, così i dati cattivi vengono intercettati prima che arrivino alla tua dashboard


Strumenti: Python, SQL, PostgreSQL, dbt, GitHub Actions, Streamlit, Docker.


Scrivimi prima di ordinare con una breve descrizione dei tuoi dati e ti suggerirò il pacchetto giusto.


Expertise:

Automazioni

•

Estrazione dati

•

Flusso di dati

Tecnologia:

Apache Kafka

•

Apache Spark

•

BigQuery

•

Python

•

Databricks

Il mio portfolio