Costruirò una pipeline di ingestion API Python in PostgreSQL

Alcune informazioni sono state tradotte automaticamente.

Brasile

Parlo Inglese

Data Engineer e sviluppatore Python

Sono un Data Engineer specializzato in pipeline di ingestion automatizzate, integrazioni API e ottimizzazione di PostgreSQL. Aiuto le aziende a eliminare fogli di calcolo fragili e sincronizzazioni d...
Informazioni su questo servizio
Ferma di perdere ore ogni giorno a esportazioni CSV manuali dai ERP o a sistemare dashboard che si inceppano quando le API rate limitano o timeoutano. Farò partire un robusto data ingestion engine in Python per fino a 3 endpoint REST API, fornendo caricamenti incrementali puliti e privi di duplicati direttamente in PostgreSQL o Parquet. Cosa è incluso in ogni consegna: - pipeline di ingestione in Python con gestione del rate limit, auto-paginazione e retry esponenziali - caricamenti incrementali privi di duplicati in PostgreSQL o Parquet - tabella di audit dell’esecuzione (pipeline_runs_audit) per tracciare ogni run della pipeline - deploy containerizzato con Docker Compose e scheduling automatico - runbook operativo passo-passo e documentazione di setup Come lavoriamo: 1. diagnostica tech rapida per rivedere i tuoi endpoint API e lo schema di destinazione 2. ambito definito e timeline di consegna chiara 3. deploy Docker Compose testato con log di audit dal vivo Architettura comprovata basata su pattern di ingegneria di produzione (comex-data-engine-v2). Scrivimi con la tua documentazione API o la fonte ERP prima di ordinare, così ci allineiamo sugli endpoint e sullo schema.

Destination Platform:

Snowflake

•

Databricks Lakehouse

•

PostgreSQL

Strumenti e piattaforme:

Altro

Il mio portfolio

Altri servizi della categoria Data engineer offerti da me