Sfoglia categorie
Esplora
Fiverr Pro
Italiano
$
USD
Costruirò pipeline ETL in Python, integrazioni API e automazione dei dati
SaaS scalabili e app web, Senior MERN, Rails e DevOps Engineer
Sono un Senior Software Engineer con 7 anni di esperienza. Specializzato in DevOps, infrastruttura Linux e distribuzione di applicazioni self-hosted. Costruisco SaaS scalabili e strumenti AI.
Configu...
Informazioni su questo servizio
Hai problemi con le integrazioni API che falliscono, i job ETL che saltano record o dashboard che mostrano dati incompleti? costruisco e riparo pipeline ETL/ELT affidabili in Python che spostano i dati da REST API, database, CSV/Excel e storage su cloud in set di dati puliti e utilizzabili.
Cosa posso offrire:
- integrazione API, pagination, OAuth e gestione del rate limit
- ETL/ELT automatizzato con Python, SQL, Pandas o Polars
- sincronizzazione incrementale, checkpoint, deduplicazione e upsert sicuri
- validazione dei dati, controlli di qualità e riconciliazione dati
- riempimento di dati storici, retry e recupero di job falliti
- scheduling e code di attività con cron, Celery/RabbitMQ o Airflow
- log strutturati, avvisi di errore e dashboard di monitoraggio dei pipeline
- integrazione con PostgreSQL, MySQL, MongoDB, BigQuery o Snowflake
- deployment con Docker, test Pytest e documentazione chiara
- Ideale per SaaS, e-commerce, IoT, finanza e pipeline di reporting.
Mi concentro su workflow recuperabili e osservabili, non su script una tantum. Il backfill dipende dalla storia dell'API sorgente e dai limiti di accesso.
Scrivimi il tipo di sorgente, destinazione e l’attuale problema prima di ordinare.
Strumenti e piattaforme:
Kafka Connect
•
Altro
Il mio portfolio
FAQ
Traduzione automatica.
Riesci a sistemare una pipeline ETL esistente?
Sì. Posso rivedere gli script ETL in Python esistenti, investigare richieste API fallite, individuare errori di elaborazione dati, migliorare le operazioni sul database e implementare meccanismi di retry e recupero adeguati.
Riesci a recuperare dati storici mancanti?
Sì, purché la sorgente API o il database renda disponibili i record storici. Posso implementare workflow automatizzati di backfill che identificano periodi mancanti, recuperano i record disponibili e aggiornano in sicurezza il tuo database.
Fornisci retry automatici e recupero degli errori?
Sì. A seconda dei tuoi requisiti, posso implementare logica di retry, backoff esponenziale, tracciamento persistente dei job, code di recupero e esecuzione dei task con Celery e RabbitMQ.
Quali database supportate?
Posso lavorare con database come PostgreSQL, MongoDB e MySQL. Le integrazioni con i data warehouse cloud, tra cui BigQuery e Snowflake, possono essere discusse in base ai requisiti del progetto.
Posso monitorare le mie pipeline di dati?
Sì. Posso implementare log di esecuzione, tracciamento dello stato dei job, avvisi di errore, report di salute giornalieri e interfacce di monitoraggio personalizzate usando tecnologie backend Python.
Puoi garantire che non perderai mai dati?
Nessun sistema può garantire la disponibilità dei dati forniti da fornitori esterni. Tuttavia, posso implementare tracciamento di esecuzione affidabile, validazione, retry, riconciliazione e meccanismi di recupero per ridurre le perdite di dati evitabili e rilevare lacune non risolte.
