Costruirò una pipeline API Solidgate → BigQuery con backfill storico

Alcune informazioni sono state tradotte automaticamente.

Ucraina

Parlo Ucraino, Inglese

Ingegnere dei dati cloud, BigQuery, Snowflake, dbt, Python, ETL

Senior Data Engineer specializzato in piattaforme di dati scalabili su cloud e pipeline ETL/ELT pronte per la produzione. Aiuto le aziende a creare soluzioni di dati affidabili usando AWS, BigQuery, ...
Informazioni su questo servizio
Il tuo data di pagamento, fatturazione o e-commerce vive in un API, e ogni report parte da un export CSV? Costruisco pipeline in produzione che caricano dati da API REST (Soligate, Stripe, Shopify, gateway di pagamento, CRM, API personalizzate) in Google BigQuery, incluso l backfill storico completo. Progetto recente: una piattaforma di ingestione serverless per l’API di un fornitore di pagamenti. 6 endpoint, oltre 12 mesi di storia backfilled, JSON grezzo conservato nel cloud storage, implementata con CI/CD. Cosa ottieni: caricamenti incrementali senza duplicati, ri-esecuzioni sicure; backfill storico con paginazione e gestione del rate limit; strato raw intatto, così le tabelle possono essere ricreate in qualsiasi momento; tabelle pulite e tipizzate pronte per Looker Studio o Power BI; monitoraggio e avvisi di errore; codice nel tuo repo + documentazione di setup. stack: Python, BigQuery, Cloud Run/Functions o AWS Lambda, Airflow, dbt. Oltre 15 anni di data engineering e integrazioni ERP. Scrivimi con la tua API sorgente e cosa vuoi riportare. Ti risponderò con un preventivo fisso.

Destination Platform:

Snowflake

•

Google BigQuery

•

PostgreSQL

•

MySQL

Strumenti e piattaforme:

Airbyte

•

AWS Glue DataBrew

Il mio portfolio

Altri servizi della categoria Data engineer offerti da me