Sfoglia categorie
Esplora
Fiverr Pro
Italiano
$
USD
Costruirò pipeline ETL automatiche in Python da REST API verso BigQuery
Ingegnere dati Python per pipeline ETL in BigQuery e integrazioni API
Creo pipeline di dati automatizzati che sostituiscono esportazioni manuali e report su fogli. Sono un data engineer Python con oltre 3 anni di esperienza in produzione, spostando dati da API, database...
Informazioni su questo servizio
Hai dati bloccati in API, database e fogli di calcolo che qualcuno esporta a mano ogni settimana? Io sostituisco tutto con una pipeline Python automatizzata che carica i dati in BigQuery in modo affidabile.
Sono un data engineer Python con oltre 3 anni di esperienza. Nel mio ruolo attuale costruisco ed eseguo pipeline di produzione che estraggono dati da API di diverse piattaforme verso un data warehouse BigQuery.
Cosa costruisco
- ETL Python da REST API, PostgreSQL/MySQL, CSV/Excel o Google Sheets in BigQuery
- Caricamenti incrementali con merge basati su chiavi per evitare righe duplicate al riavvio
- Ri-tentativi, gestione del rate limit, logging e validazione dei dati
- Programmato con Cloud Scheduler e Cloud Run, o cron sul tuo server, impacchettato in Docker
- Tabelle di reporting SQL pulite per Looker Studio o qualsiasi strumento BI
Come funziona
- Condividi documentazione API o dati di esempio e concedi accesso tramite il tuo account di servizio
- Confermo campi, pianifico e confeziono prima di iniziare
- Ricevi il codice, una guida di setup e una pipeline funzionante nel tuo progetto
Non incluso: licenze di connettori a pagamento, accesso API che non hai o monitoraggio in corso (vedi extra).
Scrivimi con la tua sorgente e la destinazione e ti consiglio il pacchetto giusto.
Destination Platform:
Google BigQuery
•
PostgreSQL
•
MySQL
Strumenti e piattaforme:
Altro
FAQ
Traduzione automatica.
Cosa ti serve da me per iniziare?
Documenti API o file di esempio, i campi di cui hai bisogno e il tuo progetto BigQuery. Concedi l'accesso tramite un service account o OAuth nel tuo account con le autorizzazioni minime necessarie. Non inviarmi mai la password del tuo account principale.
Puoi lavorare con database diversi da BigQuery?
Sì. Carico anche dati su PostgreSQL e MySQL, e ho automatizzato migrazioni Oracle PL/SQL verso PostgreSQL con Python.
La pipeline continuerà a funzionare dopo la consegna?
I pipeline Standard e Premium sono programmati, sicuri da ri-eseguire e loggano ogni esecuzione; Premium invia anche avvisi di fallimento. Se l'API di origine cambia in seguito, gli aggiornamenti sono disponibili tramite l'extra supporto di 30 giorni o un'offerta personalizzata.
Quali fonti di dati puoi collegare?
Qualsiasi API REST o GraphQL con documentazione e credenziali, PostgreSQL, MySQL, CSV/Excel, Google Sheets e Cloud Storage. Se la tua origine non ha un'API ufficiale, scrivimi prima e ti confermerò se è fattibile.
Ho bisogno di un mio account Google Cloud?
Sì. Il pipeline viene eseguito nel tuo progetto GCP, quindi possiedi codice, dati e fatturazione. Ti guiderò attraverso qualsiasi configurazione necessaria.
Quanto mi costerà BigQuery?
Dipende dal volume dei dati, dallo storage, dalle query e dalla frequenza di refresh. Suddivido in partizioni e clustering le tabelle e progetto le query per tenere i costi sotto controllo. La fatturazione resta nel tuo account Google Cloud.
Con quale frequenza possono essere aggiornati i dati?
Oraria, daily o su una pianificazione personalizzata, limitata dal rate limit della tua API di origine. Lo streaming in tempo reale richiede un preventivo personalizzato.
Quanti dati storici puoi caricare?
Quanti ne permette l'API di origine. Premium comprende un backfill di 12 mesi, e l'extra Historical backfill aggiunge fino a 24 mesi in più.
