Sfoglia categorie
Esplora
Fiverr Pro
Italiano
$
USD
Svilupperò flussi di lavoro di dati basati su cloud con gcp bigquery airflow e dataflow
Lavoro su un progetto Google Cloud per MINT Automation, dove uno script Python raccoglie dati da un'API di applicazione e li memorizza come CSV in Google Cloud Storage, attivato tramite Cloud Composer...
Informazioni su questo servizio
Progetterò e costruirò flussi di lavoro di dati basati su cloud usando Google Cloud Platform (GCP), BigQuery, Airflow e Dataflow.
Con oltre 4 anni di esperienza come GCP Data Engineer, mi specializzo in:
Costruzione di pipeline ETL/ELT per l'ingestione e la trasformazione dei dati
Sviluppo di data warehouse in BigQuery con partizionamento e clustering
Automazione dei flussi di lavoro con Apache Airflow / Cloud Composer
Implementazione di controlli sulla qualità dei dati e script di validazione usando Python e SQL
Migrazione dei dati da fonti come Salesforce, Oracle, Hive, MySQL in BigQuery
Che tu abbia bisogno di una semplice pipeline ETL o di una soluzione completa di data engineering end-to-end, posso consegnare flussi di lavoro scalabili, ottimizzati e affidabili, personalizzati sulle esigenze della tua azienda.
Il mio portfolio
FAQ
Traduzione automatica.
D1: Di quali informazioni ho bisogno per iniziare?
Avrò bisogno di accesso alla tua fonte di dati (database, API o file), dettagli sulla destinazione (ad esempio, dataset BigQuery) e qualsiasi logica di trasformazione o business specifica che desideri applicare.
Q2: Puoi lavorare con più fonti di dati?
Sì, posso integrare dati da varie fonti come Salesforce, Oracle, Hive, MySQL, API e Google Cloud Storage in BigQuery o altri target.
Q3: Imposti anche la pianificazione e l'automazione?
Sì, utilizzo Apache Airflow / Cloud Composer per pianificare e automatizzare i flussi di lavoro in modo che i tuoi pipeline funzionino in modo affidabile senza intervento manuale.
Q4: Puoi convalidare e garantire la qualità dei dati?
Assolutamente sì. Includo controlli sulla qualità dei dati come la validazione del conteggio delle righe, la coerenza dello schema e test personalizzati in Python/SQL per assicurare un'ingestione accurata dei dati.
Q5: Cosa succede se ho bisogno di modifiche future o supporto dopo la consegna?
Offro revisioni come parte di ogni servizio, e sono anche disponibile per supporto a lungo termine tramite progetti continuativi su Fiverr o offerte personalizzate.
