Costruirò pipeline di dati scalabili e data warehousing su GCP BigQuery
Ingegnere dati certificato Google Cloud e specialista in Datawarehouse
Informazioni su questo servizio
Vuoi sfruttare la potenza di Google Cloud Platform per trasformare, archiviare e analizzare i tuoi dati in modo efficiente? Mi specializzo nella progettazione e costruzione di pipeline di dati robuste e soluzioni di data warehousing su GCP.
Servizi che offro:
1) Progettazione e sviluppo di pipeline di dati end-to-end
2) Integrazione con varie fonti di dati (API, on-prem, cloud storage, ecc.)
3) Ingestione dei dati usando Pub/Sub, Cloud Storage o Cloud Functions
4) Implementazione di ETL/ELT usando Dataflow o Cloud Composer (Apache Airflow)
5) Data warehousing con BigQuery
6) Workflow programmati e basati su eventi
7) Configurazione di monitoraggio e logging per le pipeline
8) Stored Procedure e Views in BigQuery
9) Data Build Tool (DBT)
10) Integrazione con Youtube, Salesforce, Google Sheets e altre API tramite Cloud Run
Altri servizi della categoria Data engineer offerti da me
FAQ
Traduzione automatica.
Quali strumenti o servizi su GCP usi per costruire pipeline di dati?
Di solito uso BigQuery, Cloud Storage, Pub/Sub, Cloud Dataflow, Cloud Functions. In base al tuo caso d'uso, ti consiglierò la combinazione più conveniente e scalabile.
Puoi integrare dati da API di terze parti o fonti on-premise?
Sì! Posso collegare pipeline GCP a REST API, file flat, database SQL/NoSQL, o anche fonti on-premise usando connettori sicuri e servizi di trasferimento dati.
Supporti pipeline di dati in tempo reale o streaming?
Assolutamente sì. Posso creare pipeline di streaming usando Pub/Sub e Dataflow per elaborazioni a bassa latenza e in tempo reale, inclusi aggregazioni a finestra, filtraggio e arricchimento.
Che tipo di trasformazioni puoi implementare?
Da semplici trasformazioni di dati basate su SQL in BigQuery a trasformazioni complesse event-driven e stream in Dataflow/Apache Beam, supporto un'ampia gamma di task ETL/ELT.
Puoi ottimizzare il mio pipeline o data warehouse GCP esistente?
Sì. Offro ottimizzazione delle prestazioni, riduzione dei costi di storage e revisione dell'uso di GCP per ridurre latenza e spese.
