Realizzerò ingegneria dei dati e big data
Ingegnere dei dati
Informazioni su questo servizio
Costruirò una pipeline ETL/ELT personalizzata usando Python e SQL per estrarre, trasformare, validare e caricare i tuoi dati in database o data warehouse cloud come BigQuery. La pipeline includerà controlli di qualità dei dati di base, test unitari e documentazione chiara.
Strumenti e piattaforme:
Google Cloud Dataflow
FAQ
Traduzione automatica.
Di quali informazioni hai bisogno per avviare il progetto?
Ho bisogno di accesso alla fonte dei dati o a un dataset di esempio, alla destinazione desiderata e a una breve descrizione delle trasformazioni o requisiti aziendali attesi. Per favore, non condividere credenziali sensibili direttamente nella chat di Fiverr.
Quali fonti e destinazioni di dati supporti?
Posso lavorare con database e servizi cloud come PostgreSQL, MySQL, BigQuery e Google Cloud Storage. Posso anche lavorare con file strutturati come CSV e JSON.
Fornisci pipeline ETL e ELT?
Sì. Posso progettare flussi di lavoro ETL o ELT a seconda dell'architettura dei tuoi dati, dei requisiti e della piattaforma di destinazione.
La pipeline include controlli di qualità dei dati?
Sì. Il pacchetto Basic include validazioni di base come controlli di valori nulli, rilevamento di duplicati, validazione del tipo di dato e validazioni di schema o valori di base.
La pipeline includerà test e documentazione?
Sì. La pipeline include test unitari di base e documentazione che spiega configurazione, dipendenze, impostazioni e processo di esecuzione.
Puoi collegare la pipeline al mio database o ambiente cloud esistente?
Sì, purché siano disponibili le informazioni di accesso e connessione necessarie. L'implementazione esatta dipende dalla fonte, dalla destinazione e dai requisiti del progetto.
