Sfoglia categorie
Esplora
Fiverr Pro
Italiano
$
USD
Sarò il tuo data engineer GCP per Python BigQuery e ETL
Ingegnere dati senior
Costruisco pipeline di dati affidabili, integrazioni API, automazioni cloud e soluzioni di analytics usando Python, SQL, GCP e AWS. La mia esperienza include BigQuery, Dataflow, Apache Beam, Airflow, ...
Informazioni su questo servizio
Costruisco pipeline di dati affidabili su GCP usando Python, BigQuery e Dataflow.
Se hai bisogno di spostare dati da API, CSV, JSON o altre fonti su Google Cloud, posso aiutarti a progettare e costruire un workflow ETL pulito, facile da mantenere e scalare.
Posso aiutarti con:
- Pipeline ETL basate su Python
- Caricamento e trasformazioni di dati in BigQuery
- GCP Dataflow e Apache Beam
- Ingestione dati tramite REST API
- Elaborazione di CSV e JSON <li Controlli sulla qualità dei dati
- Gestione degli errori e logging
- Orchestrazione di base con Airflow o Cloud Composer
- Tabelle e viste in BigQuery
- Risoluzione problemi e miglioramenti delle pipeline
Il mio obiettivo è creare soluzioni pratiche, facili da mantenere, con una struttura chiara, validazioni corrette e documentazione.
Ho esperienza professionale con Python, SQL, BigQuery, Dataflow, Apache Beam, Airflow e piattaforme di dati cloud.
Contattami prima di ordinare se il tuo progetto include più fonti di dati, API complesse, pipeline streaming o requisiti personalizzati di GCP, così posso confermare prima l'ambito.
Destination Platform:
Google BigQuery
•
Google Cloud Storage
Strumenti e piattaforme:
Google Cloud Dataflow
•
Altro
Il mio portfolio
FAQ
Traduzione automatica.
Quali tipi di fonti di dati supporti?
Posso lavorare con REST API, CSV, JSON, Google Cloud Storage, database e altre fonti di dati strutturati a seconda delle tue esigenze.
Puoi caricare dati in BigQuery?
Sì. Posso creare pipeline che caricano e trasformano i dati in tabelle e viste di BigQuery.
Supporti Python e Dataflow?
Sì. Posso creare workflow ETL in Python e pipeline Apache Beam/Dataflow per l'elaborazione scalabile dei dati.
Puoi automatizzare la pipeline?
Sì. Posso aggiungere pianificazione e orchestrazione usando Airflow o Cloud Composer dove necessario.
Come posso assicurarmi che la migrazione dei dati sia riuscita?
Utilizzo convalide, controlli sulla qualità dei dati, revisione dello schema, logging e test per garantire che i dati siano trasferiti in modo preciso e affidabile.
Di cosa hai bisogno da me prima di iniziare?
Fornisci i dettagli della fonte dei dati, dati di esempio o documentazione API, destinazione finale, trasformazioni richieste e eventuali accessi GCP necessari per il progetto.
Fornisci controlli di qualità dei dati?
Sì. Posso includere convalide, controlli null, controlli duplicati, verifiche dello schema e altre regole di qualità in base al progetto.
Puoi lavorare con fonti di dati basate su API?
Sì. Posso integrare REST API, gestire autenticazioni, paginazioni, retry e processare le risposte API prima di caricare i dati.
