Sfoglia categorie
Esplora
Fiverr Pro
Italiano
$
USD
Costruirò pipeline di dati AWS, ETL usando glue, pyspark, s3 e redshift
Senior AWS Data Engineer che crea piattaforme di dati scalabili e pronte per l'AI
Sono un Senior AWS Data Engineer con oltre 8 anni di esperienza nella creazione di piattaforme dati affidabili e pronte per la produzione. Aiuto i team a progettare, verificare e ottimizzare pipeline ...
Informazioni su questo servizio
Costruirò pipeline di dati AWS affidabili per analisi, report, dashboard e casi d'uso di data warehouse.
Questo servizio è adatto se hai dati provenienti da file, database, API, applicazioni, S3 o database esistenti e vuoi processarli usando servizi AWS come Amazon S3, AWS Glue, EMR/PySpark, Redshift, Athena, Lambda, DMS, Airflow/MWAA o strumenti correlati.
Posso aiutarti con:
- Progettazione e implementazione di pipeline ETL/ELT AWS
- Ingestione di dati da file, API, database o storage cloud
- Struttura del data lake su S3
- Workflow Glue, EMR, PySpark, Redshift e Athena
- Pulizia, trasformazione e caricamento dei dati <li Controlli di qualità e convalide dei dati
- Logging, punti di audit e monitoraggio di base
- Correzioni e miglioramenti alle pipeline
- Raccomandazioni su costi, performance e scalabilità
- Documentazione e note di consegna
Usi comuni:
- Costruire una nuova pipeline di dati AWS
- Migrare da On-Prem a AWS
- Spostare dati su S3 o Redshift
- Preparare dati per BI/report
- Migliorare un processo ETL esistente
- Creare dataset pronti per analisi
- Revisionare qualità, costi o scalabilità della pipeline
Contattami prima di ordinare così possiamo confermare la tua fonte di dati, configurazione AWS, output atteso, requisiti di accesso e il pacchetto più adatto.
Destination Platform:
Amazon Redshift
•
PostgreSQL
•
Amazon S3
•
Altro
Strumenti e piattaforme:
AWS Glue DataBrew
•
Altro
Il mio portfolio
Altri servizi della categoria Data engineer offerti da me
FAQ
Traduzione automatica.
Con quali servizi AWS lavori?
Lavoro con Amazon S3, AWS Glue, EMR/PySpark, Redshift, Athena, Lambda, DMS, Airflow/MWAA, IAM, CloudWatch e servizi di dati AWS correlati.
Puoi costruire una pipeline ETL AWS completa?
Sì. Posso costruire pipeline ETL/ELT AWS per file, API, database o storage cloud e preparare i dati per analisi, report, Athena, Redshift o dashboard.
Devo fornire accesso AWS?
Per il lavoro di implementazione, potrebbe essere necessario un accesso limitato ad AWS. Se preferisci, possiamo prima rivedere requisiti, screenshot, dati di esempio o architettura prima di condividere l'accesso.
Puoi migliorare una pipeline AWS esistente?
Sì. Posso revisionare, correggere, migliorare o ottimizzare pipeline AWS esistenti, inclusa la logica ETL, i job Spark, la struttura S3, l'uso di Redshift/Athena, controlli di qualità e problemi di performance.
Puoi migrare dati da database o fonti on-premise a AWS?
Sì. Posso aiutarti a migrare dati da database on-premise, file o altre fonti a AWS usando servizi come S3, AWS Glue, DMS, EMR/PySpark, Redshift e Athena, a seconda della fonte, volume e caso d'uso.
Fornisci controlli di qualità dei dati?
Sì. I pacchetti Standard e Premium possono includere controlli di qualità di base, regole di validazione, controlli di duplicati, verifiche di schema e punti di logging.
Puoi lavorare con set di dati di grandi dimensioni?
Sì. Posso progettare pipeline scalabili usando S3, Glue, EMR/PySpark, partizionamento, Parquet, Athena e Redshift, a seconda del volume di dati e delle esigenze di elaborazione. Ho esperienza con petabyte e terabyte di dati.
Fornirai la documentazione?
Sì. La consegna include documentazione o note di handover basate sul pacchetto scelto, inclusi flusso della pipeline, passaggi di configurazione, assunzioni e istruzioni d'uso.
Devo inviare un messaggio prima di effettuare un ordine?
Sì, contattami prima di ordinare così possiamo confermare la tua fonte di dati, configurazione AWS, output atteso, requisiti di accesso, tempistiche e il miglior pacchetto.
