costruirò pipeline ETL pyspark per dati batch e streaming su AWS
Ingegnere dati per PySpark, AWS e QuickSight
Informazioni su questo servizio
Expertise:
Big data
•
Manipolazione dati
•
etl
•
Trasformazione
•
SQL
•
NoSQL
Tecnologia:
Apache Hadoop
•
Apache Spark
•
Excel
•
Python
•
SQL
•
NoSQL
FAQ
Traduzione automatica.
Su quali piattaforme lavori?
Principalmente Amazon EMR e Amazon S3, con PySpark, Apache Hive e Apache Hudi. Se usi una piattaforma diversa, scrivimi prima di procedere con l’ordine così posso confermare che va bene.
Riesci a sistemare un lavoro PySpark che è lento o che va in errore?
Sì. Inviami l’errore o i dettagli della Spark UI insieme al codice, e ti dirò cosa c'è che non va e cosa serve per risolverlo prima che ordini.
Di cosa hai bisogno da me per iniziare?
La tua fonte dati e la destinazione, un campione dei dati o dello schema, e la trasformazione di cui hai bisogno. Per lavoro nel tuo account AWS, basta un ruolo IAM limitato con accesso al cluster EMR rilevante o al bucket S3.
