Sfoglia categorie
Esplora
Fiverr Pro
Italiano
$
USD
Costruirò pipeline di big data e processerò dataset usando pyspark e sql
Ingegnere AI, Data e Web3
Sono un ML & Data Engineer con un Master in Data & Intelligence dall'Université Claude Bernard Lyon 1. Mi specializzo nel colmare il divario tra la ricerca avanzata sull'AI e software scalabili e pron...
Informazioni su questo servizio
Hai problemi con dataset enormi o tempi di elaborazione lenti?
Sono un Data Engineer specializzato in elaborazione di Big Data su larga scala, ETL e analisi. Costruisco pipeline di dati altamente ottimizzate per ingestione, pulizia e trasformazione di gigabyte di dati in modo efficiente usando PySpark e Python. Che tu abbia bisogno di aggregazioni complesse, mapping geospaziali o visualizzazioni pulite, consegno codice pronto per la produzione.
I miei servizi principali:
- Pipeline di Big Data: Workflow ETL ad alte prestazioni usando Apache Spark, PySpark e Python.
- Trasformazioni avanzate: Query Spark SQL ottimizzate, funzioni finestra complesse, UDF e join su larga scala.
- Integrazione dati: Pulizia e formattazione di dati strutturati/semi-strutturati per analisi downstream.
- Dati geospaziali: Elaborazione di dati basati sulla posizione e serie temporali.
- Visualizzazioni intuitive: Trasformare big data in visualizzazioni pratiche usando Pandas e Matplotlib.
Stack tecnologico: Python | Apache Spark | PySpark | Spark SQL | Pandas | Matplotlib
Perché scegliermi?
Scrivo codice pulito, scalabile e completamente documentato, assicurando che le tue operazioni sui dati siano precise e ottimizzate dal punto di vista computazionale.
Contattami prima di ordinare per discutere del tuo dataset!
_s7yyko.jpg)
Strumenti e piattaforme:
Altro
FAQ
Traduzione automatica.
I miei dati sono al sicuro e confidenziali?
Assolutamente sì. Per garantire la massima privacy, non ho bisogno di accedere alle tue informazioni sensibili. Puoi semplicemente fornirmi un dataset anonymizzato o di prova. Costruirò e testerò la pipeline usando quello e consegnerò il codice finale per essere eseguito in modo sicuro sui tuoi dati reali.
Il tuo codice può essere eseguito su piattaforme cloud come Databricks, AWS o GCP?
Sì. Sono specializzato nella scrittura di pipeline PySpark robuste e standard. Poiché il codice è altamente portabile, puoi facilmente eseguire gli script che consegno localmente, su Databricks o inviarli ai tuoi cluster Spark gestiti su cloud come AWS EMR o Google Cloud Dataproc.
Puoi gestire dataset di multi-gigabyte o terabyte?
Sì! È esattamente ciò per cui è stato creato Apache Spark. Scrivo pipeline di dati ottimizzate e distribuite, progettate appositamente per elaborare dataset massivi troppo grandi per i workflow standard di Pandas.
Cosa riceverò esattamente alla consegna?
Riceverai codice completamente commentato, pronto per la produzione (come script .py o Jupyter Notebook), più una documentazione chiara su come eseguire la pipeline e programmare il lavoro.
