Progetterò e implementerò pipeline di data engineering scalabili
Data Scientist, Big Data e AI Engineer, soluzioni end to end
Informazioni su questo servizio
Perché lavorare con me?
Hai bisogno di pipeline di dati affidabili e a bassa latenza e di una piattaforma di dati pulita e interrogabile? Aiuto persone e piccoli team a trasformare flussi e file disordinati in dati pronti per la produzione che alimentano dashboard, modelli ML e report aziendali. Ho un MSc in Data Science & Intelligent Systems e un background in ingegneria. Progetto pipeline che riducono il lavoro manuale, risparmiano sui costi cloud e consegnano dati freschi e affidabili. Anche se devi progettare architetture in batch o in tempo reale, sono qui per aiutarti a realizzare le tue idee.
Nota : Se vuoi vedere il mio portfolio dettagliato, scrivimi per inviarti il link.
Servizi che offro ?
- Pipeline ETL/ELT end-to-end (batch & streaming)
- Architettura di streaming in tempo reale (Kafka, Spark Structured Streaming)
- Progettazione di data lake / Lakehouse (livelli bronze/silver/gold medallion)
- Integrazione dati: API, database, S3/GCS, message broker <li Controlli di qualità dei dati automatizzati, monitoraggio e allarmi
- Partizionamento dati, compattazione e ottimizzazione di costi/latency
Strumenti & Tecnologie ?
Python, Apache Spark, Kafka, Delta Lake, Databricks, Airflow, AWS (S3), GCP, PostgreSQL, MongoDB, Parquet/Avro, Docker, basi di CI/CD
Il mio portfolio
FAQ
Traduzione automatica.
Cosa devo fornire?
Per favore condividi i tuoi campioni di dati grezzi (CSV, JSON, accesso al database, ecc.), una descrizione dei risultati desiderati e eventuali preferenze tecnologiche. Più dettagli fornisci sui tuoi dati e obiettivi, migliore sarà la soluzione.
Quali tecnologie utilizzerai?
Di solito uso Apache Spark (PySpark), Kafka per lo streaming, Delta Lake/S3 o HDFS per lo storage, e SQL/Python per le trasformazioni. Fammi sapere se hai preferenze specifiche (ad esempio strumenti AWS, GCP o Azure).
Qual è il tempo di consegna?
La consegna dipende dalla portata del progetto. I pacchetti sopra forniscono stime temporali, ma ci accordiamo sulle scadenze esatte una volta che avrò rivisto i tuoi requisiti.
E se non sono soddisfatto?
La soddisfazione del cliente è la mia priorità. Ogni pacchetto include revisioni (come indicato). Se qualcosa non va bene, lavorerò con te per sistemarlo.
