Costruirò enterprise data lakehouse, databricks, data engineering e pipeline etl

Alcune informazioni sono state tradotte automaticamente.

India

Parlo Inglese

1 ordine completato

FD Ingegnere AI, Python, MLOps, LLM, Neo4j, Grafana, Logstsh, AWS Bedrock, REST

Sono un Senior AI Engineer e Data Scientist specializzato in Python, AI/ML, Data Engineering e automazione intelligente, aiutando le aziende a trasformare dati complessi in soluzioni scalabili e pront...
Informazioni su questo servizio

Descrizione del progetto:


Ho progettato e sviluppato un Data Lakehouse di livello enterprise usando Databricks per centralizzare, processare, trasformare e gestire dati provenienti da più fonti. Ho costruito pipeline ETL/ELT scalabili usando PySpark e SQL, implementato flussi di lavoro di ingestion e trasformazione dei dati, e organizzato i dati in livelli strutturati per analisi e reportistica.


Stack tecnologico:


  • Databricks & Apache Spark
  • PySpark & Python
  • SQL
  • Azure Data Lake Storage
  • ETL/ELT
  • Architettura Data Lakehouse
  • Delta Lake
  • Azure Data Factory
  • Power BI


Impatto sul business:


  • Creata una piattaforma dati scalabile e centralizzata per analisi aziendali
  • Automatizzato il flusso di lavoro di ingestion e trasformazione dei dati
  • Migliorata la qualità, la coerenza e l'accessibilità dei dati
  • Ridotto il processamento manuale dei dati e la manutenzione delle pipeline
  • Permesso report più veloci e affidabili e decisioni basate sui dati


Lingua:

Inglese

Esperienza tecnica:

dbt (Data Build Tool)

Airbyte

Apache Spark

Expertise:

Pipeline dati

Sviluppo ETL

Data warehousing

Settore:

Analisi dei dati

Servizi finanziari

Alimenti e bevande

Il mio portfolio