Costruirò pipeline ETL usando databricks e pyspark

Alcune informazioni sono state tradotte automaticamente.

India

Parlo Inglese

Ingegnere dei dati

Data Engineer con oltre 4 anni di esperienza nella costruzione di pipeline ETL/ELT scalabili e piattaforme di dati cloud. Competente in Databricks, Snowflake, Apache Airflow, PySpark, SQL e Python — c...
Informazioni su questo servizio

Hai problemi con dati disordinati, pipeline rotte o dashboard che non raccontano la vera storia? Posso aiutarti.


Sono un Data Engineer con oltre 4 anni di esperienza pratica nella progettazione, costruzione e ottimizzazione di pipeline di dati end-to-end e piattaforme di dati cloud.


COSA POSSO FARE PER TE:

- Costruire e orchestrare pipeline ETL/ELT usando Apache Airflow

- Progettare e gestire data warehouse cloud su Snowflake e Databricks

- Scrivere SQL e Python (PySpark) efficienti, di livello produzione per trasformazioni di grandi volumi di dati

- Migrare flussi di lavoro legacy (ad esempio Hive/Oozie) a pipeline moderne con Databricks/Airflow

- Pulire, trasformare e modellare dati grezzi in tabelle pronte per analisi

- Ottimizzare pipeline esistenti per le prestazioni (partizionamento, caching, caricamenti incrementali)

- Creare dashboard in Power BI, Tableau o Qlik sopra la tua pipeline


PERCHÉ LAVORARE CON ME:

- Esperienza reale su progetti che coprono l'intera stack di dati dall'ingestione al dashboard

- Comunicazione chiara durante tutto il progetto, non solo consegna del codice

- Spiego cosa ho costruito e perché, così non rimani mai bloccato a mantenere una scatola nera che non capisci


Lingua:

Inglese

Esperienza tecnica:

dbt (Data Build Tool)

Apache Spark

Expertise:

Pipeline dati

Sviluppo ETL

Data warehousing

Settore:

Analisi dei dati

Il mio portfolio