Costruirò pipeline di dati ETL automatizzati

Alcune informazioni sono state tradotte automaticamente.

Pakistan

Parlo Urdu, Inglese

Ingegnere dei dati

Sono un data engineer con oltre 3 anni di esperienza nel delivering end-to-end data solutions su piattaforme cloud come Microsoft Azure. Mi specializzo nella costruzione di pipeline ETL/ELT e modelli ...
Informazioni su questo servizio

Hai bisogno di dati da siti web o hai dati ma nessun sistema affidabile per muoverli? Fogli di calcolo, API e database che non combaciano mai, report rifatti a mano ogni settimana, pipeline che si interrompono dall'oggi al domani? Io risolvo questo.

Sono un Data Engineer con 4 anni di esperienza e un MSc in Big Data Analytics dal Regno Unito. Attualmente costruisco pipeline di produzione per grandi marketplace online, includendo tabelle dei fatti incrementali in Redshift con oltre 20 milioni di record.

Cosa costruisco:

  • Web scraping con BeautifulSoup, Requests, Selenium, Scrapy e Playwright, portando i dati del sito direttamente nella tua pipeline
  • ETL/ELT pipeline in Python, PySpark, SQL e Airflow
  • Caricamenti incrementali così vengono processati solo i nuovi dati
  • Caricamento nel data warehouse in Redshift, BigQuery o Azure
  • Gestione delle schema-mismatch con AWS Lambda, così le pipeline non falliscono silenziosamente
  • Fix di qualità dati per record duplicati o mancanti
  • Power BI / Microsoft Fabric dashboard sui tuoi dati puliti

Perché scegliere me: esperienza reale in produzione, codice pulito documentato che tu possiedi, e aggiornamenti chiari ad ogni passo.

Scrivimi prima di ordinare così posso definire al meglio la tua esigenza.

Lingua:

Inglese

Esperienza tecnica:

dbt (Data Build Tool)

•

Matillion

Expertise:

Pipeline dati

•

Sviluppo ETL

•

Data warehousing

Settore:

Analisi dei dati

•

Marketing e pubblicità