Farò pipelines ETL di azure data factory e migrare dati a adls gen2

Alcune informazioni sono state tradotte automaticamente.

India

Parlo Hindi, Urdu, Inglese

Ingegnere dei dati

Sono un Data Engineer con esperienza nella costruzione di pipeline ETL scalabili, flussi di trasformazione dei dati e soluzioni di analisi basate su cloud. Mi specializzo in servizi di AWS Data Engine...

Continua a leggere

Informazioni su questo servizio

Vuoi migrare il tuo data warehouse legacy on-premise su Azure senza downtime? Sei nel posto giusto!

Sono un Cloud & Data Engineer specializzato nella progettazione di pipeline di ingestione dati robuste e di livello enterprise. Ti aiuterò a spostare grandi database transazionali o a configurare caricamenti incrementali automatizzati in modo efficiente.

Cosa offro:

Migrazione da On-Premise a Cloud: Spostamento dati senza soluzione di continuità da MS SQL Server a Azure Data Lake Storage (ADLS Gen2).
Pipeline basate su metadata: Architettura avanzata di ADF usando design Parent-Child e loop ForEach per l'elaborazione parallela.
Caricamento incrementale (logica Watermark): Architettura di tabelle di controllo personalizzate con T-SQL dinamico per garantire caricamenti giornalieri efficienti senza ridondanze.
Partizionamento dinamico: Strutturare gerarchie di directory pulite usando espressioni ADF e salvare i dati in formato Parquet compresso Snappy ad alte prestazioni.
Configurazione IR self-hosted: Configurazione end-to-end di SHIR e risoluzione di problemi complessi di JRE/JVM.

Piattaforma tecnologica: Azure Data Factory (ADF), ADLS Gen2, MS SQL Server, T-SQL, Parquet.

Contattami prima di effettuare un ordine per discutere i requisiti del tuo progetto!

Continua a leggere