Sfoglia categorie
Esplora
Fiverr Pro
Italiano
$
USD
Costruirò il tuo pipeline ETL usando Python, SQL e Apache Airflow
Data Engineer per pipeline ETL, automazione con Python e SQL
Data Engineer presso Ksolves India Ltd., specializzato in infrastrutture Big Data di grande scala che alimentano cluster Hadoop di produzione. Ho progettato un livello di alta disponibilità Redis che ...
Informazioni su questo servizio
Costruisco pipeline ETL/ELT affidabili, di livello produzione, che spostano e trasformano i tuoi dati senza errori o downtime. Nel mio ruolo attuale di Data Engineer, ho progettato pipeline che sincronizzano miliardi di record tra sistemi con deduplicazione in tempo reale, sincronizzazione completa e delta, e zero perdita di dati in produzione, e ho creato cluster Apache NiFi per gestire l'integrazione continua dei dati aziendali.
Che tu abbia bisogno di uno script semplice per spostare dati da un CSV a un database, o di una pipeline programmata che preleva da un API e carica nel tuo data warehouse, la progetterò per essere pulita, documentata e facile da consegnare al tuo team.
Posso aiutarti con: estrazione di dati da API, database o file; trasformazione e pulizia; deduplicazione e logica di upsert; sincronizzazioni programmate e automatizzate; e migrazione tra database come MySQL, SQL Server e PostgreSQL.
Porto la stessa affidabilità che uso nei sistemi di produzione che supportano milioni di utenti in ogni progetto. Comunicazione chiara e codice pulito e ben documentato sono sempre parte della consegna.
Destination Platform:
PostgreSQL
•
MySQL
•
Server Microsoft SQL
Strumenti e piattaforme:
Kafka Connect
•
Apache NiFi
FAQ
Traduzione automatica.
Di quali informazioni hai bisogno per iniziare?
Inviami i dettagli della tua fonte e destinazione dei dati (database, API o file), il formato dei tuoi dati e la frequenza con cui deve essere eseguito lo sync. Ci penso io.
Puoi lavorare con la mia configurazione AWS o Azure esistente?
Sì, lavoro regolarmente con ADLS, S3 e altri servizi di storage e database cloud, e posso integrarmi con la tua infrastruttura esistente.
Fornisci documentazione per il pipeline che costruisci?
Sì, ogni consegna include una documentazione chiara che copre configurazione, setup e funzionamento del pipeline, così il tuo team può mantenerlo facilmente.
