Costruirò pipeline di dati scalabili usando python, spark e etl e elt
Senior Software Engineer
Informazioni su questo servizio
Se cerchi un data engineer affidabile per creare pipeline di dati efficienti e scalabili, sono quello che fa per te. Mi specializzo in ingegneria dei dati, sviluppo di pipeline ETL e processamento dei dati usando Python, SQL e Apache Spark.
Posso aiutarti a progettare e sviluppare pipeline ETL per estrarre, trasformare e caricare dati da più fonti come API, database e file. Che tu abbia bisogno di pulizia, trasformazione, automazione o processamento di big data, consegnerò soluzioni ottimizzate e pronte per la produzione.
I miei servizi includono la costruzione di pipeline di dati, la trasformazione dei dati, l'integrazione di più fonti e l'ottimizzazione dei workflow per migliorare le prestazioni. Supporto anche workflow automation e scheduling per un processamento efficiente dei dati.
Mi concentro sulla scrittura di codice pulito, scalabile e facile da mantenere, garantendo performance e affidabilità. Con esperienza pratica in progetti reali, posso gestire sia compiti semplici che soluzioni complesse di ingegneria dei dati.
Contattami prima di ordinare per discutere le tue esigenze e assicurarti i migliori risultati.
Strumenti e piattaforme:
Airbyte
•
Kafka Connect
Il mio portfolio
FAQ
Traduzione automatica.
1. Di cosa hai bisogno per iniziare?
Ho bisogno delle tue specifiche di progetto, delle fonti di dati (API, database, file) e del formato di output previsto.
2. Quali tecnologie usi?
Utilizzo Python, SQL, Apache Spark e strumenti correlati per costruire pipeline di dati scalabili e processi ETL.
3. Puoi gestire grandi set di dati o big data?
Sì, posso processare grandi set di dati usando strumenti come Spark e ottimizzare le pipeline per performance e scalabilità.
4. Fornisci servizi di pulizia e trasformazione dei dati?
Sì, posso pulire, preprocessare e trasformare i tuoi dati per renderli pronti all'analisi o ad ulteriori elaborazioni.
5. Fornirete la documentazione?
Sì, la documentazione può essere inclusa in base al pacchetto scelto o come servizio extra.
6. Puoi integrare più fonti di dati?
Sì, posso integrare API, database e fonti di dati basate su file in un'unica pipeline.
7. Offrite revisioni?
Sì, le revisioni sono incluse in ogni pacchetto. Revisioni aggiuntive possono essere aggiunte come extra.
8. Puoi automatizzare le pipeline di dati?
Sì, posso configurare workflow automatizzati usando strumenti di scheduling per un processamento regolare dei dati.
9. Fornisci supporto dopo la consegna?
Sì, fornisco supporto di base dopo la consegna. Supporto esteso può essere discusso se necessario.
10. Devo contattarvi prima di effettuare un ordine?
Sì, contattami prima per discutere le tue esigenze e trovare la soluzione migliore.

