costruirò pipeline ETL di dati con Python, Airflow, Kafka e PostgreSQL

Alcune informazioni sono state tradotte automaticamente.

Pakistan

Parlo Inglese

2 ordini completati

web scraping, sviluppatore Python, sviluppatore web

Sono un freelancer professionale e dedicato, con una passione per offrire servizi di alta qualità ai miei clienti. Ho un solido track record di consegna dei progetti puntualmente e nel rispetto del bu...
Informazioni su questo servizio
Il tuo dato è sparso tra API, file e database? Costruisco pipeline ETL automatiche che raccolgono, puliscono e caricano i tuoi dati, così sono sempre pronti all'uso. La mia esperienza: - pipeline Kafka che elabora 8 GB di media al minuto con una latenza del 35% inferiore - cluster Celery + Redis che gestisce 1.000+ task al minuto - pipeline di crawling quotidiano che memorizza oltre 500.000 annunci di lavoro - laurea in ingegneria del software con specializzazione in Data Science (ETL, data mining) Cosa posso costruire: - pipeline ETL / ELT da API, CSV, Excel, siti web o database - job pianificati con Apache Airflow, Celery o cron - streaming in tempo reale con Kafka o RabbitMQ - caricamento in PostgreSQL, MySQL, Elasticsearch o AWS (S3, RDS, DynamoDB) - pulizia, trasformazione e validazione dei dati Strumenti: Python, Pandas, Airflow, Kafka, Celery, Redis, PostgreSQL, AWS Ottieni codice pulito e documentato che è tuo. Scrivimi con le tue fonti dati e i tuoi obiettivi, e ti proporrò la pipeline più semplice che funziona.

Destination Platform:

PostgreSQL

•

MySQL

•

Amazon S3

Strumenti e piattaforme:

Kafka Connect