costruirò pipeline ETL di dati con Python, Airflow, Kafka e PostgreSQL
web scraping, sviluppatore Python, sviluppatore web
Informazioni su questo servizio
Destination Platform:
PostgreSQL
•
MySQL
•
Amazon S3
Strumenti e piattaforme:
Kafka Connect
FAQ
Traduzione automatica.
Puoi distribuire la pipeline?
Sì. Posso installarlo sul tuo server o su AWS (EC2, Lambda, S3) e impostare la pianificazione.
Lavori con il mio database esistente?
Sì. Lavoro con PostgreSQL, MySQL, SQLite ed Elasticsearch, e servizi AWS come RDS e DynamoDB.
Riceverò il codice sorgente?
Sì. Ricevi il codice sorgente completo con istruzioni di configurazione e documentazione.
Puoi costruire pipeline di streaming in tempo reale?
Sì. Ho realizzato pipeline Kafka in grado di gestire 8 GB di dati al minuto, oltre a RabbitMQ e code di Celery.
Quali fonti di dati puoi collegare?
API REST, file CSV e Excel, siti web (via scraping), banche dati e storage cloud come S3.
Cosa ti serve da me per iniziare?
Le tue sorgenti dati, la destinazione, con quale frequenza devono aggiornarsi i dati e eventuali dettagli di accesso per gli ambienti di test.

