Costruirò pipeline ETL in Python per API, SQL e CSV
Sviluppatore Web e Data Engineer
Informazioni su questo servizio
Hai problemi con dati disordinati, report manuali o workflow di dati poco affidabili che rallentano le decisioni aziendali?
Costruirò una pipeline ETL / ELT in Python per estrarre, pulire, trasformare e caricare dati da API, file CSV/Excel, database SQL, storage cloud o CRM per dashboard, report, analisi, ML o workflow pronti per AI.
Avrai:
- Pipeline ETL / ELT per ingestione e trasformazione automatizzata dei dati
- Integrazioni con API, CSV, Excel, database SQL e storage cloud
- Pipeline batch programmate ogni ora, giorno, settimana o su richiesta
- Caricamento nel data warehouse su BigQuery, Redshift, PostgreSQL, Snowflake o ClickHouse
- modelli dbt per staging, caricamenti incrementali, test e documentazione
- Orchestrazione con Airflow, Cloud Composer, cron o scheduler cloud <li Controlli sulla qualità dei dati, validazioni, logging e gestione degli errori
Stack tecnologico:
- Python, SQL, dbt
- Airflow, Airbyte
- Kafka, Debezium
- BigQuery, Redshift, Snowflake, ClickHouse
- MySQL, PostgreSQL, MongoDB
- AWS Glue, Lambda, S3, Kinesis, DMS
- GCP Dataflow, Pub/Sub, Datastream
Scrivimi prima di ordinare così posso capire le tue esigenze.
FAQ
Traduzione automatica.
Lavori con script ETL in Python?
Sì. Posso creare script ETL in Python per estrazione, pulizia, trasformazione, validazione, caricamento, logging e gestione degli errori.
Puoi automatizzare la mia pipeline di dati secondo un programma?
Sì. Posso programmare la tua pipeline di dati per funzionare ogni ora, giorno, settimana o secondo un programma personalizzato usando Airflow, cron, Cloud Composer, schedulatori cloud o altri strumenti di orchestrazione.
