Costruirò pipeline di dati python, etl e automatizzerò i flussi di lavoro dei dati
Ingegnere dei dati
Informazioni su questo servizio
Stai cercando pipeline di dati ETL/ELT robuste, scalabili e automatizzate? Aiuto le aziende ad estrarre, pulire, trasformare e caricare i loro dati senza problemi in database moderni e data warehouse cloud.
Con oltre 2 anni di esperienza pratica in Data Engineering, mi specializzo nella creazione di flussi di lavoro di dati affidabili e fault-tolerant usando Python, SQL e AWS.
Cosa posso fare per te:
Pipeline ETL/ELT personalizzate: ingestione automatica da REST API, webhook, database o file flat (CSV/JSON/Parquet).
Data warehouse cloud: progettazione schema, modellazione e caricamento in Snowflake, AWS
Ottimizzazione e tuning delle query: velocizzare query SQL lente e risolvere colli di bottiglia delle prestazioni.
Orchestrazione dei workflow: pianificazione, mappatura delle dipendenze e alert automatici usando Apache Airflow.
Streaming di dati in tempo reale: pipeline quasi in tempo reale usando Apache Kafka.
Qualità dei dati e test automatizzati: implementazione di controlli di validazione e test unitari pytest per prevenire corruzioni dei dati.
Stack tecnologico e strumenti:
Lingue: Python, SQL
Database e data warehouse: Snowflake, MySQL
Cloud e Big Data: AWS (S3), Kafka, Airflow
Contattami con il formato dei tuoi dati e i requisiti del progetto prima di effettuare un ordine!
Destination Platform:
Snowflake
•
Amazon S3
Strumenti e piattaforme:
Altro
FAQ
Traduzione automatica.
Quali dettagli hai bisogno da me prima di iniziare?
Fornisci una breve panoramica dei requisiti del tuo progetto, file di esempio o schemi di input, dettagli del database/destinazione e credenziali API o permessi di accesso necessari.
In quali strumenti e tecnologie sei specializzato?
Sono specializzato in Python e SQL per la creazione di script automatizzati di ingestione, trasformazione dei dati e workflow di database. Lavoro molto con REST API, file flat (CSV, JSON, Excel) e database relazionali.
Cosa succede se i miei requisiti non si adattano ai pacchetti predefiniti?
Nessun problema. Ogni architettura di dati è unica. Inviami un messaggio diretto spiegando la tua configurazione e creerò un'offerta personalizzata basata sul tuo scope e timeline esatti.
Come garantisci l'accuratezza dei dati e l'affidabilità del pipeline?
Implemento regole di validazione schema, controlli di qualità dei dati, gestione di casi limite (come null o duplicati) e test unitari automatizzati per assicurare che il pipeline funzioni in modo affidabile senza fallimenti silenziosi.
Fornisci documentazione e supporto post-consegna?
Sì. Ogni consegna completata include documentazione chiara di configurazione e commenti nel codice, così puoi facilmente mantenere e gestire il pipeline in futuro.

