Costruirò pipeline di dati scalabili e ETL con Python, SQL, Airflow e Databricks
Data e AI Engineer
Informazioni su questo servizio
Hai bisogno di pipeline di dati affidabili che funzionino davvero? Sono un Data Engineer con un M.Sc. in Data Science ed esperienza nel settore presso Amazon e Tata Consultancy Services, dove ho costruito pipeline che elaborano oltre 1TB di dati per più di 100 analisti.
Ciò che posso creare per te:
- Pipeline ETL/ELT in Python e SQL
- Integrazione dei dati da API, database, CSV/Excel e storage cloud
- Workflow programmati con Apache Airflow
- Data warehouse e modelli dbt
- Elaborazione con Databricks e PySpark per grandi dataset
- Pulizia, convalida e controlli di qualità dei dati
- Pipeline su AWS, GCP o Databricks
Perché lavorare con me:
- In Amazon, ho ridotto del 30% i tempi di elaborazione delle pipeline e eliminato il 95% del lavoro manuale sui dati grazie all'automazione
- Certificato come Data Engineer da Databricks
- Codice pulito, documentato e testato che è completamente tuo
- Comunicazione chiara e consegna puntuale
Come funziona:
- Scrivimi con le tue fonti di dati e obiettivo
- Confermerò l'ambito e il pacchetto giusto
- Riceverai codice funzionante, documentazione e una spiegazione passo passo
Non sei sicuro di quale pacchetto sia adatto? Mandami un messaggio prima di ordinare e ti risponderò rapidamente.
FAQ
Traduzione automatica.
Cosa ti serve da me per iniziare?
Accesso o campioni delle tue fonti di dati, la destinazione finale (database, warehouse o file) e una breve descrizione dell'output atteso. Le credenziali possono essere condivise in modo sicuro dopo l'inizio dell'ordine.
Con quali strumenti e piattaforme lavori?
Python, SQL, PySpark, Apache Airflow, dbt, Kafka e Databricks, su AWS, GCP o PostgreSQL. Se usi uno stack diverso, scrivimi prima e ti confermerò se posso aiutarti.
Possederò il codice?
Sì. Ricevi tutto il codice sorgente, la documentazione e le istruzioni di configurazione, ed è al 100% tuo da usare e modificare.
Puoi lavorare con il mio pipeline o database esistente?
Sì. Posso estendere, correggere o ottimizzare pipeline esistenti. Condividi i dettagli prima di ordinare così posso definirne correttamente l'ambito.
Come garantisci la sicurezza dei miei dati?
Utilizzo solo l'accesso necessario per il compito, non condivido né memorizzo i tuoi dati oltre il progetto e posso lavorare con dati di esempio anonymizzati se preferisci.
Cosa succede se il mio progetto non rientra in un pacchetto?
Scrivimi un messaggio con le tue esigenze e creerò un'offerta personalizzata che si adatta al tuo scope e al tuo budget.

