Sfoglia categorie
Esplora
Fiverr Pro
Italiano
$
USD
Costruirò pipeline di dati robuste e scalabili usando pyspark, databricks e airflow
Ingegnere dei dati certificato
Ingegnere di dati orientato ai risultati con 4,5 anni di esperienza nella progettazione, sviluppo, testing, supporto e ottimizzazione di pipeline ETL/ELT scalabili usando PySpark, Databricks, SQL, Pyt...
Informazioni su questo servizio
Hai bisogno di pipeline di dati scalabili e pronte per la produzione? Costruisco architetture di dati ad alte prestazioni usando Databricks, PySpark, SQL, Apache Airflow e Apache Kafka. Dall'ingestione semplice di file a streaming complessi in tempo reale, fornisco soluzioni cloud ottimizzate e convenienti.
Cosa offro:
- ETL/ELT End-to-End: pipeline di dati sicure usando PySpark e SQL.
- Ottimizzazione Databricks: configurazione di Delta Lake, Delta Live Tables (DLT) e Unity Catalog.
- Orchestrazione: DAG di Apache Airflow automatizzati con gestione degli errori.
- Streaming in tempo reale: streaming di eventi a bassa latenza tramite Apache Kafka.
- Ottimizzazione delle prestazioni: riduci i costi di calcolo cloud con query ottimizzate.
Perché scegliermi?
- Codice di livello produzione, pulito e riutilizzabile.
- Esperienza in cloud aziendale (AWS / Azure).
- Documentazione architetturale gratuita inclusa.
FAQ
Traduzione automatica.
1. Quali informazioni o accessi ti servono per iniziare?
Ho bisogno di una descrizione chiara delle tue fonti di dati, del formato finale atteso e di accesso temporaneo e sicuro al tuo ambiente (come token di accesso personale Databricks, bucket di storage cloud o ambienti Airflow)
2. Gestisci sia l'elaborazione batch che lo streaming in tempo reale?
Sì. Costruisco pipeline ETL batch standard usando PySpark e Databricks SQL, così come pipeline di streaming in tempo reale a bassa latenza usando Apache Kafka e Databricks Delta Live Tables (DLT).
3. Le pipeline di dati saranno completamente automatizzate?
Sì. Scriverò DAG personalizzati di Apache Airflow per orchestrare, pianificare, monitorare e automatizzare l'intera pipeline di dati, inclusa una gestione degli errori robusta e avvisi di fallimento.
4. Riceverò il codice sorgente e la documentazione?
Sì. Riceverai il pieno possesso di tutto il codice sorgente (come notebook PySpark, script SQL e file DAG di Airflow), insieme a una documentazione tecnica chiara e facile da leggere su come eseguirlo.
