Sfoglia categorie
Esplora
Fiverr Pro
Italiano
$
USD
Svilupperò e sistemerò pipeline ETL PySpark e trasformazioni dei dati
Senior Software e Data Engineer
Sono un Senior Software & Data Engineer con circa 19 anni di esperienza professionale nello sviluppo di software aziendali e nell'integrazione dei dati.
Mi specializzo in Java, Spring Boot, REST API,...
Informazioni su questo servizio
Hai bisogno di aiuto con un lavoro PySpark che fallisce, restituisce risultati inattesi o richiede una trasformazione ETL mirata? Sono un ingegnere informatico con esperienza professionale in software e data engineering. Ho costruito trasformazioni PySpark e flussi batch ETL con Azure Databricks e Azure Synapse Analytics, inclusa una flow in stile medallion e la risoluzione di un pipeline che elaborava circa 1,7 milioni di record. Posso correggere un bug specifico, implementare una trasformazione vincolata o un flusso batch ETL, leggere e scrivere formati dati concordati, aggiungere controlli mirati e spiegare il codice. Prima di ordinare, condividi le versioni di Spark/PySpark, gli schemi, un piccolo campione sicuro, l’output atteso e il contesto runtime. Confermerò prima ambito e assunzioni. Mai condividere password, token o segreti di produzione. I pacchetti escludono deployment su cloud, configurazione dell’infrastruttura, streaming, volumi illimitati e guadagni di performance garantiti. L’ottimizzazione copre solo la revisione e le modifiche a livello di codice concordate; i risultati dipendono dai dati e dal runtime.
Strumenti e piattaforme:
Altro
FAQ
Traduzione automatica.
Di cosa hai bisogno da me per iniziare?
Per favore condividi il tuo obiettivo, versioni, schemi, input sicuro ed esempi di output atteso, ambiente runtime e codice esistente o dettagli dell’errore. Mai inviare password, token o credenziali di produzione. Usa dati sintetici, anonimizati o sicuri da condividere.
Quali versioni di Spark e PySpark supporti?
Posso lavorare con una versione specifica quando le API e l’ambiente richiesto sono disponibili. Condividi le versioni esatte di Spark, PySpark e Python, oltre ai vincoli delle librerie, così posso confermare compatibilità e ambito prima di iniziare il lavoro.
Con quali formati di dati puoi lavorare?
Formati comuni includono CSV, JSON e Parquet. Le tabelle Delta sono possibili in una configurazione Spark o Databricks compatibile. Condividi lo schema e un piccolo campione sicuro inizialmente in modo che io possa confermare formato e ambito.
Puoi debuggare o sistemare una pipeline che hai già?
Sì. Condividi il codice rilevante, i dettagli dell’errore, gli schemi e un caso riproducibile minimo usando dati sicuri. Verificherò prima che il problema rientri nell’ambito del pacchetto selezionato; indagini più ampie o più lavori richiedono un ambito separatamente concordato.
Include testing o documentazione?
Il pacchetto Base fornisce una verifica mirata. Standard include controlli dati concordati, e Premium include anche una breve documentazione. Le suite di test unitari o di integrazione non sono incluse a meno che non sia espressamente concordato e supportato dal progetto fornito.
Puoi lavorare in locale o in un ambiente cloud?
Posso sviluppare e controllare il codice in un ambiente locale compatibile o in runtime fornito dal cliente e rivedere codice specifico del cloud quando i dettagli richiesti sono disponibili. Deployment e configurazione dell’infrastruttura cloud sono esclusi. Per favore non condividere credenziali di produzione; usa passaggi eseguiti dal cliente dove necessario.
Garantisci prestazioni più veloci o un volume di dati?
No. I risultati dipendono dalla forma dei dati, dal runtime, dalle impostazioni del cluster e dai dati di test disponibili. Posso rivedere un percorso di codice definito e implementare le modifiche concordate, ma non posso garantire velocizzazioni, nessun volume illimitato o tuning dell’infrastruttura senza accesso e senza un ambito separatamente concordato.
Come posso condividere i dati in modo sicuro?
Per favore usa campioni sintetici, anonimi o condivisibili in modo sicuro quando possibile. Condividi solo materiale che hai il permesso di fornire e mai password, token o credenziali di produzione. Possiamo concordare la quantità minima di dati necessaria prima di iniziare.
Cosa conta come revisione?
Una revisione è una modifica al lavoro già fornito entro gli input, l’output e il comportamento concordati. Nuove richieste, fonti o trasformazioni aggiuntive, un altro lavoro o una ricerca di debug più ampia sono fuori dal pacchetto e potrebbero richiedere un’offerta personalizzata.
