Farò pulizia dei dati, deduplicazione e formattazione su file di dati disordinati

Sì, e questa è la maggior parte del lavoro in un ordine tipico. Nomi di colonne diversi, formati di data diversi, righe sovrapposte e un file con una colonna in più che nessuno ha documentato. Li mappo a uno schema unico e ti dico da dove vengono le righe.

No. Oltre le 50.000 righe il lavoro si sposta da un foglio di calcolo a Python e Pandas, che è più veloce e ripetibile piuttosto che più lento. Mezzo milione di righe è un lavoro normale. Invia un esempio e ti confermerò il livello prima che tu ordini.

Tu me lo dici, ed è la parte su cui vale la pena mettersi d’accordo prima di iniziare. Le corrispondenze esatte sono facili. Il lavoro utile è il fuzzy matching: Acme Ltd contro ACME Limited, lo stesso indirizzo scritto in quattro modi diversi, due record che differiscono solo per gli spazi. Ti mostro le corrispondenze prima di unire.

Sì, ogni ordine include un changelog: righe inserite, righe eliminate, cosa è stato unito, cosa è stato eliminato e perché, e quali campi sono stati standardizzati. Non dovresti dover fidarti di un file pulito. Dovresti poterlo controllare.

Incluso in Standard e Premium, in Python, commentato, così puoi eseguirlo sul prossimo export senza dover ri-ordinarlo. La versione basic consegna solo il file pulito, che è la scelta giusta se si tratta davvero di un lavoro una tantum.

Sì, ed è una delle più comuni. Mojibake causato da un encoding sbagliato, entità HTML lasciate nei campi di testo, spazi e newline indesiderati dentro le celle, numeri memorizzati come testo con simboli di valuta attaccati. Invia un esempio e ti dirò cosa si può recuperare.

Tabelle riassuntive, pivot e grafici sono inclusi in Standard e Premium, e sono utili per verificare la pulizia. Se hai bisogno di analisi statistica vera e propria o modellazione, è un lavoro diverso e preferirei indirizzarti altrove piuttosto che farlo in modo adeguato.

Sì, come pipeline programmata piuttosto che come ordine ripetuto: il file arriva, lo script si avvia, la versione pulita appare dove ti serve. Quello è il mio servizio di pipeline dati, non questo. Scrivimi e ti invierò il link invece di farti pagare dodici volte.

Dimmi prima di inviarli. Posso lavorarci sopra, e cancellerò i file sorgente dopo la consegna su richiesta, ma preferirei saperlo in anticipo piuttosto che trovare nomi e indirizzi in un file in cui non me lo aspettavo. Dati pseudonimizzati o campionati vanno bene per definire il scope.

Inviami prima il file, o un campione di esso. Alcuni lavori sembrano semplici e richiedono fuzzy matching tra tre fonti; altri sembrano spaventosi e sono solo una ricerca e sostituzione. Ti dirò quale livello è, o ti farò un preventivo personalizzato, prima che tu spenda qualcosa.