Elaborazione dati

L'elaborazione dati è il passaggio che precede l'analisi dei dati e include la raccolta dati e la preparazione preliminare. Sebbene includa anche una breve analisi, il focus principale riguarda i diversi metodi di raccolta dei dati che non hanno origine dal tuo business.L'elaborazione dei dati prevede la raccolta di dati in modo sistematico o in ampia quantità. L'elaborazione dei dati si concentra sulle fonti di dati e su come ottenerli rapidamente e senza troppe spese.

Poiché l'elaborazione dei dati prevede la raccolta e la pulizia dei dati, esistono due principali situazioni in cui è necessario richiedere questo servizio. 

Nel primo, potresti non avere i dati necessari per rispondere a una domanda relativa al business. Ad esempio, vorresti condurre una ricerca di marketing, ma non hai alcun dato sui competitor e sui prezzi: in questo caso, l'elaborazione dei dati ti sarà utile per raccogliere dati sul mercato. 

Nel secondo caso, potresti avere molti dati grezzi e non ordinati che il tuo analista ha difficoltà a consultare. In questa situazione, potrebbe avere senso esternalizzare l'elaborazione dei dati preliminare.

In primo luogo, i servizi per l'elaborazione dei dati comprendono la raccolta dei dati tramite web scraping, download, ricerca tramite API e interrogazione di un database. La raccolta dei dati può essere un'azione da svolgere una tantum o un'attività regolare. 

Il passaggio successivo è la pulizia dei dati, che comprende formattazione e elaborazione di outlier e altre anomalie, standardizzazione, normalizzazione e altre trasformazioni. 

Al termine dell'elaborazione dei dati, e come da accordi con il venditore, potrai ottenere il codice sorgente e la relativa documentazione sulle procedure di elaborazione dei dati da usare in un secondo momento.

Sebbene non ci siano dei limiti, il mercato dei servizi per l'elaborazione dei dati mostra alcune tendenze. La maggior parte del tempo, avrai bisogno di dati di marketing, ovvero informazioni di contatto, prezzi e recensioni del prodotto. Quotazioni e dati dal mercato azionario rappresentano un altro grande gruppo di dati che si ottengono solitamente attraverso i servizi di elaborazione dei dati. L'ultimo tipo di informazione riguarda i media e comprende contenuti pubblicati su blog, articoli e social media.

Potresti aver notato che la maggior parte dei dati ottenuti con l'elaborazione dei dati sono disponibili pubblicamente su internet o in database aperti.

La raccolta dei dati può essere manuale o automatizzata. I metodi automatizzati utilizzano linguaggi di programmazione, come Python, Ruby, PHP, Java, Javascript, R e altri. Gli stessi linguaggi possono essere usati per data cleaning, formattazione e modellazione. In alternativa, esistono diversi strumenti che possono essere utilizzati per elaborare i dati, dai fogli di calcolo di Excel per i principianti a strumenti più avanzati come MATLAB.

Nella maggior parte dei casi, ti servirà un'ottima soluzione per l'archiviazione dei tuoi dati: tra le opzioni migliori ci sono quelli della famiglia AWS o basati sulla tecnologia Apache. I risultati finali vengono consegnati su un foglio di calcolo in Excel, OpenOffice o Google.