Big Data & Data Mining

  • Published on
    21-Jun-2015

  • View
    938

  • Download
    0

Embed Size (px)

DESCRIPTION

Big Data and Data Mining

Transcript

<ul><li> 1. Big Data &amp; Data Mining Il potere dei dati </li></ul> <p> 2. Cosa significa Big Data? Big data il termine per descrivere una raccolta di dataset cos grande e complessa da richiedere strumenti differenti da quelli tradizionali, in tutte le fasi del processo: dall'acquisizione, alla curation, passando per condivisione, analisi e visualizzazione. (Wikipedia) 3. ...e Data Mining? Il data mining l'insieme di tecniche e metodologie che hanno per oggetto l'estrazione di un sapere o di una conoscenza a partire da grandi quantit di dati e l'utilizzo scientifico, industriale o operativo di questo sapere. (Wikipedia) 4. Perch tutto questo interesse ai Data? 5. Da dove arrivano tutti questi dati? Basta pensare che ogni 60 secondi su facebook vengono generati 350GB di dati, tra post, mi piace, foto e video, o che in tutto il mondo si caricano circa 72 ore di video su YouTube ogni minuto che passa. 6. Every Second on the Internet www.onesecond.designly.com 7. Non solo Social Archivi di documenti scannerizzati Documenti elettronici Media (immagini, video, audio, flash, live stream, ecc) Web (dati governativi, meteo, censuari, wikipedia, ecc) Applicazioni di business (CRM, ERP, portali intranet, ecc) Data Storage (SQL, Hadoop, file systems, ecc) Log di sistema (da server, dispositivi mobili, ecc) Data da Sensori (pubblici e privati) 8. Non solo Social 9. Dati o informazioni? Dato e Informazione non sono sinonimi! 10. Dati o informazioni? Il dato un elemento conosciuto, uninformazione grezza o elementare ed solitamente costituito da simboli che devono essere elaborati. Linformazione il risultato derivante dallinterpretazione di un insieme di dati, che finalizzata allapportare un incremento delle conoscenze di un soggetto. 11. ..e se i Data sono Big? Non basta pi la ricerca e lanalisi statistica classica ma necessitiamo del data mining. Che cosa "non " data mining? Cercare un numero di telefono nell'elenco; Fare una ricerca in Internet su "vacanze a Chioggia". Che cosa "" data mining? Scoprire che alcuni cognomi sono molto comuni in certe aree dell'Italia; Fare una ricerca nel web su una parola chiave e classificare i documenti trovati secondo un criterio semantico; Scoprire le relazioni tra tipi di clienti e certi prodotti o campagne pubblicitarie. 12. Chi trova un (Big) Data... I Big Data sono fondamentale per la creazione di nuovo business, contribuiscono a migliorare efficienza, qualit, prodotti e servizi personalizzati, producendo livelli pi elevati di soddisfazione ed esperienza del cliente. 13. ..trova un tesoro! Le aziende, ma non solo, devono imparare ad utilizzare pienamente le loro risorse di dati. Laumento del volume, velocit e variet dei dati spesso supera le capacit delle aziende di gestirli ed elaborarli con efficacia nei tempi utili. Una complessit che rende difficile far fronte alle sempre pi urgenti e crescenti esigenze del business. 14. 3V + 1 Volume, Velocit e Variet sono le propriet dei Big Data. Alcune organizzazioni utilizzano una quarta V per indicare la Veridicit dei dati, ossia la qualit dei dati intesa come il valore informativo che si riesce ad estrarre. 15. utile avere molti dati? 1872 - Il cavallo di Eadweard Muybridge 16. Petabyte Age Giugno 2008 - Wired proclama la morte del metodo scientifico. Lingente quantit di dati prodotta induce ad analizzarli matematicamente prima di contestualizzarli. Da ricerca delle cause a ricerca delle connessioni. What can science learn from Google? 17. NoSQL e Hadoop 18. NoSQL e Hadoop Hadoop usato anche da: AOL, Ebay, Facebook, IBM, ImageShack, Joost, Linkedin, Spotify, The New York Times e Twitter. Yahoo! il pi grande contributore a questo progetto, e ne fa fortemente uso. 19. Chi interessato dai Big Data? AZIENDE Devono estrarre informazioni utili da enormi quantit di dati non strutturati, eterogenei, dinamici (Big Data). PRIVATO A noi rimane il dilemma di come bilanciare laccesso ai servizi con la cessione di informazioni personali. PUBBLICO Come collettivit dovremmo iniziare a interrogarci su come evitare un uso improprio e discriminatorio delle informazioni che ci riguardano. 20. Big Data e Imprese Dei pi importanti responsabili marketing del mondo, 80% Non valuta i feedback provenienti dai social media. 63% Non utilizza analisi di marketing per prendere decisioni. http://goo.gl/JiYBKO 21. Tweet sulle patatine in California? Walmart ne rifornisce i supermercati Big Data e Imprese 22. La Swedish Tax Agency, grazie allincrocio delle informazioni sui contribuenti, riesce a inviare ai cittadini un modulo delle imposte gi compilato. Ai contribuenti spetta cos il solo onere di confermare o modificare le informazioni via web o SMS. Big Data e Pubblico 23. Lagenzia per il lavoro tedesca, analizzando i dati storici sullimpiego e sugli investimenti effettuati, riuscita a segmentare la popolazione dei disoccupati per offrire interventi mirati ed efficienti. Questa azione si tradotta in un risparmio di 10 miliardi di euro allanno per il pubblico e nella riduzione del tempo impiegato dal cittadino per ottenere un lavoro. Big Data e Pubblico 24. Big Data e Pubblico Il dipartimento di polizia di Los Angeles sta utilizzando PredPol, un sistema che sulla base delle serie storiche dei reati, divide le aree da pattugliare in zone, calcola la distribuzione e la frequenza dei reati, e poi indica quelle da sorvegliare. Lapplicazione del modello matematico ha portato a un calo dei reati del 13%. A Santa Cruz lo stesso metodo ha ridotto i furti del 27%. 25. Big Data e Persone Se invece fosti interessati a migliorare la vostra forma fisica, Nike+, dal 2006, propone una serie di device, orologi e bracciali intelligenti, per registrare i chilometri percorsi, i battiti cardiaci e le calorie consumate, ed analizzare i dati raccolti sul sito web o sullo smartphone. Tecnologie fino a qualche anno fa a disposizione dei soli atleti professionisti, rappresentano i primi esempi di wearable computing. 26. Rischi Il dato personale una moneta di scambio che necessita di un controllo vigile, per evitare che aziende senza grossi scrupoli lo utilizzino per inferenze predittive di tipo prettamente commerciale o generalmente poco nobili. 27. Rischi Target e la pubblicit mirata 28. Rischi Kevin Johnson, insolvente a sua insaputa 29. Rischi Il vero problema, quindi, : definire limiti che assicurino il corretto uso delle informazioni permettere allutente di conoscere in base a quali analisi vengano negati dei servizi fare trasparenza su quali informazioni siano in mano a ciascuna azienda 30. Conclusioni Il fenomeno dei Big Data, pur rimanendo una novit per molti, presenta potenziali utilizzi in ogni campo; La tecnologia si sta evolvendo apposta per facilitare l analisi e la ricerca sui grandi dati; Il cittadino deve valutare i servizi a cui pu avere accesso sacrificando parte della privacy; Lo stato deve vigilare sugli abusi a cui pu condurre la divulgazione di informazioni personali; Chi sfrutta i Big Data, ne trae profitto, a tutti i livelli. </p>