Suurandmetega seonduvad võimalused ja ohud (0)

Suurandmetega seonduvad võimalused ja ohud
Sissejuhatus
Informatsiooni hulk on ajas muutunud tohutult. Kui arvutite algusaegadel oli informatsiooni napilt, siis tänapäeva maailm on informatsioonist üleküllastunud. See toob endaga kaasa määramatul hulgal võimalusi, kuid samas peitub suurandmetes ka palju peavalu ning isegi ohte .
Aastal 2000 alustas tööd „Sloan Digital Sky Survey “, mille teleskoop New Mexico osariigis kogus esimese paari nädalaga rohkem informatsiooni kui oli kogutud terve astronoomia ajaloo jooksul. Dekaadiga kogunes selle arhiividesse rohkem kui 140 terabaiti andmeid. Projekti järeltulija „Large Synoptic Survey Telescope“, mis peaks ilmavalgust nägema 2019. aastal, kogub sellel hulgal andmeid aga 5 päevaga. [1]
Suurandmetega ei tegelda sugugi mitte vaid kosmoseavaruste avastamisel, vaid ka tavalisele kodanikule väga lähedal. Näiteks tuntud Ühendriikide kaubakett Wal-Mart kasutab suurandmeid oma klientide elu mugavdamisel, kusjuures igas tunnis külastab nende kaubaketti ligemale miljon inimest. [2]
Kuid mis asjad on suurandmed ? Suurandmed tähistavad andmehulki, mis on nii suured või keerulised, et traditsioonilistest andmetöötlusvahenditest enam ei piisa. Neid iseloomustavad andmete kiirus, suurus ja mitmekesisus . Andmete kiiruse all võib mõista andmete ajakohasust, ehk kas suurandmed koosnevad infost, mis on saadud näiteks üleeile või hoopis üle- eelmine aasta. Suurus iseloomustab suurandmete mahtu, mis, nagu esimestes lõikudes kirjeldatult, kasvab aja möödudes järjest suuremaks . Andmete mitmekesisuse all peetakse silmas andmete tüüpi. Tavainimene peab andmeteks peamiselt teksti ja pilt, kuid andmed võivad esineda väga erineval kujul, olles pärinenud nutitelefonidelt või arvutitelt, struktureeritud või mitte. [3]
Kuna suurandmed on väga ressursimahukad ja erinevad, on nende töötlemine väga keeruline. Peamiseks väljakutseks on õigete andmete tuvastamine ja nende õige kasutusviisi tuvastamine. Tihti nõuab see tegevus innovaatilist lähenemist ja äriplaanide muutmist . Lisaks on tööjõuturul üsna vähe suurandmespetsialiste, kes probleemidega tegeleks. Veel on suureks probleemiks andmete ja IT väga kiire areng. See tähendab, et suurandme olemus võib muutuda üpris kiiresti. Ka on osutunud suureks andmeturvalisuse probleem, mis ei lase ettevõtetel andmeid täies mahus kasutada. [4]
Suurandmete kasutusvõimalused
Vaatamata probleemidele suurandmete kasutamises on nende rakendusvõimalus äärmiselt lai. Näiteks saab suurandmeid kasutada väga edukalt meditsiinis. Suurandmed pakuvad enneolematut võimalust viia tervishoiusüsteemi kvaliteet uuele tasemele . Suurandmete ja tervishoiuga seonduv jutt tiirleb tihti haiglate ja kliinikute ümber, kuid palju võib pakkuda ka suurandmete kasutamine kodus, enne haiglasse sattumist.
Kodune tervishoiusüsteem on rida teenuseid, mida pakutakse haiguste ja vigastuste koduseks raviks. Kuigi kodune ravi ei asenda haiglaravi näiteks operatsioonide korral, on see sageli ravipraktikas sama edukas kui haigla . Teenusesektor on eksisteerinud juba 1960ndatest , kuid suurandmed annavad võimaluse areneda uuele tasemele. Näiteks saavad tervishoiuteenuse pakkujad tuvastada patsiente, kes ei ole suutelised kroonilisi haigusi ravima. Samuti on pakutud välja lahendus, kus tervishoiutöötajad saavad tuvastada, kas patsient on varasemealt haiguse all kannatanud uurides nende nutitelefoni otsinguid [5]. [6]
Samuti on suurandmed tervishoius tõestanud oma väärtust patsientide haiglasse tagasisattumise vältimisel. 2012. aastal viis Texase osariigi haigla läbi eksperimendi, kus 14 000 patsiendi meditsiinilist arhiivi analüüsiti, et luua algoritm , mis tagastas numbrilise tõenäosuse patsiendi haiglasse tagasisattumise kohta. Patsiendid , kelle andmed tagastasid keskmisest suurema tõenäosuse, said intensiivsemat kodust ravi. Pärast patsientide andmete analüüsimist suutis haigla vähendada patsientide tagasisattumist 50% võrra. [7]
Lisaks on võimalik suurandmeid analüüsides ennustada haiguspuhanguid. Võtame näiteks malaaria . See haigus levib verd söövate putukate kaudu nagu sääsed ja kirbud ning on üks keerulisemaid ja ohtlikemaid nakkushaigusi, mida kontrollida ja ära hoida. Kuna transport ja reisimine on viimastel kümnenditel muutunud rahvusvaheliseks ja taskukohaseks, on haigusepuhanguid esinenud juba suures hulgas riikides.
IBM koos John Hopkinsi ülikooliga arendab vaba lähtekoodiga tarkvara , mis põhinedes kohalikele ilmafaktoritele ja populatsiooni analüüsile suudab ennustada malaariapuhangu ägestumist või leevendumist [8]. Selliste andmete abil on võimalik suunata meditsiinilist personali ja vaktsiini just nendesse asukohtadesse, kus seda kõige rohkem vajatakse ning seeläbi ära hoida haiguse levikut võimalikult efektiivselt.
Suurandmed ei mõjuta ainult meditsiinimaailma. Suurandmetelt loodavad suurt kasu lõigata ka ettevõtjad , sest andmeid saab potentsiaalselt kasutada nii klientide äratundmiseks kui ka klientide ostutrendide uurimisel . Samuti annavad suurandmed häid andmeid inimeste demograafiliste andmete kohta. [9]
Sageli kasutatakse ära andmekaevamist, mis koosneb laiast valikust rakendustest ja tehnoloogiatest, mida kasutatakse andmete kogumiseks, hoiustamiseks, analüüsimiseks ja andmetele ligipääsu võimaldamiseks. Selle tulemusel tekitatakse informatsioon, mille põhjalikul analüüsimisel saab langetada ärilisi otsuseid paremini ja kiiremini kõikides juhtimise tasemetes, mis tõstab ettevõtte efektiivsust . [10]
Eriti hoolsalt jälgivad oma kliente aga tarbekaupade poed, kes laskuvad mõningatel juhtudel detailsustesse. Näiteks hoiavad mitmed USA suuremad poed oma klientide kohta väga detailseid andmeid. Igale kliendile on määratud unikaalne kood, millega seostatakse kliendi iga sooritatud ost. Lisaks seostatakse koodiga ka infoliinile helistamisi, veebilehe külastusi, vanust, perekonnaseisu , laste arvu, hinnangulist palka, milliseid krediitkaarte klient taskus kannab, kaua kulub kliendil aega poeni jõudmiseks ja palju muud. [11]
Kuna andmetest üksi on vähe kasu, siis on eriti hoolsalt keskendutud ka andmete töötlusele, mille tulemus on sageli kulla hinnaga. Näiteks saab nende abil muuta inimeste ostuharjumusi. Kui tavaliselt on neid raske muuta, siis tähtsate elusündmuste ajal ei pane inimesed sageli tähelegi, milliseid brände nad eelistavad. Sellepärast on poodide eesmärgiks elusündmuste keerises hajevil kliendid tuvastada, et seejärel nad poolagressiivsete personaalsete reklaamidega endale meelitada. [11]
Näiteks sai sellega väga hästi hakkama Target , kes üritas keskenduda teises rasedustrimestris olevatele naistele. Target analüüsis klientide ostukäitumist ja ennustas selle põhjal naise rasedaks olemise tõenäosuse. Analüüsi edukust tõestab ilmekalt juhtum, kus ärritunud mees klienditoele helistas, kuna talle jäi mulje, et Target julgustab tema noort tütart rasedatele mõeldud toodete reklaamiga rasedaks jääma . Kui Target nädal aega hiljem helistas, et ametlikult vabandada , selgus, et mehe tütar ootaski last. Selle ja sarnaste juhtumite tõttu jäi aga tarbijatele mulje, et Target tegeleb suurejoonelise jälitustegevusega ja poekett oli sunnitud oma maine säilitamiseks otsesest lähenemisest loobuma , et kasutada kaudsemaid vahendeid. [12]
Loogiliselt võib järeldada, et tänapäeva ettevõtted omavad ja hakkavad omama meie kohta järjest rohkem infot, mida ettevõte majanduslikes huvides ära kasutatakse. Target’i poolt avalikult kogutav info on ilmselt vaid jäämäe tipp, millega eksperimenteeritakse uudseid lahendusi. Ka teised ettevõtted soovivad suurandmete potentsiaalist kasu saada ning praegu käib ettevõtete vahel omamoodi võidurelvastumine järjest rohkema info kogumise ja osavama kasutamise osas.
Suurandmetega kaasnevad ohud
Kõige esmasem ja vahest ka kõige suurem oht on andmete turvalisus. Kuna andmete hulk muutub aina suuremaks ja ka detailsemaks, siis tekib juurde ka häkkereid, kellel on järjest võimsamad vahendid, et väärtusliku infot varastada ja müüa. Just viimastel aastatel on toimunud intensiivselt juhtumeid suurte firmadega nagu näiteks eBay (2014, 145 miljoni inimese paroolid ) [13], Target’i (2013, 38 miljoni inimese salasõnad) [14] ja paljude teistega .
Kuna suurandmete kasutamist veel avastatakse ja tulemusi oodatakse nii ruttu kui võimalik, siis sageli unustatakse ära seaduslikud aspektid. Kusjuures ei pea näiteid väga kaugelt otsima , sest ka Eesti riik on sellega eksinud . Aastal 2005 tõi andmekaitseinspektsioon välja, et kuna nakkushaiguste ennetamise ja tõrje seaduses oli volitusnorm nakkushaiguste registri asutamiseks väga avaralt sõnastatud, siis koguti registrisse infot mitte vaid epideemiliste nakkushaiguste kohta, vaid ka haiguste kohta, mis ei kvalifitseerunud epideemiliste ja eriti ohtlike hulka. Kusjuures hoiti andmeid isikustatud kujul ja kuulusid säilitamisele 75 aastaks. Muuhulgas oldi kriitilised ka sünniregistri ja veel mitme andmekogu suhtes. Sotsiaalministeerium põhjendas isikustatud andmete kogumist terrorismivastase võitlusega [15]. Kindlasti on võimalik, et sarnaselt eelnevale suletud andmebaasile on avalikke, kus liigne kiirustamine on põhjustanud seaduslike lünkade tekkimise ja seeläbi liiga isiklikul tasandil andmete avalikustamise veebikeskkonnas.
Kuigi avalikustatud ja mitteisiklike andmeid ei saa ühe allika järgi indiviidiga siduda, on endiselt oht informatsioonilisele enesemääramisele. Nimelt võib siduda muudest andmekogudest saadud andmed olemasolevatega ja sellisel viisil luua erinevaid isikuprofiile. Kuigi 1996. aastal tehti seda politsei siseselt saadud andmetega , ei ole välistatud võimalus, et näiteks 2036. aastal suudetakse suurandmeid kasutades luua superandmebaas, mis sarnaneb Imre Perli andmebaasile [16]. Eelnimetatud andmebaas sisaldas Eesti elanike registri, autoregistri ja telefoninumbreid ning maksuvõlgnevusi ja haldusõigusrikkumisi ja oli allilma üks ihaldatumaid infoallikaid.
Mitte ainult häkkerid ja ettevõtted ei soovi inimeste kohta informatsiooni hankida, vaid seda teevad ka riigid. Vahest üks kõige suuremaid skandaale oli 2013. aastal avalikuks tulnud jälgimisprogramm PRISM , mis algatati Ühendriikide Rahvusliku Julgeolekuagentuuri poolt 2007. aastal [17]. Nagu alati, vabandati ka sellel korral andmete kogumist kuritegevuse ja terrorismivastase tegevusega . Tuleb tähele panna, et PRISM ei ole ainuke omalaadne , vaid eksisteerib ka palju teisi jälgimisprogramme, näiteks Boundless Informant, mis analüüsib globaalset elektroonilist informatsiooni [18].
Sellisel kujul võib suurandmete kasutamine ja analüüs kujutada ohtu demokraatiale ja üksikisikutele. Suur info nõuab ka suurt vastutust ja turvalisust, kuid isegi suurima jõupingutuse korral ei ole andmed sajaprotsendiliselt turvatud ning varem või hiljem võib mõni häkker või asutuse sisene isik infot lekitada või kasutada andmeid mõneks pahatahtlikuks tegevuseks. Samuti võib aset leida stsenaarium , mille järgi ametnikud kasutavad julgeolekuagentuuride poolt kogutud informatsiooni enda huvides.
Suurandmete valesti kasutamine ei pruugi olla üldsegi pahatahtlik vaid võib johtuda halvast analüüsist. Üheks eksimuse põhjustajaks võib olla järelduste loomine suvaliste kokkujuhtumiste baasil. Võidakse luua näiteks seoseid kindla muusikaartisti linna saabumise ja teatud ettevõtte toodete müügi tõusuga, kuigi tegelikult tõuseb ettevõtte toodete müük ka siis, kui linnas toimub näiteks suur spordivõistlus. Näiteks võib tuua ka seose aastatel 1999-2009 USA’s basseini kukkumise tagajärjel uppunud inimeste arvu filmide arvuga, milles Nicolas Cage samadel aastatel osales [19]. Graafiku pealt näib seos ilmselge, kuid loogiliselt mõeldes tundub seos ilmvõimatu . Ütleb ju ka klišee, et olemas on väike vale, suur vale ja statistika.
Lisaks võivad analüüsiprotsessi mõjutada eelarvamused. Andmeanalüütik, kes on analüüsi hüpoteesis veendunud, võib kergesti kõrvale heita tulemusi, mis käivad tema eelarvamuste vastu ning lõpptulemuseks on valesti analüüsitud andmed [20]. Selline andmete valesti tõlgendamine võib osutuda ettevõtetele abistava informatsiooni asemel hoopis suure majandusliku allakäigu põhjuseks ning seepärast on tähtis, et andmete analüüsimise kõikides etappides kasutataks parimaid praktikaid.
Ohtlikuks võivad osutuda ka halvad andmed. Paljud projektid algavad valesti, sest kogutakse ebatähtsat, iganenud ja vigadega andmeid. See on peamiselt tingitud vähesest ajast, mis on strateegia planeerimisele kulutatud. Suurandmete kullapalavik on viinud paljud projektid olukorda, kus alguses kogutakse võimalikult suur hulk andmeid ning analüüsimisele mõeldakse hiljem. See aga ei lisa ainult kulutusi andmete hoiustamiseks vaid võib põhjustada olukorra, kus suur hulk andmeid on vananenud. Tegelik oht ei seisne aga vananenud andmetes vaid konkurentsist maha jäämises. Kui ei analüüsita õigeid andmeid, siis kajastub see tõenäoliselt ka lõpptulemis. Samal ajal võivad andmeid õigesti analüüsivad konkurendid saavutada eelise. [21]
Kokkuvõte
Suurandmeteks nimetatakse definitsiooni kohaselt andmeid, mida on traditsiooniliste vahenditega nende suuruse tõttu väga keeruline või võimatu hallata ning mida iseloomustab andmete ajakohasus, maht ja mitmekesisus. Tähele tuleb ka panna, et traditsioonilised vahendid muutuvad ajas kiiresti ja seetõttu võivad andmed, mis varem olid definitsiooni järgi suurandmed aja muutudes olla lihtsalt tavalised andmed.
Suurandmetega seondub suurel hulgal võimalusi. Väga efektiivselt on neid kasutatud meditsiinis. Näiteks võib suurandmeid kasutada koduses ravis patsientidele parema raviteenuse osutamisel. Samuti viidi 2012. aastal läbi eksperiment , mille käigus alandati haiglasse tagasisaabuvate patsientide arvu 50% võrra.
Samuti on suurandmeid väga edukalt kasutatud kaubanduses. Näiteks suutis Target klientide oste analüüsides tuvastada rasedaid nii hästi, et klientide liiga täpne analüüs tekitas neis hoopis pahameelt. Ettevõte on tõestanud, et suudab klientide ostukäitumist analüüsida nii hästi, et peab oma teadmisi klientide kohta hoopis varjama.
Kuigi suurandmeid saab kasutada edukalt positiivselt, on neil ka ohte, mis kõige otsesemalt on seotud turvalisusega. Suurandmeid töötlevatel ettevõtetel on tohutul hulgal personaalseid andmeid, mis viimastel aastatel on muutunud nii väärtuslikuks, et häkkerid üritavad neid aina suurema edukusega senistest võimsamate vahenditega kätte saada.
Samuti analüüsivad ning töötlevad suurandmeid riigid, kes võivad suurel hulgal kogutud personaalseid andmeid lekitada või halbadel eesmärkidel kasutada. Samuti kiirustavad riigid seaduslike lünkade tõttu liigselt personaalsete andmete avalikuks tegemisega, mille võrdlemisel teiste andmetega võib võimalikuks osutuda individuaalsete profiilide kokkupanek.
Lisaks võivad ohtlikuks osutuda vead andmete analüüsis ja vigaste andmete analüüs, mis oodatud kasu asemel võib tekitada tulemi rakendamisel hoopis kahju.

Kasutatud kirjandus

[1]
A. Hadhazy, „Kavli Foundation Q&A: The Large Synoptic Survey Telescope,“ SKY & Telescope, 2 juuni 2015. [Võrgumaterjal]. Available : Kavli Foundation Q&A: The Large Synoptic Survey Telescope - See more at: http://www.skyandtelescope.com/astronomy-resources/the-kavli-foundation-qa-the-large-synoptic-survey-telescope/#sthash.LB9vaTqd.dpuf . [Kasutatud 2016 märts 18].
[2]
M. v. Rijmenam, „Walmart Is Making Big Data Part Of Its DNA,“ DATAFLOQ, 2013. [Võrgumaterjal]. Available: https://datafloq.com/read/walmart-making-big-data-part-dna/509 . [Kasutatud 17 märts 2016 ].
[3]
M. V. I. K. Milan Kubinaa, "Use of big data for competitive advantage of company," Procedia Economics and Finance , vol. 26, p. 561 – 565, 13 August 2015.
[4]
E. Spiegel , „Six Challenges of Big Data,“ The Wall Street Journal , 26 märts 2014. [Võrgumaterjal]. Available: http://blogs.wsj.com/experts/2014/03/26/six-challenges-of-big-data/ . [Kasutatud 17 märts 2016].
[5]
L. T. Suzanne Delbanco, „The Payment Reform Landscape : How Does Telehealth Fit Into A High- Value Purchasing Strategy ?,“ Health Affairs Blog, 12 veebruar 2014. [Võrgumaterjal]. Available: http://healthaffairs.org/blog/2016/02/12/the-payment-reform-landscape-how-does-telehealth-fit-into-a-high-value-purchasing-strategy-2/ . [Kasutatud 17 märts 2016].
[6]
K. Pal, „kdnuggets,“ How big data can help in home health care?, oktoober 2015. [Võrgumaterjal]. Available: http://www.kdnuggets.com/2015/10/big-data-home-healthcare.html . [Kasutatud 17 märts 2016].
[7]
J. Conn, „Using big data to target preventable readmissions,“ Modern Healthcare, 2 august 2014. [Võrgumaterjal]. Available: http://www.modernhealthcare.com/article/20140802/MAGAZINE/308029981 . [Kasutatud 17 märts 2016].
[8]
IBM, „Scientists Turn Data into Disease Detective to Predict Dengue Fever and Malaria Outbreaks,“ IBM, 30 september 2013. [Võrgumaterjal]. Available: https://www-03.ibm.com/press/us/en/pressrelease/42086.wss . [Kasutatud 17 märts 2016].
[9]
B. Marr, „4 Ways Big Data Will Change Every Business,“ Forbes , 8 september 2015. [Võrgumaterjal]. Available: http://www.forbes.com/sites/bernardmarr/2015/09/08/4-ways-big-data-will-change-every-business/#5a7fc70b7900 . [Kasutatud 3 märts 2016].
[10]
L. Z. Andrzej Chluski, "The role of big data solutions in the management of organizations," Procedia Computer Science , vol. 65, p. 1006 – 1012, 2015.
[11]
C. Duhigg, „How Companies Learn Your Secrets,“ The New York TImes , 16 veebruar 2012. [Võrgumaterjal]. Available: http://www.nytimes.com/2012/02/19/magazine/shopping-habits.html?pagewanted=1&_r=2&hp&pagewanted=all &. [Kasutatud 20 märts 2016].
[12]
K. Hill, „How Target Figured Out A Teen Girl Was Pregnant Before Her Father Did,“ Forbes, 16 veebruar 2012. [Võrgumaterjal]. Available: http://www.forbes.com/sites/kashmirhill/2012/02/16/how-target-figured-out-a-teen-girl-was-pregnant-before-her-father-did/#48d9252934c6 . [Kasutatud 20 märts 2016].
[13]
A. Peterson , „eBay asks 145 million users to change passwords after data breach ,“ The Washington Post, 21 mai 2014. [Võrgumaterjal]. Available: https://www.washingtonpost.com/news/the-switch/wp/2014/05/21/ebay-asks-145-million-users-to-change-passwords-after-data-breach/ . [Kasutatud 20 märts 2016].
[14]
Krebs, „Adobe Breach Impacted At Least 38 Million Users,“ Krebs on Security , 13 oktoober 2013. [Võrgumaterjal]. Available: http://krebsonsecurity.com/2013/10/adobe-breach-impacted-at-least-38-million-users/ . [Kasutatud 20 märts 2016].
[15]
M. M. Paloma Krõõt Tupay , "E-riik ja põhiõigused ," Juridica , vol. III, pp. 163-176, 2015.
[16]
Eesti Päevaleht , „Puhka rahus , andmebaaside virtuoos Imre Perli!,“ Delfi, 17 aprill 200. [Võrgumaterjal]. Available: http://epl.delfi.ee/news/arvamus/puhka-rahus-andmebaaside-virtuoos-imre-perli?id=50825984 . [Kasutatud 21 märts 2016].
[17]
J. K. T.C. Sottek, „Everything you need to know about PRISM,“ theVerge, 17 juuli 2013. [Võrgumaterjal]. Available: http://www.theverge.com/2013/7/17/4517480/nsa-spying-prism-surveillance-cheat-sheet . [Kasutatud 21 märts 2016].
[18]
E. M. Glenn Greenwald, „Boundless Informant: the NSA's secret tool to track global surveillance data,“ the Guardian, 11 juuni 2013. [Võrgumaterjal]. Available: http://www.theguardian.com/world/2013/jun/08/nsa-boundless-informant-global-datamining . [Kasutatud 21 märts 2016].
[19]
T. Vigen, Spurious Correlations, [Võrgumaterjal]. Available: http://www.tylervigen.com/spurious-correlations . [Kasutatud 21 märts 2016].
[20]
L. Morgan, „9 Causes of Data Misinterpretation,“ InformationWeek, 17 juuli 2015. [Võrgumaterjal]. Available: http://www.informationweek.com/big-data/big-data-analytics/9-causes-of-data-misinterpretation/d/d-id/1321338 . [Kasutatud 21 märts 2016].
[21]
T. Wolpe, „ Lies , damned lies and big data: How firms get analytics wrong – and how to get it right,“ ZDNet, 22 november 2013. [Võrgumaterjal]. Available: http://www.zdnet.com/article/lies-damned-lies-and-big-data-how-firms-get-analytics-wrong-and-how-to-get-it-right/ . [Kasutatud 21 märts 2016].
[22]
Dissent, „191 million voters’ personal info exposed by misconfigured database,“ databreaches.net, 28 detsember 2015. [Võrgumaterjal]. Available: http://www.databreaches.net/191-million-voters-personal-info-exposed-by-misconfigured-database/ . [Kasutatud 20 märts 2016].