Andmeanalüüs sots.teadustes (3)

SISSEJUHATUS

1. ANDMEANALÜÜSI põhimõisted

1.1 Üldkogum ja valim

1.2. Valimi valikumeetodid

• Tõenäosuslikud valikud eeldavad, et iga üldkogumi indiviidi kohta on teada tema valimisse sattusime tõenäosus. Tõenäosuslik valik eeldab loendi olemasolu (N on teada), millest uurija mingi valikueeskirja alusel kaasab uuritavad.
  
• Lihtne juhuvalik tähendab, et igal üldkogumi indiviidil on võrdne võimalus valimisse sattuda, vastav lihtsaim korrektne valikumeetod on süstemaatiline juhuslik valik mingist registrist, näiteks äriregistrist iga 100. ettevõtte, telefoniraamatust iga 50. elanik jm. Teine sobiv lahendus on valitavate objektide järjekorranumbri määramine juhuslike arvude genereerimisega. Tõenäosuslike valikute probleemiks on üldkogumi jaoks registri olemasolu ja sellele juurdepääs ning seejärel valitud objektidega koostöö saavutamine.
  
• Empiiriliste valikute puhul üldkogumi objektide valimisse sattumise tõenäosuses ei ole teada, seega sobib ka juhtudel, kus me ei tea N väärtust. Empiiriliste valikute korral on probleemiks tulemuste usaldusväärsus, valim ei ole juhuslik, saadud tulemused sõltuvad objektidest , keda uurija (ekspert) suudab või soovib valimisse kaasata. Valikuuuringu teoorias kuuluvad siia alla tuntumatest näiteks kvootide meetod ja ekspertvalik. Kvootide meetodis määratakse soovitava valimi struktuur tausttunnuste järgi (näiteks asutuse tüüp), ekspertvalikus on objektide valik täiesti subjektiivne, selle teeb ekspert. Praktikas, ennekõike sotsiaalteadustes on levinud lihtsamad empiirilised valikuviisid mugavusvalim ja lumepalli meetod:
  
• Mugavusvalimis, vahel nimetatakse ka haaramis- või võimalusvalim, kaasatakse objektid valimisse suvalisel ja mittesüstemaatilisel viisil (uurijale „mugavad”, kättesaadavad objektid), tavaliselt moodustavad valimisse need isikud, kes ise tahavad/viitsivad vastata.. Kuigi seda metoodikat ei saa rangelt võttes statistiliseks valikumeetodiks lugeda, on see praktikas üks kõige enam levinud valimi kogumise viise.
  
• Lumepalli meetodi idee on sarnane, erinevus on uurija poolt kaasatud objektide kasutamine valimisse rohkemate objektide värbamiseks („vasta ise ja jaga edasi ka sõpradele” meetod), seega valim kasvab nagu veerev lumepall. Selline metoodika on sageli kasutusel varjatud üldkogumi haaramiseks, kus uurijal on raske objektideni ise jõuda, näiteks narkomaanid, hasartmängusõltlased, prostituudid.
  

1.3. Mõõtmismeetod ja mõõtmisvahend

• Arvulistele küsimustele pigem ei anta vastusevariante, näiteks ei ole ankeedis mõistlik ette anda vanusevahemikku, staaživahemikku, see ebatäpsustab uuringu tulemusi. Arvtunnuste puhul on õige kasutada lahtiseid küsimusi kuid koos sobiva mõõtühikuga (aasta, tund, kg, …). Lahtise küsimuse puhul vastusevariandid puuduvad, kinnise küsimuse puhul on vastusevariandid ette antud.
  
• Arvulise küsimuse oodatava vastuse peab selgelt määratlemata, see peab olema võimalikult üheselt vastav, näiteks ei sobi „Kui tihti te spordite?” vaid pigem „Mitmel päeval nädalas tavaliselt tegelete spordiga?” või „Mitu tundi päevas te keskmiselt tegelete spordiga (füüsilise koormusega)?“ .
  
• Mittearvulistele küsimustele pigem peab ette andma vastusevariandid, muidu võime saada liiga palju või segaseid vastusevariante (näiteks hobina võib vastata nii sport , korvpall kui tugitoolisport).
  
• Hinnangute küsimisel on ohtlik vastusevariant „ei oska öelda”, võimalusel tasuks sellest hoiduda, sest vastaja võib seda erinevalt mõista (ei viitsi vastata, kardab vastata, jättis ükskõikseks, ei saa küsimusest aru või ei osalenud hinnataval tegevusel).
  

1.4. Andmetabel

2. Valimit kirjeldav statistika

2.1. Andmete graafiline kirjeldus

• klasside pikkused võrdsetena (vajadusel võib otsmised klassid jätta lahtiseks);
  
• klassipiirideks ümmargused arvud;
  
• klasside arvuks suurusjärk ruutjuur objektide arvust, aga mitte rohkem kui 20 klassi;
  
• klasside sagedused võrreldavatena.
  

2.2. Andmete arvuline kirjeldus

2.2.1. Paiknemiskarakteristikud

2.2.2. Hajuvuskarakteristikud

3. Kahe tunnuse ühine käitumine

3.1. Statistiline sõltuvus

3.2. Monotoonne sõltuvus

3.3. Korrelatiivne sõltuvus

• Väärtus asub –1 ja 1 vahel, -1≤ r ≤1.
  
• Kui tunnused on kasvavalt seotud, siis r>0, kui tunnused on kahanevalt seotud, siis r60 võime kasutada ka normaaljaotust, sest sel juhul t-jaotus ja normaaljaotus praktiliselt kattuvad). T-jaotuse täiendkvantiile (loengus antud tabelis) kasutades saame üldkogumi keskväärtuse usaldusvahemiku alumise ja ülemise usalduspiiri järgmiselt:
  ja .
  Toodud valemites
  on vastavalt tunnuse keskmine valimis, t-jaotuse olulisusnivoole a-le vastav täiendkvantiil, tunnuse standardhälve valimis ja valimi suurus.
  

• 4.3. Statistiliste hüpoteeside kontrollimine

  
  Üldkogumi kohta esitatud oletusi nimetame hüpoteesideks. Otsus, kumb väide ehk hüpotees üldkogumis kehtib, langetatakse valimi põhjal. Teaduste areng toimubki üldreeglina nii, et teoreetikud sõnastavad teoorial põhinevad hüpoteesid (teaduslikud oletused), praktikud teevad vastavad mõõtmised ja püüavad neid hüpoteese kas tõestada või kummutada. Selleks, et kasutada matemaatilise statistika metoodikat erinevatest valdkondadest pärinevate hüpoteeside kontrollimiseks, tuleb vastav hüpotees tõlkida statistika keelde ehk sõnastada vastav statistiline hüpotees. Statistilised hüpoteesid esitatakse üksteist välistavate väidete paaridena , seega alati saab neist kehtima jääda vaid üks. Sisukaks hüpoteesiks (tähis H1) on väide, mida soovime tõestada, nullhüpotees (tähis H0) on sisukale hüpoteesile vastupidine väide. Peab meeles pidama, et nullhüpoteesi ei saa kunagi tõestada, kui sisukas hüpotees jääb tõestamata (vastu võtmata), siis peame jääma nullhüpoteesi juurde (kuid ei loe seda tõestatuks).
  Hüpoteeside kontrollimisel ehk otsuse vastuvõtmisel võime teha vea, kuna valim on juhuslik ning valimi tulemus vaid hinnanguline. Otsustamisel tekkivad võimalused võime kokku võtta järgnevalt:
  Tegelikkuses kehtib üldkogumis nullhüpotees
  Tegelikkuses kehtib üldkogumis sisukas hüpotees
  Meie loeme valimi põhjal õigeks nullhüpotees
  Õige otsus
  Teeme vea, mida nimetatakse teist liiki veaks , tähis β
  Meie loeme valimi põhjal õigeks sisuka hüpotees
  Teeme vea, mida nimetatakse esimest liiki veaks, tähis α
  Õige otsus
  Kõige ohtlikum variant on valimi põhjal sisuka hüpoteesi ehk mingi kasuliku või riskantse väite tõestatuks lugemine, kui see üldkogumis tegelikult ei kehti. Sellist eksimust nimetatakse esimest liiki veaks, millele vastav suurim lubatud tõenäosus antakse eelpool tutvustatud olulisusnivooga a. Kordame, et valimist leitud tegelikku esimest liiki vea tegemise tõenäosust nimetatakse olulisustõenäosuseks.
  Hüpoteese saame, kas ühe üldkogumile keskväärtusele või osakaalule mingi etteantud arvu suhtes või kahe erineva üldkogumi keskväärtuste või osakaalude võrdlemiseks.
  

• 4.3.1. Hüpoteesid ühe üldkogumi keskväärtusele

  
  Hüpoteese üldkogumi keskmisele võime sõnastada mingi uurija poolt etteantud arvu suhtes või mingi kahe üldkogumi vahel. Väite sõnastuse võib olla erinev, kas kahepoolsed hüpoteesid – keskmine on/ei ole võrdne etteantud arvuga või ühepoolsed hüpoteesid – keskmine on suurem/väiksem etteantud arvust. Üldisemalt, tähistades keskväärtuse ja uurija poolt etteantud arvu c, võime kirjutada kolm hüpoteesipaari:
  Kahepoolne hüpotees
  Ühepoolsed hüpoteesid
  Toodud ühepoolsetes hüpoteesipaarides võime nullhüpoteesis kasutada ka lihtsalt võrdust, sest tulemusena huvitab meid vaid sisuka hüpoteesi kehtimine või mittekehtimine. Keskväärtuse kohta käivaid hüpoteese kontrollitakse t-jaotuse ehk t-testi abil, vastav statistik arvutatakse järgmiselt:
  kus n,ja s on vastavalt valimi maht, keskmine ja standardhälve ning c on etteantud arv, mille suhtes sisukas hüpotees on püstitatud. Lihtsustatult võime öelda, et kui arvutatud T on liiga väike, siis jääb kehtima nullhüpotees, kui T on piisavalt suur, siis saame vastu võtta sisuka hüpoteesi. Otsustamise kriteeriumid esitame kokkuvõtvalt kõikidele hüpoteesiliikidele lisas 1 toodud tabelis, kus α on uuringu läbiviija poolt etteantud lubatud eksimistõenäosus.
  

• 4.3.2. Hüpoteesid ühe üldkogumi binaarse tunnuse väärtuse osakaalule

  
  Lisaks oletustele keskväärtuse kohta pakub sageli huvi mingi tunnuse jaotumine üldkogumis, siin on oluline teada, et hüpoteeside püstitamise eelduseks on suur valim, n>60. Hüpoteeside püstituses tähistame binaarse tunnuse väärtuse osakaalu üldkogumis p ja uurija etteantud osakaalu c:
  Kahepoolne hüpotees
  Ühepoolsed hüpoteesid
  Binaarse tunnuse väärtuse osakaalude kohta käivaid hüpoteese kontrollitakse samuti t-jaotuse ehk t-testi abil, vastav statistik arvutatakse järgmiselt:
  kus
  on valimis binaarse tunnuse väärtuse osakaal (soodsate tulemuste arv k jagatud valimi mahuga n) ning c on etteantud osakaal, mille suhtes hüpoteesi püstitame. Otsustamise kriteeriumid esitame kokkuvõtvalt kõikidele hüpoteesiliikidele lisas 1 toodud tabelis, kus α on uuringu läbiviija poolt etteantud lubatud eksimistõenäosus.
  

• 4.3.3. Hüpoteesid kahes sõltumatus üldkogumis keskväärtuste võrdlemiseks

  
  Kahes üldkogumis keskväärtuste võrdlemisel peame teadma, kas tegemist on sõltumatute või sõltuvate valimitega (üldkogumitega). Sõltumatud valimid saame, kui valimid võetakse kahest omavahel mittekattuvast üldkogumist (soome elanikud, eesti elanikud või ravimit manustanud/mittemanustanud patsiendid) või ühest üldkogumist võetud valim jagatakse kaheks erinevaks grupiks (mehed, naised või noored, vanad). Hüpoteeside püstituses tähistame ühe üldkogumi keskväärtuse
  ja teise üldkogumi keskväärtuse , seega:
  Kahepoolne hüpotees
  Ühepoolsed hüpoteesid
  H0: .
  H1: .
  H0: .
  H1: .
  H0: .
  H1: .
  Kui mõlemas valimis on vähemalt 30 vastanut, siis võime sisuka hüpoteesi tõestamiseks kasutada lisas 1 toodud kriteeriume, kus vastav statistik T arvutatakse järgmiselt:
  kus
  on vastavalt tunnuse keskmised valimites, s1 ja s2 on vastavalt tunnuse standardhälbed valimites ning n1 ja n2 on vastavalt valimite mahud.
  Kui ühes või mõlemas grupis on alla 30 vastanu, siis eelmisest valemist ei piisa, kindlasti peame kontrollima järgmisi eeltingimusi:
  
• Kas tunnuse väärtused väikeses valimis alluvad normaaljaotusele – kui see tingimus ei ole täidetud, ei tohi t-testi teha.
  
• Kas tunnuse dispersioonid valimites on võrdsed või mitte – see ei mõjuta t-testi lubatust, vaid kontrollimiseks kasutatav metoodika muutub.
  Nende tingimuste kontroll teoreetiliselt on mahukas, seepärast vaatame seda vaid praktikas MS Exceli abi, kus esimest tingimust kontrollime visuaalselt tunnuse histogrammi abil ning teist vastava testi abil (vartest).
  

• 4.3.4. Hüpoteesid kahes sõltuvas üldkogumis keskväärtuste võrdlemiseks

  
  Sõltuvate valimitega (üldkogumitega) on tegemist kui uurime samu isikuid kaks korda ehk teeme kordusmõõtmise, uurides mingi muutuse ( ravim , koolitus, reklaamikampaania ) mõju. Oluline on, et iga vastaja kohta peame teadma mingi näitaja väärtust enne ja pärast, sest analüüsiks kasutame iga vastaja väärtuste erinevust ehk vahet. Seega valimimaht on valimites täpselt sama, kuna uurime täpselt samu objekte uuesti. Tähistades vahede keskmise üldkogumis V saame püstitada kahepoolsed hüpoteesid, kas muutust on olnud või ühepoolsed hüpoteesid, kas muutus keskmiselt suurendas või vähendas tunnuse väärtusi:
  Kahepoolne hüpotees
  Ühepoolsed hüpoteesid
  Sisuka hüpoteesi tõestamiseks võime kasutada lisas 1 toodud kriteeriume, kus vastav statistik T arvutatakse järgmiselt:
  kus
  on vastanute vahede (erinevuste) keskmine ja standardhälve ning n on vastanute arv.
  

• 4.3.5. Hüpoteesid kahes üldkogumis binaarse tunnuse väärtuse osakaaludele

  
  Osakaalude võrdlemiseks eeldame, et uuritavad valimid on sõltumatud ja suured, mõlemas vähemalt 30 vastanut. Tähistades ühes üldkogumis binaarse tunnuse väärtuse osakaalu
  ja teises üldkogumis sama väärtuse osakaalu , saame järgmised kahe- ja ühepoolsed hüpoteesid.
  Kahepoolne hüpotees
  Ühepoolsed hüpoteesid
  Kontrollimiseks kasutatav statistik arvutatakse järgmiselt:
  Toodud valemis n1 on esimese valimi maht ja k1 väärtuse sagedus esimeses valimis ning n2 on teise valimi maht ja k2 väärtuse sagedus teises valimis.
  

  Lisa 1. Kriteeriumid sisuka hüpoteeside kontrollimiseks

  
  Kontrollitav hüpoteesipaar
  T-statistik
  Kahepoolne hüpotees
  Ühepoolsed hüpoteesid
  Eeldame suurt valimit, n>60
  Eeldame suuri valimeid n1,2>30
  Eeldame suuri valimeid n1,2>30
  Tingimus sisuka hüpoteesi H1 tõestamiseks
  

• Lisa 2. Valik Studenti t-jaotuse täiendkvantiilide väärtuseid

   
  Olulisusnivoo a ehk suurim lubatud eksimise tõenäosus
  Vabadusastmete arv (n-1)
  10%
  5%
  2,5%
  1%
  0,5%
  1
  3,08
  6,31
  12,71
  31,82
  63,66
  2
  1,89
  2,92
  4,30
  6,96
  9,92
  3
  1,64
  2,35
  3,18
  4,54
  5,84
  4
  1,53
  2,13
  2,78
  3,75
  4,60
  5
  1,48
  2,02
  2,57
  3,36
  4,03
  6
  1,44
  1,94
  2,45
  3,14
  3,71
  7
  1,41
  1,89
  2,36
  3,00
  3,50
  8
  1,40
  1,86
  2,31
  2,90
  3,36
  9
  1,38
  1,83
  2,26
  2,82
  3,25
  10
  1,37
  1,81
  2,23
  2,76
  3,17
  12
  1,36
  1,78
  2,18
  2,68
  3,05
  14
  1,35
  1,76
  2,14
  2,62
  2,98
  16
  1,34
  1,75
  2,12
  2,58
  2,92
  18
  1,33
  1,73
  2,10
  2,55
  2,88
  20
  1,33
  1,72
  2,09
  2,53
  2,85
  25
  1,32
  1,71
  2,06
  2,49
  2,79
  30
  1,31
  1,70
  2,04
  2,46
  2,75
  40
  1,30
  1,68
  2,02
  2,42
  2,70
  60
  1,30
  1,67
  2,00
  2,39
  2,66
  120
  1,29
  1,66
  1,98
  2,36
  2,62
  100000
  1,28
  1,64
  1,96
  2,33
  2,58