Tiedonkeruumenetelmä vaikuttaa tutkimustuloksiin

Koko dokumentti sivutettuna

Kirjoittaja: Tara Junes on yliaktuaari Tilastokeskuksen väestö- ja elinolotilastot -yksikössä. Artikkeli on julkaistu Tilastokeskuksen Hyvinvointikatsauksessa 2/2013.

Tutkimusten lisääntyvän vastauskadon ja kustannuspaineen vuoksi kehitetään uusia tiedonkeruumenetelmiä, joilla näihin ongelmiin pyritään löytämään ratkaisuja. Tässä artikkelissa esitetään kuluttajabarometrin yhteydessä toteutetun tiedonkeruukokeilun tuloksia. Tiedonkeruun vaihtoehtoina olivat puhelinhaastattelu ja verkossa vastaaminen.

Tiedonkeruun suunnittelussa on tärkeää löytää tutkimuksen tavoitteisiin ja ajankohtaan parhaiten sopiva tiedonkeruumenetelmä. Perinteisiä tiedonkeruumenetelmiä ovat vastaajan itsenäisesti täyttämä kyselylomake (postikysely), puhelinhaastattelu ja käyntihaastattelu. Tutkimusten jatkuvasti lisääntyvä vastauskato edellyttää uusien tiedonkeruumenetelmien kehittämistä, mihin teknologia antaakin mahdollisuuksia. Yksi vaihtoehto on ns. yhdistelmätiedonkeruu (mixed-mode survey), jossa tutkimustieto kerätään useilla menetelmillä. Vaihtoehtoisia tiedonkeruumenetelmiä voivat olla esimerkiksi verkkolomake ja puhelinhaastattelu. Tavoitteena on tarjota vastaajalle parhaiten soveltuva tapa vastata tutkimuskysymyksiin.

Hyvin toimiessaan yhdistelmätiedonkeruu voi pienentää vastauskadosta aiheutuvaa harhaa tai tiedonkeruukustannuksia. Yleensä kustannusten ja otannasta johtumattoman harhan vähentäminen ei kuitenkaan onnistu samanaikaisesti yhdistelmätiedonkeruussa (De Leeuw 2005). Tämän artikkelin pohjana olevassa tiedonkeruukokeilussa havaittiin esimerkiksi, ettei lisävaihtoehtona tarjotulla verkkolomakkeella saatu aktivoitua nuoria vastaajia osallistumaan sen paremmin kuin pelkällä puhelinhaastattelullakaan. Mahdollisilla yhdistelmätiedonkeruun hyödyillä on myös hintansa: voiko kaksi erilaista tiedonkeruumenetelmää yhdistämällä päätyä samoihin tuloksiin kuin yhdellä menetelmällä?

Esittelen tässä artikkelissa kuluttajabarometrin tiedonkeruun yhteydessä toteutettua kokeilua ja siitä saatuja tuloksia. Vertaan eri tiedonkeruumenetelmillä saatuja tuloksia toisiinsa iän ja koulutuksen mukaan. Kuluttajabarometri on tutkimus, jossa tiedustellaan suomalaisten taloudellisia mielialoja, odotuksia ja aikomuksia. Vastaajilta kysytään mm. arvioita omasta taloudesta, Suomen taloudesta ja työttömyydestä sekä kotitalouksien aikomuksia säästää, ottaa lainaa ja käyttää rahaa kestokulutustavaroiden ostamiseen.

Kuluttajabarometrin tiedonkeruukokeilu

Kuluttajabarometrin tiedot kerätään kuukausittain puhelinhaastattelulla noin 1 500:ltä 15–84-vuotiaalta suomalaiselta. Marraskuussa 2012 toteutettiin normaalin kuukausikeruun lisäksi kokeilu, jossa tutkimustiedot kerättiin kahdella eri menetelmällä: internetissä itse täytettävällä verkkolomakkeella ja Tilastokeskuksen puhelinhaastattelijoiden tekemillä puhelinhaastatteluilla.

Tiedonkeruukokeilussa tutkimukseen valituille lähetettiin verkkovastaamiseen tarvittavat tunnukset sisältävä saatekirje, jossa kerrottiin mahdollisuudesta osallistua tutkimukseen myös puhelimitse. Verkkolomake oli avoinna ensimmäisen tiedonkeruuviikon. Sen jälkeen niihin, jotka eivät olleet vastanneet verkkolomakkeeseen, otettiin yhteys puhelimitse ja suostuteltiin osallistumaan haastatteluun. Näin tutkimukseen valituille annettiin mahdollisuus valita kahdesta eri vastaustavasta.

Tiedonkeruukokeilussa saatiin yhteensä 1 307 vastausta, joista 42 prosenttia annettiin verkkolomakkeella. Kokonaisvastausaste lähtöotoksesta oli 56 prosenttia, mikä oli jonkin verran alhaisempi kuin samaan aikaan toteutetussa kuukausitutkimuksen puhelinhaastattelussa (61 %). Samansuuntainen tulos saatiin myös vuonna 2011 toteutetussa kuluttajabarometrin yhdistelmätiedonkeruukokeilussa, tosin tiedonkeruukokeilujen vastausasteet eivät ole täysin vertailukelpoisia keskenään (Taskinen 2011).

Sivun alkuun

Kuluttajien luottamusindikaattori

Kuluttajabarometrin keskeisin tunnusluku on kuluttajien talousnäkemykset ja -arviot tiivistävä luottamusindikaattori, joka on neljän keskeisen kysymyksen saldoluvun keskiarvo. Luottamusindikaattoria varten saldoluvut lasketaan vastaajan oman talouden ja Suomen talouden tulevaisuutta koskevia odotuksia sekä kotitalouden säästämismahdollisuuksia ja työttömyyskehitystä mittaavista kysymyksistä. Saldoluku on positiivisten ja negatiivisten vastausosuuksien painotettu erotus. Saldoluvun laskennassa neutraalit tai en osaa sanoa -tyyppiset vastaukset eivät suoraan vaikuta saldoluvun arvoon. Teoreettinen vaihteluväli saldoluvulla on -100 − +100. Koska luottamusindikaattori lasketaan neljän saldoluvun keskiarvona, on sen teoreettinen vaihteluväli sama kuin yksittäisellä saldoluvulla.

Luottamusindikaattori ja sen osatekijöiden saamat arvot puhelinhaastattelussa (normaali kuukausitutkimus) ja tiedonkeruukokeilussa on esitetty kuviossa 1. Tulosten perusteella voidaan havaita, että tiedonkeruukokeilu tuottaa selvästi alhaisemman saldoluvun arvon kaikille luottamusindikaattorin osatekijöille ja näin myös luottamusindikaattorille. Pienimmillään ero − kaksi yksikköä − on työttömyyskehitystä kuvaavassa saldoluvussa. Keruumenetelmällä ei ole ollut vaikutusta arvioihin tulevasta työttömyystilanteesta. Muiden saldolukujen erot ovat suurempia. Suurimmillaan ero näyttäisi olevan säästämismahdollisuuksia koskevissa vastauksissa, joissa pelkän puhelinhaastattelun ja tiedonkeruukokeilun tuottamien saldolukujen ero on seitsemän yksikköä.

Kuvio 1. Kuluttajien luottamusindikaattori osatekijöineen kahdella eri keruumenetelmällä marraskuussa 2012. Saldolukuja.

Lähde: Tilastokeskus. Kuluttajabarometri.

Yhdistelmätiedonkeruukokeilun tuottamat pessimistisemmät näkymät selittyvät sillä, että verkkolomakkeella annetut vastaukset olivat negatiivisempia kuin puhelinhaastattelussa annetut vastaukset. Tämä ilmenee taulukosta 1, jossa on esitetty luottamusindikaattorin ja sen osatekijöiden arvot pelkän puhelinhaastattelun, tiedonkeruukokeilun sekä tiedonkeruukokeilun osa-aineistoja käyttäen. Tiedonkeruukokeilun osa-aineistojen tuottamia saldolukuja tulkitaan täysin samalla tavalla kuin pelkän puhelinhaastattelun tai koko tiedonkeruukokeilun. Taulukosta havaitaan esimerkiksi se, että luottamusindikaattorin arvo tutkimuksen perusjoukossa pelkän verkkoaineiston perusteella tuotettuna on -5,2.

Taulukko 1. Luottamusindikaattori osatekijöineen kuukausitutkimuksessa ja tiedonkeruukokeilussa marraskuussa 2012. Saldolukuja.

  Oma talous Suomen talous Säästämis-mahdollisuudet Työttömyys Luottamus
Pelkkä puhelinhaastattelu 4,6 -10,1 43,9 -34,5 1,0
Tiedonkeruukokeilu (verkkolom.+puh) 1,5 -15,3 36,9 -36,5 -3,4
Tiedokeruukokeilu:
puhelin 		4,4 -13,5 39,9 -36,5 -1,4
Tiedonkeruukokeilu:
verkkolomake 		-1,5 -17,0 33,6 -35,9 -5,2

Lähde: Tilastokeskus. Kuluttajabarometri.

Suurimmillaan erot puhelinhaastattelun ja verkkolomakkeen tuottamien saldolukujen välillä ovat oman talouden tulevaisuutta ja kotitalouden säästämismahdollisuuksia mittaavissa saldoluvuissa. Yleistä talouskehitystä mittaavissa kysymyksissä erot ovat näitä pienempiä, ainakin tarkasteltaessa luottamusindikaattorin osatekijöitä.

Sivun alkuun

Ikäluokan ja koulutuksen yhteys menetelmäeroihin

Kuluttajabarometrin menetelmää tutkittaessa on huomattu vastaajan iän ja koulutustason vaikuttavan mielipiteisiin säästämisen edullisuudesta ja oman talouden tulevaisuudesta (Kangassalo 2002). Tiedonkeruukokeilussa saatiin vahvistusta iän ja koulutuksen vaikutuksesta myös luottamusindikaattoriin. Kuvion 2 perusteella voidaan havaita, että iäkkäät vastaajat ovat pessimistisempiä kuin nuoret aineiston keruumenetelmästä riippumatta. Tiedonkeruukokeilu tuottaa lähes kaikissa ikäluokissa alhaisemman arvon luottamusindikaattorille kuin kuukausituotannon pelkkä puhelinhaastattelu. Tiedonkeruumenetelmän vaikutus luottamusindikaattorin arvoon vaihtelee selvästi ikäluokittain. Esimerkiksi 15–29-vuotiaiden ikäryhmässä ero pelkän puhelinhaastattelun ja tiedonkeruukokeilun välillä on noin kymmenen yksikköä kun yli 65-vuotiaiden ikäryhmässä eroa ei ole ollenkaan.

Kuvio 2. Kuluttajien luottamusindikaattori ikäryhmittäin marraskuussa 2012. Luottamusvälit (95 %) esitetty mustalla janalla. Saldolukujen keskiarvoja.

Lähde: Tilastokeskus. Kuluttajabarometri.

Kuviossa 2 mielenkiintoisin ikäryhmä on 30–44-vuotiaat, jossa luottamusindikaattorin ero pelkän puhelinhaastattelun ja tiedonkeruukokeilun välillä on vain noin kaksi yksikköä. Kyseinen ero ei todennäköisesti ole kuviossa esitettyjen luottamusvälien perusteella tilastollisesti merkitsevä. Toisin sanottuna, ero luottamusindikaattorin arvoissa näyttäisi johtuvan todennäköisemmin satunnaisvaihtelusta kuin tiedonkeruumenetelmästä. Tällaisen johtopäätöksen tekeminen olisi kuitenkin virheellistä, sillä 30–44-vuotiaiden ikäryhmässä tiedonkeruukokeilun puhelinhaastattelun ja verkkolomakkeen luottamusindikaattorin välinen ero on suuri, noin 14 yksikköä, ja selvästi tilastollisesti merkitsevä. Oikea johtopäätös on, että 30–44-vuotiaiden ikäryhmässä verkkolomakkeen ja puhelinhaastattelun yhdistäminen tuottaa suunnilleen saman tuloksen kuin pelkkä puhelinhaastattelu. Yksittäisen tiedonkeruumenetelmän (verkkolomake tai puhelinhaastattelu) vaikutus luottamusindikaattorin arvoon on sen sijaan kyseisessä ikäryhmässä suuri, myös muita ikäryhmiä selvästi suurempi.

Toinen talousluottamukseen merkittävästi vaikuttava taustamuuttuja on suoritettu tutkinto. Suurimmat erot kuukausituotannon puhelinhaastattelun ja tiedonkeruukokeilun väliltä löytyvät vain perusasteen koulutuksen tai ammattikorkeakoulun suorittaneiden ryhmissä. Nämä erot ovat kuviossa 3 esitettyjen luottamusvälien perusteella hyvin todennäköisesti tilastollisesti merkitseviä. Sen sijaan pelkän keskiasteen tai ylemmän korkeakoulututkinnon suorittaneiden ryhmissä keruumenetelmän vaikutus luottamusindikaattorin arvoon jää pienemmäksi. Tutkinnolla ja iällä on yhteys siten, että esimerkiksi pessimististen, pelkän perusasteen tutkinnon suorittaneiden joukosta löytyy enemmän yli 45-vuotiaita kuin nuorempia.

Kuvio 3. Luottamusindikaattori suoritetun tutkinnon mukaan marraskuussa 2012. Luottamusvälit (95 %) mustalla janalla esitettynä. Saldolukujen keskiarvoja.

Lähde: Tilastokeskus. Kuluttajabarometri.

Sivun alkuun

Vastaustapojen väliset menetelmäerot

Selkeät erot verkkolomake- ja puhelinhaastatteluvastausten välillä eivät tulleet yllätyksenä. Monet tutkimukset ovat osoittaneet tiedonkeruumenetelmällä olevan vaikutusta tuloksiin, etenkin verrattaessa käynti- tai puhelinhaastattelua itsenäisesti täytettyyn lomakkeeseen (De Leeuw 1992). On myös osoitettu, että puhelimitse annetut vastaukset ovat verkkolomakkeella annettuja vastauksia positiivisempia. Puhelinhaastattelussa vastaaja valitsee todennäköisemmin esimerkiksi viisiportaisen vastausasteikon positiivisimman ääripään kuin verkkolomaketta täyttävä. (Christian ym. 2008.)

Tiedonkeruumenetelmän vaikutusta vastausjakaumaan on tarkasteltu kuviossa 4 oman talouden tulevaisuutta mittaavan saldoluvun vastausvaihtoehtojen kautta. Kuviosta havaitaan, että verkkolomake tuottaa puhelinhaastattelua suuremmat prosenttiosuudet oman talouden tulevaisuutta jonkin verran tai paljon huonompana pitäville. Vastaavasti positiivisia mielipiteitä edustavat prosenttiosuudet ovat verkkolomakkeen perusteella puhelinhaastattelua pienemmät. Myös muiden taulukossa 1 esitettyjen saldolukujen vastausjakaumat ovat samansuuntaiset.

Kuvio 4. Oma taloudellinen tilanne 12 kk kuluttua verrattuna tilanteeseen tällä hetkellä tiedonkeruukokeilussa marraskuussa 2012. Prosenttia.

Lähde: Tilastokeskus. Kuluttajabarometri.

Itsenäisesti täytettävällä verkkolomakkeella on vaikutusta myös en osaa sanoa -tyyppisiin vastauksiin. Kuviossa 4 verkkolomakkeen tuottama en osaa sanoa -vastausten osuus on neljä prosenttia, kun puhelinhaastattelun perusteella vastaava osuus on yksi prosentti. Esitetyt prosenttiosuudet ovat perusjoukon tasolle painotettuja tuloksia, mutta painottamattomat tulokset ovat samansuuntaiset. Vastaavia eroja on tullut esille myös muissa tutkimuksissa. Esimerkiksi hollantilaisen Integrated safety monitor -tutkimuksen tiedonkeruukokeilussa verkkolomakkeella graffitien yleisyyttä kartoittavaan kysymykseen en osaa sanoa -vastauksia tuli yhteensä seitsemän prosenttia. Kyseisen tiedonkeruukokeilun puhelinhaastattelussa en osaa sanoa -vastauksia tuli yksi prosentti. (Kraan 2010, 8.)

Sivun alkuun

Tiedonkeruumenetelmien välisten erojen syyt

Yhtenä mahdollisena syynä tutkimustulosten eroihin pidetään haastattelutilanteeseen liittyvää sosiaalista suotavuutta. Haastattelututkimuksessa sosiaalinen suotavuus voi esimerkiksi saada neutraalisti asiaan suhtautuvan vastaajan valitsemaan kantaa ottavan vastausvaihtoehdon neutraalin vaihtoehdon sijaan. Tutkimuksissa onkin pystytty osoittamaan, että vastaajan halukkuus vastata arkoja aihepiirejä käsitteleviin kysymyksiin kasvaa ja sosiaalisen suotavuuden kynnys laskee, kun vastaaja täyttää tutkimuslomakkeen itse (De Leeuw 2005). Sosiaalisen suotavuuden poisjäännin voi tulkita myös siten, että lomakkeella annetut vastaukset ovat totuudenmukaisempia (Bethlehem & Biffignandi 2012).

Myös kysymysten luonteella saattaa olla vaikutusta erilaisten tiedonkeruumenetelmien tuottamien tulosten eroihin. Kuluttajabarometrissa esitetään kysymyksiä sekä yleisestä että kotitalouden omasta taloudellisesta tilanteesta. Kun puhelinhaastattelussa tiedustellaan yleiseen taloudelliseen tilanteeseen liittyviä asioita, muodostaa vastaaja mielipiteensä spontaanisti olemassa olevien tietojensa perusteella. Verkkolomaketta täyttäessä on puolestaan helppo käydä tutustumassa aiheeseen liittyviin talousuutisiin tai suhdannelaitosten julkaisemiin talousennusteisiin. Näin lomakkeella vastaaminen ei enää olisi spontaania, omiin mielikuviin perustuvaa vastaamista, vaan siitä tulisi "oikeiden" vastausten etsimistä.

Sosiaalisen suotavuuden ohella lomakevastausten ja haastattelussa annettujen vastausten eroja on toisinaan selitetty vastausvaihtoehtojen esitystapaan liittyvillä alku- ja loppuvaikutuksilla. Teorian mukaan vastaaja valitsee puhelinhaastattelussa yleisesti viimeiseksi esitetyn vastausvaihtoehdon (recency effect), kun taas lomakkeella ensimmäiseksi esitetty vastausvaihtoehto on suositumpi (primary effect) (Bethlehem & Biffignandi 2012). Tällainen selitys ei kuitenkaan päde luottamusindikaattorin osatekijöiden kohdalla, sillä puhelinhaastattelu tuotti suuremmat prosenttiosuudet ensimmäiseksi luettuihin positiivisiin vastausvaihtoehtoihin kuin viimeiseksi luettuihin pessimistisiin vaihtoehtoihin. Sama pätee käänteisesti verkkolomakkeella vastaamiseen, jossa ensimmäiseksi esitetyt positiiviset vastausvaihtoehdot olivat epäsuositumpia kuin viimeiseksi esitetyt pessimistiset vastausvaihtoehdot.

Sivun alkuun

Yhdistelmätiedonkeruu tuotti puhelinhaastattelua pessimistisemmät talousnäkemykset

Toteutetun tiedonkeruukokeilun tärkein tulos on se, että puhelinhaastattelun ja yhdistelmäkeruun tuottamien luottamusindikaattoreiden välillä on tilastollisesti merkitsevä ero. Yhdistelmäkeruun verkkolomakkeella saadut pessimistiset vastaukset laskivat koko yhdistelmäkeruun tuottamia saldolukuja pelkkään kuukausitutkimuksen puhelinhaastatteluun verrattuna. Erityisesti eroja syntyi nuorten ja keski-ikäisten ikäryhmissä (15–29- ja 45–64-vuotiaat) sekä pelkän perusasteen tai ammattiopiston käyneiden ryhmissä.

Kuluttajabarometrin perusjoukko oli tiedonkeruukokeilussa täsmälleen sama kuin kuukausitutkimuksen puhelinhaastattelussa: 15–84-vuotiaat ja kaikki kotitaloudet. Tilastollisesti merkitsevien erojen myötä herääkin kysymys siitä, mikä tiedonkeruumenetelmä edustaa parhaiten valitun perusjoukon mielipidettä. Kuluttajabarometrin aikasarjojen jatkuvuuden kannalta on luontevinta ajatella, että lokakuusta 1995 alkaen toteutettu kuukausittainen puhelinhaastattelu on paras tapa tiedonkeruun toteuttamiseksi. Tällaista näkemystä puoltaa myös haastattelututkimuksessa saatujen vastausten todennäköisesti suurempi spontaanius yhdistelmätiedonkeruuseen verrattuna. Puhelinhaastattelussa ei ole mahdollista käyttää verkkoa eikä muitakaan apuvälineitä tiedon etsimiseen.

Sivun alkuun

Lähteet:

Bethlehem, Jelke & Biffignandi, Silvi 2012. Handbook of Web Surveys. New Jersey: John Wiley & Sons, Inc.

Christian, Leah Melani & Dillman, Don A. & Smyth, Jolene D. 2008. The Effects of Mode and Format on Answers to Scalar Questions in Telephone and Web Surveys. Teoksessa: James M. Lepkowski & Clyde Tucker & J. Michael Brick & Edith D. de Leeuw & Lilli Japec & Paul J. Lavrakas & Michael W. Link & Roberta L. Sangster (toim.). Advances in Telephone Survey Methodology. New Jersey: John Wiley & Sons, Inc.

Kangassalo, Pertti 2002. Tiedonkeruutapa voi heiluttaa näkemyksiä taloudesta. Hyvinvointikatsaus 1/2002.

Kraan, Thomas & van den Brakel, Jan & Buelens, Bart & Huys, Harry 2010. Social desirability bias, response order effect and selection effects in the new Dutch Safety Monitor. Discussion paper (10004), Statistics Netherlands.

de Leeuw, Edith D. 1992. Data Quality in Mail, Telephone, and Face-to-face Surveys. Amsterdam: TT-Publicaties.

de Leeuw, Edith D. 2005. To Mix or Not to Mix Data Collection Modes in Surveys. Journal of Official Statistics, Vol. 21.

Taskinen, Pertti 2011. Puhelimen ja netin yhteiskäyttö tiedonkeruussa sopii parhaiten hyvin koulutetuille. Hyvinvointikatsaus 4/2011.

Päivitetty 23.9.2013