Laadullinen menetelmätutkimus on tärkeä osa tilastojen laadintaan käytettävien tietojen keräämistä. Tilastokeskuksessa olemme testanneet survey- eli kyselylomakkeita jo yli 20 vuoden ajan. 

Testaustoiminnan käynnistämisen taustalla olivat kansainväliset havainnot siitä, etteivät lomakekysymykset aina mittaa sitä mitä niiden on tarkoitus mitata. Esimerkiksi kysymysten sanamuotojen, kysymysjärjestyksen tai vastausvaihtoehtojen pientenkin muutosten havaittiin tuottavan suuria muutoksia vastauksiin (Lehtinen & Ahola 2002). 

Testaamme sekä henkilöille ja kotitalouksille että yrityksille ja yhteisöille kohdennettuja kyselylomakkeita niiden suunnitteluvaiheessa. Testauksien avulla voimme parantaa tilastojen laadintaan kerättyjen aineistojen ja tilastojen laatua sekä vähentää tilastojen mittausvirheitä. 

Selkeät kysymykset, ymmärrettävät käsitteet ja helppokäyttöiset verkkolomakkeet tekevät vastaamisesta miellyttävän kokemuksen ja lyhentävät vastaamiseen käytettyä aikaa. Lomaketestauksen historiasta voit lukea Jaana Huhdan ja Merja Kallio-Peltoniemen artikkelista. 

Kyselylomakkeiden testauksessa pureudutaan vastaamisprosessiin 

Käytämme lomakkeiden testauksessa erilaisia laadullisen tutkimuksen menetelmiä. Tutkimme lomakekysymyksiin vastaamista erityisesti kognitiivisin haastatteluin (esim. Willis 2011). Haastatteluihimme osallistuu vuosittain noin 50-100 kansalaista ja yritystä. 

Koronapandemian takia teemme tällä hetkellä kaikki testaukset etäyhteyksin. Aiemmin kutsuimme haastateltavat Tilastokeskukseen ja haastattelimme heitä omassa testaustilassamme tai vierailimme yrityksissä.

Kognitiivisen psykologian näkökulmasta kyselylomakkeen vastaaminen koostuu erilaisista kognitiivista tehtävistä (esim. Sundman ym. 1996). Pureutumalla vastaajan kognitiivisiin prosesseihin hankimme tietoa siitä, kuinka vastaajat ymmärtävät tiedonkeruulomakkeiden kysymyksiä ja käsitteitä, ja millaisia tulkintoja he niistä tekevät. 

Saamme tietoa myös siitä, millainen prosessi vastaaminen itsessään on, ja kuinka vastaajat pystyvät vastaaman kysymyksiin muistinvaraisesti tai palauttamalla mieleensä vastaamiseen vaadittavat tiedot. Haastattelemalla vastaajia selvitämme, miten vastaajat muotoilevat vastauksiaan ja sovittavat niitä vastausvaihtoehtoihin. 

Lomakkeen sisällön testaamisen rinnalla selvitämme haastatteluissa lomakkeen käytettävyyttä: ovatko kyselylomakkeiden tekniset ratkaisut vastaajan kannalta tarkoituksenmukaisia ja lomakkeet helppoja käyttää. Näitä asioita on vaikea tutkia kattavasti muutoin kuin kysymällä kyselylomakkeiden käyttäjiltä itseltään. 

Verkkolomakkeen kysymystä seuraa lisäkysymys 

Lomakekysymyksiä testataan myös verkossa, ja tällaisista testauksista käytetään web probing -nimitystä (esim. Fowler & Willis 2019). Kansainvälinen kiinnostus menetelmän käyttöön ja kehittämiseen kyselylomakkeiden suunnittelussa on kasvanut, kun paperilomakkeista on siirrytty verkkolomakkeisiin. 

Menetelmä on eräänlainen kognitiivisten haastattelujen muunnelma verkossa. Kognitiivisissa haastatteluissa vastaajia kannustetaan sanoittamaan ajatusprosessiaan kyselylomakkeen kysymyksiin vastatessaan. Myös web probingissa sovelletaan tätä ääneen ajattelun menetelmää. 

Verkkotestauksessa ääneen ajattelu rajoittuu takautuvan ääneen ajattelun käyttöön.  Etukäteen suunniteltujen lisäkysymysten avulla selvitetään vastaajan tekemiä tulkintoja testattavista kysymyksistä ja koko vastaamisprosessia.

Käytännössä testaaminen tapahtuu usein siten, että vastaaja vastaa verkossa ensin yksittäiseen lomakekysymykseen, jonka jälkeen lisäkysymys näytetään lomakkeella. 

Tarkentavien kysymysten esittämistä voi rajata verkossa samalla tapaa kuin lomakekysymysten esittämistä. Tietyt kysymykset kysytään vain tietyn vastauksen antaneilta. Jos lisäkysymys syystä tai toisesta esitetään eri lomakesivulla kuin testattava kysymys, toistetaan sen yhteydessä myös testattava kysymys tai vastaajan valitsema vastausvaihtoehto. Vastaaja ei välttämättä muista aiemmin esitettyä kysymystä tai edellä antamaansa vastausta. 

Verkkotestauksessa toimivat kognitiivisissa haastatteluissa käytetyt avoimet kysymykset. Ne rohkaisevat vastaajaa sanoittamaan ajatteluaan ja kertomaan ajatuksiaan. Paljon käytettyjä kysymyksiä ovat esimerkiksi:

• ”Miten päädyit vastaukseesi?”
• ”Kertoisitko omin sanoin, mitä (aihe) tarkoittaa?”
• ”Mitä ajattelit vastatessasi kysymykseen?”
• ”Kertoisitko lisää” (aihe)?”

Myös suljettuja kysymyksiä käytetään. Esimerkiksi kysymykseen ”Luitko ohjeen ennen kuin vastasit?” pyydetään vastaus vaihtoehdoin ”kyllä” tai ”ei”.

Usein suljettua kysymystä seuraa verkkotestauksessa ja kognitiivisessa haastattelussa avoin lisäkysymys, jolla vastaajan ajatusprosessia selvitetään vielä lisää. Tutkijat eivät ole yksimielisiä siitä, kumpi kysymystyyppi toimii verkkotestauksissa paremmin ja missä järjestyksessä (esim. Meitinger ym. 2018). Usein käytetäänkin molempia kysymystyyppejä.

Käyttöön liittyy niin etuja kuin rajoitteita 

Web probing on kustannustehokas testausmenetelmä (esim. Behr ym. 2017, Fowler & Willis 2019). Menetelmällä voidaan syventää kognitiivisissa haastatteluissa kerättyä tietoa. Sillä voidaan tutkia haastatteluissa esille tulleiden asioiden yleistettävyyttä laajempaan kohdejoukkoon ja syventää ymmärrystä muuttujien välillä olevista tilastollisista merkitsevyyksistä.

 Edut kognitiivisiin haastatteluihin nähden:

• Verkossa testaamalla tavoitetaan lyhyessä ajassa iso joukko vastaajia. 
• Testauksia varten ei tarvita erillisiä haastattelutiloja. 
• Vastausten keräämiseen tarvittava aika on lyhyt (esimerkiksi yksi viikko).
• Vastaajien maantieteellinen sijainti ei rajoita osallistumista eikä haastattelijan tai haastateltavan tarvitse matkustaa testausten vuoksi. 
• Verkkotestaukseen osallistuminen voidaan järjestää anonyymisti. Tämä on etu herkkien, vaikkapa vastaajien asenteisiin tai terveyteen liittyvien kysymysten testauksissa.  
• Haastattelijan läsnäolo ei vaikuta vastaajan käyttäytymiseen testaustilanteessa. 

Menetelmän rajoitukset: 

• Verkossa testattavia kysymyksiä ja niiden vastaamista tutkivia lisäkysymyksiä voi olla rajallinen määrä.
• Menetelmä ei sovi koko kyselylomakkeen testaamiseen. 
• Verkossa ei ole mahdollisuutta tarttua vastaajan esille tuomiin asioihin eikä esittää spontaaneja lisäkysymyksiä. 
• Mahdollisuudet vastaajien motivointiin testaustilanteessa ovat vähäiset. Motivointi on tehtävä jo testattavia rekrytoitaessa.  
• Tarkentaviin kysymyksiin annetut vastaukset ovat lyhyempiä ja vähemmän kuvailevia kuin kognitiivisissa haastatteluissa.
• Verkossa jätetään vastaamatta tarkentaviin kysymyksiin herkemmin kuin kognitiivisissa haastatteluissa. Testauksiin on rekrytoitava enemmän testaajia.
• Testauksiin osallistuminen edellyttää paitsi pääsyä verkkoon myös riittäviä digitaitoja.

Tilastokeskuksen kokemukset varovaisen myönteisiä 

Kokeilujemme perusteella menetelmällä saadaan lomakekysymyksiä koskevaa tietoa vastaajien tekemistä tulkinnoista, vastaajan kohtaamista haasteista ja vastausten laadusta. 

Kuten Lenzner & Neuert (2017) omassa tutkimuksessaan toteavat, menetelmä sopii yksittäisten lomakekysymysten ja käsitteiden testaamiseen kyselylomakkeiden suunnitteluvaiheessa. Sillä voidaan tutkia myös vastaajien tulkintoja jo käytössä olevista kysymyksistä. Joidenkin tutkimusten mukaan verkkotestauksissa voidaan saada esille samankaltaisia asioita kuin kognitiivisilla haastatteluilla (Fofler & Willis 2019, Meitinger ym. 2017).

Menetelmällä ei aina saada riittävän tarkkaa tietoa. Etenkin silloin kun tutkitaan kysymyksiä, joihin vastataan kokemusperäisesti, on kognitiivinen haastattelu sopivampi tutkimusmenetelmä. Ilman kognitiivisten haastattelujen spontaaneja lisäkysymyksiä esimerkiksi tiedot vastaajien omaan terveydentilaan liittyvien kysymysten tulkinnoista voivat verkossa testaten jäädä epätarkoiksi.    

Kun yksittäisiä kysymyksiä testataan verkossa ilman kyselylomakkeen aihepiirin mukaista kontekstia, tulosten perusteella ei voida varmasti tietää kysymysten toimivuudesta kontekstissa, jossa niitä käytetään. Esimerkiksi henkilökohtaista terveyttä mittaavien terveyskysymysten konteksti on erilainen työllisyyttä ja työttömyyttä mittaavassa tutkimuksessa kuin terveystutkimuksessa, ja tämä vaikuttaa vastaamiseen.

Mitä ja miten olemme testanneet

Verkkotestauksissamme aiheina ovat olleet auton ostoon liittyvät vaihtoehtoiset kysymykset sekä suomalaisten matkustamiseen ja yleiseen terveydentilaan liittyvät kysymykset. 

Olemme tutkineet verkossa myös kysymystä kotitalouden yhteenlasketuista tuloista. Yrityksiltä olemme selvittäneet web probingia hyödyntäen yritysten ulkomaan toimintoihin liittyviä käsitteitä. 

Kuvassa 1 on kolme esimerkkiä tekemistämme verkkotestauksista. Testaajina käytämme ensi sijassa asiakaspaneelimme Signaalin täysi-ikäisiä jäseniä, joita kutsumme kysymysten testauksiin sähköpostilla. Enimmillään olemme lähettäneet 180 kutsua. 

Tekemiemme testausten perusteella vastaajat vastaavat lisäkysymyksiin innokkaasti. Lähes jokainen testattuun kysymykseen vastannut vastaa myös lisäkysymykseen. Vastaustavalla (valmiin vastausvaihtoehdon valinta vai avovastaus) ei ole ollut vaikutusta vastausaktiivisuuteen. 

Olemme rajoittaneet testauksissamme tarkentavien kysymysten määrän kahdeksasta kymmeneen, jolloin vastaamisaika ei ole 15 minuuttia pidempi. Tällä on voinut olla suotuisa vaikutus verkkotestauksiemme vastausprosentteihin, jotka ovat olleet korkeita, 30–50 prosenttia.  

Meillä on mahdollisuus toteuttaa verkkotestaukset käyttämällä Tilastokeskuksen omia tiedonkeruun välineitä. Näin testattavat kysymykset näkyvät ja toimivat verkkolomakkeella kuten todellisessa vastaamistilanteessa. 

Käytämme testauksissa myös Webropol-kyselyohjelmaa. Ohjeistamme vastaajia vastaamaan kehitteillä oleviin kysymyksiin kuten oikeaan kyselyyn vastatessaan.

Kuten testausmenetelmän valinta, myös tutkimusaineiston analysoinnin menetelmä valitaan aina kulloiseenkin tutkimukseen sopivaksi. Verkkotestauksissa kertyneen aineiston analysointiin sopivat esimerkiksi tekstianalyysi, teemoittelu ja luokittelu. 

Tavoitteena yhä laadukkaammat tilastot

Web probing on yksi niistä menetelmistä, joita käyttämällä voimme varmistaa, että Tilastokeskus tuottaa laadukkaita ja luotettavia tilastotietoja. Testauksen jälkeen lomakekysymyksiä lähes aina täsmennetään ja lomakkeen käytettävyyttä parannetaan. Ideaalitilanteessa kysymyksiä testataan muutosten jälkeen uudelleen tai niitä testataan eri menetelmillä.

Tulevissa lomaketestauksissamme voimme syventää verkkotestauksen tuloksia kognitiivisissa haastatteluissa tai haastatteluissa esille tulleita asioita verkossa testaten. Voimme myös tutkia, eroavatko verkkotestausten tulokset kognitiivisten haastattelujen tuloksista, ja millä tavoin. 

Kirjoittaja työskentelee yliaktuaarina Tilastokeskuksen lomaketiimissä. 

Lähteet:

Behr, Meitinger, Braun, Kaczmirek (2017). Web probing - implementing probing techniques from cognitive interviewing in web surveys with the goal to assess the validity of survey questions. GESIS - Leibniz-Institut für Sozialwissenschaften. https://www.gesis.org/fileadmin/upload/SDMwiki/TemplateSurveyGuidelines_Web_Probing_06_27_final.pdf  Viitattu 17.3.2021

Fowler & Willis (2019): The Practice of Cognitive Interviewing Through Web Probing. Teoksessa Paul Beatty,Collins, Kaye, Padilla, Willis, Wilmot (toim): Advances in Questionnaire Design, Development, Evaluation and Testing. 451-469

Lehtinen & Ahola (2002). Surveyslaboratorio kognitiivisen tiedon soveltajana. Teoksessa Kysymisen taito. Surveylaboratorio lomaketutkimuksen kehittämisessä. Katsauksia 2002/2, Tilastokeskus.

Lenzner & Neuert (2017). Pretesting Survey Questions Via Web Probing – Does it Produce Similar Results to Face-to-Face Cognitive Interviewing? Survey Practice Vol. 10, Issue 4, 2017. 

Meitinger, Braun & Behr (2018). Sequence matters in web probing: the impact of the order of probes on response quality, motivation of respondents, and answer content. Survey Research Methods  Vol. 12, No. 2.

Sudman, Schwarz, Bradburn (1996). Thinking About Answers. 

Willis (2011). Cognitive Interviewing: A Tool for Improving Questionnaire Design.