Arjen keskustelukäytännöt pätevät myös lomakesuunnittelussa

Petri Godenhjelm

Lomaketestaus nostaa esille yleisen lomaketutkijan työhön liittyvän ongelman; kuinka paljon ja missä yhteydessä antaa lisätietoa tutkimuksen käsitteistä ja kysymyksistä.

Lomaketutkimusta voisi verrata kalan narraamiseen. Niin hyvän kalasaaliin kuin onnistuneen tiedonkeruunkin taustalla ovat hyvät vieheet ja välineet. Tutkijan vieheenä eivät ole vain irralliset kysymykset, vaan tarkkaan hiottu kokonaisuus, jossa pyritään huomioimaan kaikki vastaamiseen mahdollisesti vaikuttavat seikat.

Ohjeiden ja määritelmien muotoileminen ja sijoittaminen lomakkeelle ovat tärkeitä strategisia valintoja, joilla on vaikutusta kerättävän tiedon laatuun. Tarkastelen artikkelissani näiden lisätietojen määrään ja sijaintiin liittyviä kysymyksiä ja ongelmakohtia. Esimerkkinä käytän Riista- ja kalatalouden tutkimuslaitoksen Suomi Kalastaa 2005 -tutkimusta, jolla selvitettiin kotitalouksien kalastamista kalastusalueittain Suomessa.

Tutkimuksen lomaketta testattiin kognitiivisilla haastatteluilla SurveyLaboratoriossa marraskuussa 2005. Suomi kalastaa 2005 -tutkimuksen tavoitteena oli saada selville kalastuspäivien määrä lupamuotojen ja pyyntitapojen mukaan. Kalastuspäivän käsite ja sen operationalisoinnin toimivuus olivat lomaketestauksen keskeisiä tavoitteita. Artikkelissa erittelen kalastuspäivien määritelmän ja siihen liittyvien ohjeiden toimivuutta, joita arvioin lomaketestauksessa.

Videointi paljastaa lomakkeen ongelmakohtia

Kysymysten tavoitteiden välittäminen aihealueen tutkijalta lomakkeen testaajalle on tärkeää. Tällä tavoin voidaan suunnitella testauksen strategia ja painopistealueet, koska kokonaisen lomakkeen, edes lyhyenkin, perusteellinen testaaminen ei ole yleensä mahdollista. Suomi Kalastaa 2005 -lomakkeen testauksen aluksi aihealueen tutkija kirjoitti omin sanoin kunkin kysymyksen tavoitteet sekä arvioi eri kysymysten keskeisyyttä tutkimuksen tavoitteiden kannalta. Näin lomakkeen testaajana pystyin suunnittelemaan haastattelukaavan ja keskittymään oleellisiin asioihin itse haastatteluissa ja haastattelujen analysoinnissa.

Kognitiivisiin haastatteluihin saatiin sellaisia helsinkiläisiä, jotka olivat kalastaneet viimeksi kuluneen 12 kuukauden aikana. Haastattelut, joissa tutkimushenkilö ajatteli ääneen vastatessaan, videoitiin. Tutkimushenkilöiden luvalla nauha-aineistoa sai katsoa myös aihealueen tutkija. Testaajan ja aihealueen tutkijan yhteinen nauhojen katselu olikin tehokas työtapa. Samalla pystyttiin tekemään myös suunnitelmia ja päätöksiä lomakkeelle tehtävistä muutoksista. Kuva-aineiston perusteella pystyttiin havainnoimaan hyvin lomakkeen täyttöprosessia. Varsinaisen lomakkeen lisäksi vastaaja sai kirjekuoressa yhteydenottokirjeen, ohjeet ja määritelmät sekä lomakkeen täyttöön tarvittavan Suomen kartan, missä kalastusalueet oli eritelty.

Kalastuspäiviä koskeva testattava kysymys kuului "Merkitkää taulukkoon numeroin omat ja kotitaloutenne muiden jäsenten yhteenlasketut kalastuspäivät vuonna 2005 kalastusalueittain ja lupamuodoittain". Kysymyksen taulukossa oli sarakkeet kalastusalueen numerolle, kalastusalueen nimelle sekä eri lupamuodoille. Erillisellä paperilla oli tähän kysymykseen liittyen ohjeet kuinka taulukko tulee täyttää, kalastuspäivien määritelmä, esimerkki sekä internetosoite, mistä saa lisätietoa kalastusmuodoista. Itse kysymystä koskeva ohje esimerkkeineen oli lähes puolen liuskan pituinen.

Ohjeisiin ei aina perehdytä

Surveytutkimuksen tekijän oletuksena on, että vastaaja lukee ja ymmärtää kysymykset ja ohjeet. Todellisuus lienee kuitenkin toinen, kuten myös tämänkin lomakkeen testaamisessa havaittiin. Osa vastaajista ryhtyi täyttämään lomaketta suoraan, joko täysin ohjeet sivuuttaen tai vain lyhyesti niitä silmäillen. Kuitenkin ohjeet sisälsivät muun muassa koko tiedonkeruun kannalta keskeisen käsitteen - kalastuspäivän - määrittelyn. Lisäksi osa vastaajista ei aluksi huomioinut lainkaan kyselyn mukana ollutta Suomen karttaa. Tämä kaikki merkitsee uhkaa kerättävän tiedon laadulle ja vertailtavuudelle.

Ohjeissa kalastuspäivän määrittely kuului seuraavasti: "Kalastuspäivällä tarkoitetaan päivää, jonka aikana on kalastettu riippumatta kalastustapahtuman kestosta. Verkko- ja katiskakalastuksesta lasketaan vain ne päivät, jolloin pyydyksiä on käsitelty pyynnin yhteydessä (laskeminen, nostaminen ja kokeminen). Mikäli saman päivän aikana on harjoitettu kahta tai useampaa pyyntitapaa, esimerkiksi ongittu ja koettu verkot, kunkin pyyntimuodon kohdalle tulee kalastuspäivämerkintä. Jos esimerkiksi kaksi henkilöä kotitaloudestanne oli ongella samana päivänä, laskekaa se kahdeksi kalastuspäiväksi".

Kun ohjetta ei luettu tai sitä ei omaksuttu, vastaajat pohtivat kysymystä ääneen esimerkiksi seuraavasti:

H5: "mä rupesin vasta siellä [myöhempi kysymys] pohtimaan, oikeestaan mulla juolahti vasta siellä mieleen, että hetkinen mehän saatettiin onkia siellä yhdessä, hatara mielikuva...."

H7: "pitäiskö nyt sitten, että riittää että vaikka meitä on kaksi niin näitä ei kerrota kahdella kuitenkaan kun me ollaan samana päivänä tehty samaa asiaa...mä oisin tehnyt sen nyt näin kun oltiin yhdessä tekemässä niin ei siinä nyt sitten kahta kertaa niitä päiviä lasketa vaikka nyt täällä[ohjeessa] on laskeskeltu, että tytär on pitänyt onkikoulua ja voihan olla et ne on mennyt päällekäinkin ne päivät, mut ei täällä siitä sanota mitään...[katsotteko että kysymys koskee sinun omaa kalastamista tällä hetkellä, niinkö?] ...ei kyl tässä on se lapsikin kun me ollaan yhdessä kalastettu, mut ku se ei ole kuitenkaan yksinänsäkään kalastanut yhtenäkään päivänä vaan yhdessä aina... [pidätte sitä sitten samana päivänä?] ...niin yhtenä suorituksena, kyl se onkimassa oli et pitäiskö se sitten tähän merkitä erikseen, seitsemän plus seitsemän niin sit se olisi neljätoista, jaa ah ehkä mä voin ratkasta sen niin että paan plus seitsemän, mut en ole ihan varma, mä vähän soveltaisin oman mielen mukaan ".

Testauksen päätyttyä ehdotimme, että osa ohjeista siirretään kysymysten välittömään yhteyteen, jotta vastaaminen tulisi sujuvammaksi. Näin myös varmistettaisiin, että kaikki vastaajat lukevat ohjeet, jolloin heillä on samanlaiset tiedot asiasta vastatessaan kyselyn keskeisiin kysymyksiin. Lopullisessa lomakkeessa tämän kysymyksen välittömään yhteyteen tuli ohje: "käyttäkää oheista karttaa paikannuksen apuna. Jos esimerkiksi kaksi henkilöä kotitaloudestanne oli ongella samana päivänä, laskekaa se kahdeksi kalastuspäiväksi. Lähetekirjeen takana on lisää täyttöohjeita."

Vastaajan näkökulma huomioitava määritelmien ja ohjeiden tekemisessä

Sujuvat ohjeet ovat osa lomakkeen hyvää käytettävyyttä. Dillman ym. (2005) pitävät lomakkeen eri osien sijoittelua tärkeänä lomakkeen käytettävyyden kannalta. Kysymysten, tarvittavien ohjeiden, vastausvaihtoehtojen ja -kenttien tulisi sijaita hyvin lähekkäin ja aina samassa järjestyksessä, jotta vastaaminen olisi mahdollisimman luontevaa ja helppoa. Visuaalisten elementtien toistolla ja johdonmukaisella graafisen kielen käytöllä lomakkeen täyttämisestä tulee miellyttävä kokemus. Visuaalisesta harmoniasta ja rytmistä syntyy positiivinen vaikutelma koko lomakkeelle. (Dillman ym., 2005.)

Erityisesti internetlomakkeiden kohdalla visuaaliset elementit tulevat lomakesuunnittelun keskiöön, koska erilaisten visuaalisten elementtien ja kuvioiden käyttö on helpompaa ja vaivattomampaa kuin perinteisissä paperilomakekyselyissä. Huoleton visuaalisten ja graafisten piirteiden käyttö voi kuitenkin johtaa arvaamattomiin seurauksiin vastausjakaumissa (ks. esim. Dillmann 2002).

Kognitiivisen psykologian liittäminen surveytutkimukseen on johtanut kysely-vastaamisprosessin mallintamiseen ja erilaisten esitestausmenetelmien kehittämiseen. Alan kirjallisuudessa on usein viitattu Gricen maksiimeihin, joilla havainnollistetaan lomaketutkimuksen perustumista arkielämän keskustelukäytäntöihin, eräänlaiseen keskusteluetikettiin (Grice 1975, Sudman ym. 1996, Tourangeau ym. 2004). Tämä pätee niin haastattelulomakkeisiin kuin myös itse täytettäviin lomakkeisiin. Gricen maksiimit, joiden noudattamista keskustelun osapuolet odottavat toisiltaan, kuuluvat seuraavasti: laatu (maxim of quality): nojaudu tosiasioihin eli älä sano asioita, joihin et itse usko tai joita pidät virheellisenä, asiayhteys (maxim of relation): puhu vain keskustelun kannalta relevanteista asioista, määrä (maxim of quantity): puhu niin informatiivisesti kuin mahdollista, mutta ei enempää kuin olisi tarve, tapa (maxim of manner): ilmaise itseäsi mahdollisimman selvästi ja vältä epäselviä ilmauksia.

Gricen mukaan keskustelun osapuolet nojaavat yhteistyön periaatteeseen, missä osallistujien teot tukevat käynnissä olevan keskustelun tarkoitusta. Lomakesuunnittelijan tulisi välttää rikkomasta tätä yhteistyöperiaatetta, jotta tiedonkeruutilanne ei aiheuttaisi kyselyihin vastaajille turhia ongelmia.

Gricen maksiimit on hyvä pitää mielessä myös internetlomakkeita suunniteltaessa. Tutkijalle saattaa olla houkuttelevaa sisällyttää lomakkeeseen monta pop-up -ikkunasta esiin saatavaa määritelmää, laaduntarkistusta ja lisäkyselyä varmistaakseen, että vastaaja saa kaiken oleellisen tiedon käyttöönsä. Tämä voi kuitenkin johtaa vastaajan turhautumiseen ja kognitiiviseen ylikuormitukseen. Vaikka kysymykset ja ohjeet olisivat kuinka selkeitä tahansa, niitä ei saa olla liikaa (Tourangeu ym. 2004).

Osa vastaajista pyrkii täyttämään lomakkeen mahdollisimman vähillä ponnistuksilla. Tästä havainnosta on kirjoittanut John Krosnick (1991), joka lanseerasi lomaketutkimuksen pariin kognitiivisen oikomisen käsitteen (satisficing).Tällä tarkoitetaan teoriaa inhimillisestä päättelystä, jonka mukaan osa vastaajista minimoi kognitiivista kuormitusta minimoimalla päättelytyötä ja tekemällä nopeita ratkaisuja, kun taas osa optimoi kysymykseen vastaamisen huolellisella kysymyksen käsittelyllä. Kognitiivisessa oikomisessa vastaajat välttävät monimutkaista muistelua, suunnittelua ja päätöksentekoa, ja toimivat sen sijaan välittömästi aisteilla saatavilla olevan informaation varassa. Lomaketutkimukseen, ja erityisesti ohjeisiin ja määritelmiin sovellettuna tämä tarkoittaa, että muut kuin välittömästi kysymyksen yhteydessä olevat ohjeet havaitaan ja käsitellään vaihtelevasti. q

Kirjoittaja on tutkija Tilastokeskuksen Elinolot-yksikön SurveyLaboratoriossa.

Lähteet:

Ahola, A., Godenhjelm, P., Lehtinen, M. (2002): Kysymisen taito. SurveyLaboratorio lomaketutkimusten kehittämisessä. Katsauksia 2002/2. Tilastokeskus.
Dillman, D., Gertseva, A., Mahon-Haff, T. (2005): Achieving Usability in Establishment Surveys Through the Application of Visual Design Principles. Journal of Official Statistics. Vol. 21, 2.
Dillman, D. (2002): Navigating the Rapids of Change: Some Observations on Survey Methodology in the Early Twenty-First Century. Public Opinion Quarterly 66.
Grice, H. P. (1975): Logic and conversation. Teoksessa: Cole, P., Morgan, T. (Toim.), Syntax and semantics: Vol 3, Speech acts. New York: Seminar Press.
Krosnick, J. (1991): Response strategies for coping with the cognitive demands of attitude measures in surveys. Applied Cognitive Psychology, 5.
Sudman, S., Bradburn, N., Schwarz, N. (1996): Thinking about answers. Jossey-Bass Publishers, San Francisco.
Tourangeau, R., Lance J. Rips, Rasinski, K. (2004): The Psychology of Survey Response. Cambridge University Press.

Päivitetty 22.6.2006