Iso osa tilastoista laaditaan nykyisin erilaisten rekisteritietojen perusteella. Rekistereistä ei kuitenkaan saada nyt eikä tulevaisuudessakaan irti tietoa useiden eri ilmiöalueiden tutkimuksia ja tilastointia varten. Ei ole sellaista rekisteriä, mistä selviäisi luotettavasti ihmisten käsitys omien tulojensa riittävyydestä.

Mistään rekisteristä ei myöskään saada selville sitä, miten yrityksissä sovelletaan ja hyödynnetään big dataa tai miten paljon ihmisten aikaa kuluu kotitöihin. Siksi osa tiedoista kerätään erikseen otoksille suunnatuilla kyselytutkimuksilla. Yleensä kysymällä saatuihin vastauksiin yhdistetään rekistereistä poimittuja tietoja, jolloin pystytään vähentämään kysymysten määrää ja näin helpottamaan vastaajien kokemaa vastausrasitetta.

Tilastokeskuksessa on pitkä perinne kysely- eli surveytutkimuksista. Tiedonkeruita tehdään edelleenkin perinteisellä postikyselyllä, käynti- ja puhelinhaastatteluilla sekä yhä kattavammin netissä verkkolomakkeiden avulla. Tavoitteena on, että vuonna 2018 kaikissa tiedonkeruissa on tarjolla mahdollisuus vastata netissä.

Tiedonantajan vastattavaksi – millä tahansa vastaustavalla – saapunut Tilastokeskuksen tiedonkeruulomake on monivaiheisen laadintaprosessin tulos. Yhä useammin tiedonkeruuaiheet tai -kysymykset valmistellaan EU-maiden tilastovirastojen ja Euroopan tilastoviraston, Eurostatin, yhteistyönä, jolloin saadaan tilastoitua samoja ilmiöitä ja synnytettyä eri maiden välille vertailtavaa tilastotietoa. Jo osana tätä prosessia ja sen jälkeen lomaketta, tai osaa siitä, työstetään Tilastokeskuksessa: testataan ja kehitetään kunnes lomake on valmis tiedonkeruuseen.

Maailmalla testattiin ensin

Otostutkimusten kehittäminen oli painottunut kansainvälisesti 1980-luvulle saakka vahvasti otantaan ja tulosten analyysimenetelmiin. 1980-luvulla alettiin liittää kognitiivisen psykologian ajatuksia surveykysymysten kehittämiseen ja kehittää laadullisen esitestaamisen menetelmiä, muun muassa yksilö- ja ryhmähaastatteluja. Murros liittyi laajemmin kansainväliseen laadullisen tutkimuksen paradigman nousuun ja yleisempään huomioon siitä, että kysymykset eivät välttämättä mittaa sitä, mitä niiden on tarkoitus mitata (esim. Belson 1981).

Suomesta osallistuttiin kiinteästi alan kansainväliseen tutkimukseen ja konferensseihin. Muun muassa Ruotsin ja Yhdysvaltain tilastotoimessa kvalitatiivisen tutkimuksen hyödyntäminen kysely- ja haastattelulomakkeiden testauksessa oli jo pitkällä, ennen kuin Suomessa testattiin ensimmäisenä työvoimatutkimuksen kysymyksiä vuonna 1985.

Ensin testaaminen painottui vahvasti henkilöille suunnattuihin tiedonkeruihin. Myöhemmin alettiin kehittää myös yrityksille kohdistettuja tiedonkeruulomakkeita vastaavilla menetelmillä. Euroopan tilastoja koskevat käytännesäännöt (2011) suosittavat testaamaan suoraan tiedonkeruuseen liittyvät lomakkeet järjestelmällisesti ennen tiedonkeruuta, ja tätä periaatetta Tilastokeskuksessakin pyritään noudattamaan. Testausmenetelmiä kehitetään tarvittaessa, sovelletaan kuhunkin testaukseen sopiviksi ja uusia kansainvälisesti käytössä olevia menetelmiä on otettu käyttöön Tilastokeskuksessa (menetelmistä ks. esim. Ahola ym. 2002, Tilastokeskus 2017).

Miksi kysymyksiä ja käsitteitä pitää testata?

Tiedonkeruukysymys tai -lomake ei ole itsessään neutraali mittausväline, vaan kysymykseen vastaaminen on aina subjektiivinen päätöksentekotilanne. Kysymyksen laatija ei välttämättä tule ilman testaamista ajatelleeksikaan, millaisia tulkintoja vastaajat voivat mieltää kysymyksistä ja vastausvaihtoehdoista. Tilastokeskuksen testaustoimintaa käynnistämässä ollut erikoistutkija Anja Ahola huomauttikin (2002), että tietojen keruuseen tulee kiinnittää huomio prosessina, jossa tutkijat asettuvat myös vastaajan asemaan.

Kysymysten laatija on oman alansa asiantuntija, jolle käsitteet, määritelmät ja koko aihepiiri ovat jokapäiväisen tuttua. Tilastoinnissa tavoiteltuja ilmiöitä on usein vaikea muotoilla sellaisella tavalla, joka olisi ymmärrettävä arkikielellä tai jolla olisi jokin kosketuspinta ihmisten omaan toimintaan tai arkeen. Vastaaja taas saattaa pohtia kyseistä aihepiiriä syvällisemmin ensimmäistä kertaa. Sanat, käsitteet ja niistä muodostetut kysymykset voivat saada eri vastaajien elämänkokemuksen ja -tilanteen myötä oman sävynsä.

Testihaastatteluja tehdään, jotta saataisiin selville vastaajien eri tulkinnat kysymyksistä ja niissä käytetyistä käsitteistä ja voitaisiin sen perusteella kehittää tiedonkeruulomakkeita ja tiedonkeruun laatua paremmaksi.

Joskus vain sanajärjestystä vaihtamalla tai Eurostatista tulleen kysymyspatteriston käännöstä hiomalla voidaan kysymyksen muotoilua parantaa yksiselitteisempään ja haettua tarkoitusta paremmin palvelevaan muotoon. Joskus myös yksinkertaiset kysymykset, kuten ”montako henkilöä kuuluu perheeseesi”, saattavat aiheuttaa ylitulkintaa. Laskenko mukaani myös itseni? Ketkä oikeastaan kuuluvat perheeseeni? Mikä on perheen määritelmä ylipäänsä tai mikä se on tässä tutkimuksessa? (Vrt. Nussbaum 2017.)

Onko sitten olemassa huonoja ja hyviä kysymyksiä? On – mutta ei yksiselitteisesti. Tarkoitus on laatia mahdollisimman toimivia kysymyksiä ja käyttää ymmärrettäviä käsitteitä. Vastaamisen ongelmatilanteet johtuvat pääsääntöisesti aina lomakkeesta ja kysymysten toimimattomuudesta siinä kontekstissa, jossa ne esitetään. Vastaajan ei pitäisi joutua tulkitsemaan, mitä kysymyksellä haetaan, vaan vastaamisen tulisi olla sujuvaa.

Kysymyksen ymmärtäminen on usein myös enemmän kuin sen kirjaimellisen merkityksen ymmärtämistä. Vastaaminen edellyttää tulkintaa kysyjän tarkoituksesta, miksi kysytään sitä mitä kysytään (Schwarz 1996). Kysymys-vastaamisprosessia voikin ajatella kommunikaationa: lomakkeen on viestittävä se, mitä halutaan kysyä ja mielellään siten, että suurin osa vastaajista ymmärtää viestin, kuten tutkijat ovat tarkoittaneet (esim. Schober 1999, Schwarz 1996, Snijkers et al. 2013, Ahola, Godenhjelm & Lehtinen 2002).

Lomakkeiden testaamisen tavoitteena on tehdä kysymyksistä ymmärrettävämpiä, helposti vastattavia ja varmistaa, että ne mittaavat sitä, mitä halutaan mitata. Laajemmassa mittakaavassa tavoitteena on parantaa kerättyjen tietojen ja tilastojen laatua. Toimivammat kysymykset ja ymmärrettävämmät käsitteet varmistavat myös sen, että vastaaminen on miellyttävää, jolloin kyselyiden keskeyttäminen on vähäisempää.

Vastauksia faktakoneesta vai stetsonista?

Yrityksille suunnattujen tiedonkeruiden testaamista ei koettu alkuun yhtä tärkeäksi. Tuntuma oli, että yrityksiltä kysytään lähinnä yksiselitteisiä faktoja, numerotietoa, jossa ei ole samassa mittakaavassa tulkinnan tai väärinymmärryksen mahdollisuuksia.

Aluksi testattiin muutamia yrityksille suunnattuja lomakkeita, eli mentiin yrityksiin paikan päälle havainnoimaan lomakkeen täyttöä ja keskustelemaan vastaamiseen liittyvistä haasteista. Myöhemmin toteutettiin tiedonkeruiden yrityksille aiheuttaman tiedonantorasitteen mittausprojekti, ja tämän jälkeen yrityksille suunnattuja verkkolomakkeita on testattu systemaattisemmin.

Testaus paljasti, kuinka tiedonantajilla oli monenlaisia hankaluuksia sekä verkkolomakkeen käytettävyyden että sisältöjen kanssa. Kysymyksiin, joihin luultiin saatavan tarkkaa numerotietoa, saatiinkin karkeaa arviotietoa tai joskus jopa hatusta vedettyjä "stetsonarvioita". Tämän tiedon avulla lomaketta paranneltiin yhdessä tilastoasiantuntijoiden kanssa.

Vähitellen lomakkeiden testaaminen vakiintui osaksi myös yrityksille suunnattujen tiedonkeruiden normaalia käytäntöä. Tällä hetkellä Tilastokeskuksen lomaketiimissä toimii sekä henkilö- että yritystiedonkeruiden testaamiseen erikoistuneita tutkijoita.

Niin kauan kuin kysellään, niin kauan testataan

Tilastokeskuksen lomaketestauksessa alkuvaiheista asti mukana olleet IT-kehittämispäällikkö Petri Godenhjelm ja tutkija Marjaana Järvensivu muistelivat, kuinka alkuvuosina lomakkeiden testaustoiminta tuntui vaativan selkeää olemassaolon perustelua. Nykyään lomaketestaus on tärkeä osa tiedonkeruuta ja vakiintunutta toimintaa pyritään kehittämään ja tehostamaan koko tilastotuotantoa palvellen.

Testauksessa haetaan aina erilaisia ratkaisuvaihtoehtoja ja arvioidaan ongelmien laajuutta: aukotonta oikeaa ja yhtä totuutta ei yleensä ole. Myös testaamisesta kerätään palautetta, ja toimintaa parannetaan asiakkaiden palautteita kuunnellen.

Tietämys ja osaaminen ovat vahvistuneet testaustoiminnan kokemuksen karttuessa. Lisäksi kansainvälinen yhteistyö on syventynyt vuonna 1997 perustetun kansainvälisen Quest-verkoston (Question Evaluation Standards) ja sen järjestämien tapaamisten myötä. Useiden tilastoaluiden lomakkeita kehitetään ja testataan kansainvälisenä yhteistyönä. Suomi on ollut näissä aktiivisesti mukana, esimerkiksi työvoimatilastointiin ja tieto- ja viestintätekniikan käyttöä koskevan tilastointiin liittyen.

Verkkotiedonkeruut vesille

Verkkotiedonkeruissa olennaista on myös tiedonkeruun käyttökokemuksen kehittäminen sekä teknisen käytettävyyden että tilastojen sisältöjen näkökulmasta. Yrityksille suunnatuissa tiedonkeruissa käytettävyystestauksen yhdistäminen sisällölliseen testaukseen on ollut mukana yritystestausten alusta asti, koska sähköiset lomakkeet ovat olleet käytössä siellä pidempään.

Henkilöille suunnatut tiedonkeruut ovat olleet enimmäkseen haastattelutiedonkeruita, mutta nekin ovat nyt siirtymässä verkkoon. Uudenlaiset välineet ja vastaamisympäristö synnyttävät yllättäviäkin haasteita – sekä mahdollisuuksia – luotettavan tiedonkeruun jatkumolle. Verkossa vastattavien lomakkeiden kehittämistyö ja käytettävyystestaus yhdistettynä sisällölliseen testaukseen on tuotu osaksi myös henkilöille suunnattuihin tiedonkeruihin.

Mobiililaitteiden raju yleistyminen viime vuosina on luonut haasteita tiedonkeruulomakkeiden tekijöille. Tiedonkeruumaailman tulisi muuttua ihmisten maailman muuttuessa ja tähän myös lomaketestaustoiminnalla pyritään vastaamaan.

Lisäksi digitalisoitunut ympäristö suoltaa erilaisia kyselyitä ja muuta informaatiota kiihtyvään tahtiin, jolloin tilastontekijöiden tulee tosissaan panostaa siihen, että virallinen sanoma erottuu ja tulee huomatuksi infoähkyn seasta. Otokseen kuuluvien vastaamaan innostaminen ja kyselyiden vastaamisen mielekkyyden esiinnosto lienevät jatkossa yhä paksumpi punainen lanka lomakesuunnittelun sekä testauksenkin näkökulmasta.

Mikään tiedonkeruulomake ei tule koskaan lopulliseksi ja valmiiksi, vaikka sitä olisi testattu ja hiottu useampaankin otteeseen. Maailma muuttuu hurjaa vauhtia: uudet ilmiöt synnyttävät uudenlaista käsitteistöä ja kieltä. Uudet tilastoitavat ilmiöt voivat olla niin vaikeita tai havainnoitavissa vasta ensi ilmiöiltään, ettei niille vielä löydy yhteisesti hyväksyttyjä ja ymmärrettyjä käsitteitä tai määritelmiä.

Tästä esimerkkinä on jakamistalous tai median käyttö (tv:n katselun murros), joita on vaikeaa määritellä yhtenäisellä tavalla tai joiden mittaamiseen on haastavaa kehittää kysymyksiä, jotka vastaajat ymmärtäisivät yksiselitteisesti. Toisaalla jotkut asiat ja ilmiöt menettävät merkitystään ja alkavat kalskahtaa vanhentuneilta.

Vaikka rekistereiden käyttö tilastoinnissa lisääntyy jatkossakin, muun muassa Kansallisen tulorekisterin myötä, niin lomakkeiden testaamisen tarve ei suinkaan vähene. Myös osa rekistereihin syötettävistä tiedoista on suurelta osin ainakin jossakin vaiheessa lähtöisin ihmisen täyttämästä lomakkeesta. Testaustoiminnan laajentuminen hallinnollisten aineistojen puolelle sisältyy toivottavasti seuraavaan aiheesta laadittavaan historiikkiin.

Jaana Huhta on yliaktuaari ja Merja Kallio-Peltoniemi tutkija Tilastokeskuksen Tiedonhankinta-yksikössä.

Lähteet:

Ahola, Godenhjelm & Lehtinen (2002): Kysymisen taito. Surveylaboratorio lomaketutkimuksen kehittämisessä. Katsauksia 2002/2, Tilastokeskus.

Euroopan tilastoja koskevat käytännesäännöt kansallisia ja kunnallisia tilastovirkamiehiä varten (2011) Tilasto-ohjelmakomitean hyväksymä 28.9.2011. Eurostat, Euroopan tilastojärjestelmä. http://ec.europa.eu/eurostat/documents/3859598/5922145/10425-FI-FI.PDF Viitattu 1.8.2017.

Nussbaum, B. (2017) To Ask or Not to Ask? It Depends on the Question. Teoksessa: Amstat News, July 2017, Issue #481.

Quest-verkosto, verkkosivut: https://wwwn.cdc.gov/QBANK/Beta/QUEST.aspx#/Home

Ruotsalainen, Kaija (2011) Maailman väestö lasketaan joka kymmenes vuosi. http://www.stat.fi/tup/vl2010/art_2011-05-17_001.html. Viitattu 1.8.2017.

Sailas, Raija (2002) Kysymisen taito. Anja Aholan haastattelu. Hyvinvointikatsaus 2/2002, Tilastokeskus.

Schober, M. (1999): Making sense of questions: an interactional approach. Teoksessa: Sirken, Herrmann, Schechter, Schwarz, Tanur & Tourangeau (toim.): Cognition and Survey Research. John Wiley & sons, New York. 77 – 93.

Schwarz, N. (1996) Cognition and communication: judgemental biases, research methods and the logic of conversation. Lawrence Erlbaum Associates, New Jersey.

 Snijkers, G., Haraldsen, G., Jones, J. & Willimack, D. (2013) Designing and Conducting Business Surveys. John Wiley & sons, Hoboken (New Jersey)

Tilastokeskus (2017) Menetelmät. http://www.tilastokeskus.fi/tup/lomaketiimi/menetelmat.html Viitattu 2.8.2017.

____________

Lomaketiimi kutsuu lomaketesteihin joko yksilö- tai ryhmähaastatteluihin vuosittain useita kymmeniä henkilöitä. Jos saat kutsun, niin kannattaa ehdottomasti osallistua: voit parantaa tiedonkeruukysymyksiä – ja samalla tutustua testaukseen menetelmänä ja kokemuksena.

Testaustilanteessa täytät lomaketta tietokoneella tai kännykällä, kuten normaalisti vastaisit, tai sinua haastatellaan, kuten tilastohaastattelussa normaalistikin. Tutkija kysyy sinulta lisäkysymyksiä. Testaustilanteissa ei ole oikeita eikä vääriä vastauksia, vaan testausten perusteella kehitetään lomakkeista ja kysymyksistä helpompia vastata.

Tervetuloa testaamaan! 

____________                 

SurveyLaboratoriosta testaamisen kotipesä

Tilastokeskuksen tutkijoita kävi vuonna 1990-luvun lopulla Yhdysvalloissa tutustumassa lomaketestauksessa käytettäviin metodeihin ja testaustiloihin. Aluksi testihaastatteluja tehtiin tavallisissa neuvotteluhuoneissa ja ne nauhoitettiin c-kasetille.

Myöhemmin lomakkeiden testaamisen toimintatapa haluttiin juurruttaa kiinteästi käytäntöön ja tarjota testaamiselle asianmukaiset puitteet. Pysyvä testaustila "SurveyLaboratorio" perustettiin Tilastokeskukseen vuonna 2001. Tilaan rakennettiin varsinainen testihuone sekä tarkkaamo, jossa tutkijat ja tilastojen asiantuntijat pystyivät seuraamaan videokameran välityksellä testihuoneen haastatteluja. Testaustiloihin haettiin vinkkejä Teknillisen korkeakoulun käytettävyyslaboratoriosta.

Osaamista jaettiin Tilastokeskuksen sisällä. Vahvistusta ja sparrausta toiminnalle saatiin yliopistomaailmasta professori emerita Liisa Rantalaiholta ja yliopistotutkija YTT Marja Alastalolta, jotka tulivat alustamaan ja keskustelemaan eri tilasto- ja tiedonkeruuaiheista.

Tilastokeskuksessa työskennellyt erikoistutkija Anja Ahola oli perehtynyt siihen, kuinka eri tavalla ihmiset ymmärtävät kysymyksiä, ja minkälaiset taustatekijät voivat vaikuttaa vastauksen valintaan. Lomakkeiden testaajat ovat kirjoitelleet vuosien saatossa ahkerasti havainnoistaan ja johtopäätöksistään myös Hyvinvointikatsaus-lehdessä, jonka artikkeleista moni löytyy netistä.

Vuonna 2005 Ylen Prisma Studio kävi kuvaamassa SurveyLaboratoriota televisio-ohjelmaan.

Prisma Studion tv-ohjelma