Subjektiivisen hyvinvoinnin mittaamiseen liittyy epävarmuustekijöitä ja tulkinnallisuutta

Koko dokumentti sivutettuna

Kirjoittaja: Merja Kallio-Peltoniemi on tutkija Tilastokeskuksen Elinolot-yksikössä. Artikkeli on julkaistu Tilastokeskuksen Hyvinvointikatsauksessa 4/2012.

Subjektiivisen hyvinvoinnin mittaaminen ei ole yksinkertaista. Tuloksiin vaikuttavat erityisesti vastaamiskontekstiin liittyvät seikat. Subjektiivisen hyvinvoinnin mittaamisessa käytettävien käsitteiden ja tiedonkeruuvälineiden testaus selventää tutkimuksen sisältöön ja pätevyyteen liittyviä tekijöitä.

Viime vuosina keskustelu subjektiivisen hyvinvoinnin mittaamisesta on lisääntynyt (esim. Stiglitz ym. 2009). Taloudellista edistystä kuvaavan BKT-mittarin rinnalle on kaivattu täydentäviä mittareita, jotka tukevat yhteiskunnallista päätöksentekoa kokonaisvaltaisemmalla informaatiolla kuin BKT. Yksityiset tutkimuslaitokset ovat mitanneet subjektiivista hyvinvointia paljonkin, mutta kansallisten tilastovirastojen tuottamaa tietoa löytyy vielä rajoitetusti ainakin Euroopasta.

Subjektiivisen hyvinvoinnin käsitteen taustalla on pitkä filosofinen traditio, jonka mukaan yksilöt ovat oman hyvinvointinsa parhaita kuvaajia (Stiglitz ym. 2009, 145). Empiirinen tutkimus subjektiivisten hyvinvointimittareiden laadusta kuvaa kuitenkin hyvinkin tarkasti, miten herkkiä mittarit ovat tiedonkeruun konteksteille, erilaisille sanallisille kehystyksille, kysymysmuotoilulle ja vastausluokkien muotoilulle, kysymysjärjestykselle ja muille mittausolosuhteille (ks. esim. Schwarz & Strack 1999). Pessimististen näkemysten mukaan subjektiivisia hyvinvointiarvioita voidaan tulkita vain konstruktioina esitettyihin kysymyksiin, ja arvioihin vaikuttavat merkittävästi kyselylomake ja haastattelutilanne (Schwarz & Strack 1999). Lisäksi kulttuurien välisessä vertailussa on monia ongelmia (Oishi 2010). Myös OECD:n laatimissa suosituksissa (OECD 2012) todetaan, että kulttuuriset ja kielelliset tekijät voivat haitata maidenvälisiä subjektiivisen hyvinvoinnin vertailuja.

Euroopan tilastojärjestelmään kuuluvasta EU-SILCistä (EU Statistics on Income and Living Conditions) kehitetään ydininstrumenttia niiden elämänlaadun ulottuvuuksien mittaamiseen, joita ei saada muista tilastoista. EU-SILCin subjektiivisen hyvinvoinnin osio toteutetaan vuonna 2013. Tavoitteena on kerätä vertailukelpoista tietoa Euroopan maista. Osa tiedoista kerätään vain tämän osion yhteydessä osan jäädessä pysyvästi EU-SILCin vuosittaiseen tiedonkeruuseen. Suomessa EU-SILCin tiedot tuotetaan Tilastokeskuksen Tulo- ja elinolotutkimuksen tiedoista.

Subjektiivisen hyvinvoinnin osiota testattiin Tilastokeskuksen SurveyLaboratoriossa neljällä eri menetelmällä: kognitiivisin haastatteluin, haastatteluvuorovaikutuksen koodauksella, pilottitutkimuksella sekä haastattelijapalautetta keräämällä. Testauksen perusteella saatiin tietoa, joka auttaa lomakesuunnittelussa ja lomakkeen pätevyyden arvioinnissa eli validoinnissa. Validoinnilla tarkoitan tässä sitä prosessia, jonka perusteella saadaan kerättyä sitä tietoa, jota on tarkoituskin kerätä.

Subjektiivisen hyvinvoinnin sisältö

Kansalliset tilastovirastot saavat tutkimusosioiden muuttujat EU-komission asetuksena, jota maat ovat velvollisia noudattamaan. Subjektiivisen hyvinvoinnin osiosta komission asetus sisältää muuttujalistan englanniksi vastausluokkineen. Lisäksi Eurostat tuottaa komission kohdekielelle kääntämän mallilomakkeen (Eurostat 2011b, suomeksi Eurostat 2011a). Eurostat tuottaa myös dokumentin (Eurostat 2012), joka sisältää jonkin verran muuttujien ja käsitteiden määrittelyä.

Subjektiivisen hyvinvoinnin osio sisältää kaikkiaan 22 kysymystä. Testauksessa esiin tulleet vastaamisen ongelmat liittyvät erityisesti käytettyihin vastausskaaloihin ja skaalojen käyttöön. Tässä artikkelissa käsittelen testaustuloksia osion ensimmäisestä 15 kysymyksestä (taulukot 1 ja 2).

Taulukko 1. Subjektiivisen hyvinvoinnin kysymykset 1−10. Tulo- ja elinolotutkimus.

Nro: Seuraavaksi kysytään, millaiseksi te koette oman hyvinvointinne.
Kysyn joukon kysymyksiä, joihin toivon vastausta Teiltä asteikolla nollasta kymmeneen. Vastatkaa nolla, jos ette ole lainkaan tyytyväinen ja kymmenen, jos olette täysin tyytyväinen.
1 Yleisesti ottaen, kuinka tyytyväinen olette elämäänne nykyisin?
2 Asteikolla nollasta kymmeneen, kuinka tyytyväinen olette kotitaloutenne nykyiseen taloudelliseen tilanteeseen?
3 Asteikolla nollasta kymmeneen, kuinka tyytyväinen olette asumisoloihinne?
4 Asteikolla nollasta kymmeneen, kuinka tyytyväinen olette tämänhetkiseen työpaikkaanne?
5 Asteikolla nollasta kymmeneen, kuinka tyytyväinen olette työmatkaan kuluvaan aikaan?
6 Asteikolla nollasta kymmeneen, kuinka tyytyväinen olette siihen, miten paljon Teillä on aikaa mieluisten asioiden tekemiseen?
7 Asteikolla nollasta kymmeneen, kuinka tyytyväinen olette omiin ihmissuhteisiinne?
8 Asteikolla nollasta kymmeneen, kuinka tyytyväinen olette asuinpaikkanne virkistys- ja puistoalueisiin?
9 Asteikolla nollasta kymmeneen, kuinka tyytyväinen olette asuinympäristöönne?
10 Missä määrin asioilla, joita teette elämässänne, tuntuu kaiken kaikkiaan olevan merkitystä. Vastatkaa nolla, jos ette pidä tekemiänne asioita lainkaan merkityksellisinä ja 10 jos pidätte niitä erittäin merkityksellisinä?

 

Taulukko 2. Subjektiivisen hyvinvoinnin kysymykset 11−15. Tulo- ja elinolotutkimus.

Nro: Seuraavaksi kysyn viimeksi kuluneiden neljän viikon ajalta, kuinka suuren osan ajasta olette: Vastausskaala A Vastausskaala B
11 ... ollut erittäin hermostunut: 1 koko ajan 1 koko ajan
12 ... ollut niin alamaissa, ettei mikään ole voinut teitä piristää, 2 suurimman osan ajasta 2 suurimman osan ajasta
13 ... tuntenut itsenne levolliseksi ja rauhalliseksi, 3 osan ajasta 3 joskus
14 ... ollut lannistunut ja masentunut 4 pienen osan ajasta 4 harvoin
15 ... ollut onnellinen, oletteko ollut sitä 5 ei koskaan 5 ei koskaan

 

Tiedonkeruulomakkeeseen liittyi paljon käännösongelmia, jotka voivat vaikuttaa myös maiden väliseen vertailuun. En käsittele käännösongelmia tässä, koska olen kuvannut niitä tarkemmin muualla (Kallio-Peltoniemi 2012b).

Osion kymmeneen ensimmäiseen kysymykseen annetaan vastaus asteikolla nollasta kymmeneen. Se miten skaala pohjustetaan vastaajalle vaikuttaa vastaamiseen (esim. Schwarz & Strack 1999). Kysymysten muotoilussa päänvaivaa tuottivat erityisesti tunnetilakysymysten viisiportaiset vastausskaalat (taulukko 2). Komission asetuksessa on käytetty skaalaa A. Suomessa on aiemmin kysytty samoja kysymyksiä Eurobarometrissa vastausskaalan B avulla.

Sivun alkuun

Subjektiivisiin hyvinvointikysymyksiin vastaaminen

Kognitiiviset haastattelut ovat menetelmä, jolla tutkitaan kysymis-vastaamisprosessia. Vastaajan oletetaan suorittavan tiettyjä kognitiivisia tehtäviä vastaamisen aikana, kuten kysymyksen ymmärtäminen ja tulkinta, muistaminen ja arviointi, vastauksen muotoileminen ja varsinainen vastaaminen (Sudman ym. 1996). Keväällä 2012 tehdyissä testauksissa keskityttiin erityisesti kysymysten ymmärtämiseen, vastausten muotoilemiseen ja vastaamiseen. Testauksessa haastateltiin 18 väestötietojärjestelmästä valittua tutkimushenkilöä. Miehiä ja naisia oli yhtä paljon ja he edustivat melko tasaisesti eri sosioekonomisia ryhmiä (tarkka tutkimusseloste Kallio-Peltoniemi 2012a). Testaukset toteutettiin siten, että ensin käytiin lomake läpi normaalin haastattelun tavoin, minkä jälkeen palattiin alkuun ja kysymyksiä käsiteltiin takautuvaa ääneenajattelumenetelmää käyttäen (Willis 1994).

Yleisesti ottaen vastaajien oli suhteellisen helppo vastata kysymyksiin intuitiivisesti. Joiltain osin vastaajat ymmärsivät kysymyksissä käytetyt käsitteet eri tavoin kuin ne oli määritelty Eurostatin muuttujakuvauksissa. Lisäksi 0−10-vastausskaalan tulkinta vaihteli vastaajien välillä ja saman vastaajan kohdalla kysymysten välillä. Osa vastaajista kertoi ajatelleensa vastatessaan kouluasteikkoa (4−10), osa käytti koko asteikkoa (0−10). Jotkut vastaajat kuvasivat myös psykologisia tai yksilöllisiä tekijöitä, jotka vaikuttivat heidän vastaamiseensa (vrt. Schwartz & Strack 1999).

Mitä konkreettisempi kysymys on, sitä helpompi vastaajan on käyttää asteikon yläpäässä olevaa arvoa, mikäli vastaaja koki olevansa asiantilaan tyytyväinen. Vastaaja voi olla esimerkiksi asuntoonsa tyytyväinen "täyden kympin" arvoisesti, mutta elämäntyytyväisyyden korkein arvosana nousee harvoin näin korkealle. Jos elämänsä arvottaa korkeimmalla arvosanalla, ei sen jälkeen ole enää mitään tavoiteltavaa.

Sit täytyy olla sellanen, todella lennokas olo siitä kysymyksestä, et vois antaa täydet pisteet. Aina pitää olla semmonen vara, että pystyy korottaa jotenki. Vaikee kuvitella, sen täytys olla sit ihan ideaalitilanne, että vois antaa sen suurimman arvosanan. − − Jos se ois semmonen tilanne, et sitte ei vois toivoo enää mitään muuta siihen päälle, ja se on mun mielestä aika vaikee, kuvitella, semmonen tilanne, mihin ei vois mitään lisätä. Että tässä tää nyt on, ja tähän ei mitään oo enää saavutettavissa. (Mies, 35 v.)

Ei, semmost ei oo [tilannetta, jolloin vastaisi 10]. Sillon se on taantumuksellista [nauraa]. Se on vähän niin kun onnellisuuskin, ettei voi olla onnellinen, kun hetkittäin vaan. Jos on koko ajan onnellinen, niin se ei oo todellisuutta. (Mies, 50 v.)

Sivun alkuun

Merkityksellinen elämä on monitulkintainen kysymys

Erittäin ongelmalliseksi testauksessa nousi kysymys numero 10 (ks. taulukko 1). Vastaajilla oli vaikeuksia vastata tähän kysymykseen ja he lähestyivät kysymystä eri näkökulmista. Sitä, ymmärrettiinkö kysymys väärin tai oikein, ei voi kuitenkaan arvioida, sillä Eurostatin muuttujalistassa tai asetuksessa ei määritellä kysymyksen tarkoitusta tarkemmin. Ilmeisesti kysymyksellä on tarkoitus mitata eudaimoniaa, elämän merkityksellisyyden kokemusta, mutta tämä vaatisi tarkemman operationaalisen määrittelyn, jotta kysymys pystyttäisiin muotoilemaan kaikissa kielissä vertailukelpoisesti.

Osa vastaajista ajatteli kysymystä täysin henkilökohtaisista lähtökohdista. Tällöin haastateltava vastasi kysymykseen, missä määrin koet, että asioilla, joita teet elämässäsi, on merkitystä itsellesi. Vastaaja saattoi myös ajatella hieman laajemmin omien tekemistensä vaikutusta läheisiinsä tai työpaikalla, mutta irrottaa ne laajemmasta yhteiskunnallisesta yhteydestä. Osa vastaajista puolestaan lähestyi kysymystä laajasta yhteiskunnallisesta näkökulmasta vastaten kysymykseen, missä määrin koet, että asioilla, joita teet elämässäsi, on merkitystä yhteiskunnallisesti. Jotkut vastaajista lähestyivät kysymystä hyvinkin eksistentiaalisista lähtökohdista, mutta kukaan ei lähestynyt kysymystä uskonnollisesti. Se mistä näkökulmasta kysymystä lähestyi, vaikutti myös vastausskaalan käyttöön.

Vastausskaalan tulkinta siis vaihteli vastaajien välillä, mutta myös eri kysymysten välillä. Kun vertaillaan maiden välisiä eroja, olisi mielenkiintoista tutkia kansainvälisesti laajalla laadullisella aineistolla, millaisia perusteluita vastaajat muissa maissa antavat vastauksilleen ja miten he skaalaa käyttävät. Tämän testauksen perusteella saa käsityksen kerätyn tiedon luonteesta, ja se voi toimia apuna tilastotietoa tulkittaessa.

Sivun alkuun

Vastaajan käsitykset ja käytetty vastausskaala vaikuttavat vastauksiin

Osaa hyvinvointikysymyksistä kokeiltiin pilottitutkimuksessa varsinaisen Tulo- ja elinolotutkimuksen1 tiedonkeruun yhteydessä keväällä 2012. Samalla saatiin yleistä tietoa vastaajien suhtautumisesta kysymyksiin ja aiheeseen. Haastattelijapalautteen mukaan 27 prosenttia vastaajista piti aihetta tilastoviranomaiselle vieraana ja suhtautuminen vastaamiseen oli jonkin verran kielteisempää kuin muihin Tulo- ja elinolotutkimuksen kysymyksiin. Pienempi osa vastaajista piti tärkeänä, että tällaisia asioita kysellään (9 % suhtautuminen jonkin verran tavallista myönteisempää, 4 % suhtautuminen selvästi tavallista myönteisempää). Ensimmäistä kertaa tutkimuksessa mukana olleet vastaajat suhtautuivat kysymyksiin varauksellisemmin kuin 2.−4. paneelien vastaajat.

Pilottitutkimuksessa olivat mukana kysymykset 1, 2 sekä 11−15. Tavoitteena oli saada tietoa eri vastausskaalojen toimivuudesta kysymyksissä 11−15 sekä vastaajien yleisestä suhtautumisesta kysymyksiin. 44 kenttähaastattelua äänitettiin vastaajien luvalla, ja niiden perusteella tehtiin haastatteluvuorovaikutuskoodaus.

Vuorovaikutuksen koodaus on menetelmä, jolla arvioidaan lomakkeen ja kysymysten toimivuutta sekä ymmärrettävyyttä haastattelutilanteessa (van der Zouwen & Dijkstra 2002). Koodaus osoitti, että kysymyksiin vastaamisessa ei ollut merkittäviä ongelmia. Havaitut ongelmat liittyivät vastaus­skaalaan A, joka oli hankalampi lukea puhelimessa kuin skaala B. Vastausvaihtoehdoissa toistuvaa "osan ajasta" määrettä oli hankala seurata. Haastattelijat eivät aina huomanneet tunnetilakysymysten positiivisuuden/negatiivisuuden vaihtelua ja koodasivat vastauksia vääriin kategorioihin, esim. onnellisuuden ja masennuksen vastausluokkaan kaksi, vaikka haastateltava oli vastannut esim. olevansa onnellinen suurimman osan ajasta ja masentunut pienen osan ajasta. Skaalaan B tällaisia laatuongelmia ei liittynyt.

Sillä, miten vastausskaala ilmaistaan vastaajalle, on merkitystä tulosten kannalta. Pilottitutkimuksessa testattiin tunnekysymysten (kysymykset 11−15) kahta eri vastausskaalaa siten, että tutkimuksen 1. ja 4. paneeliin osallistuneet vastasivat skaalalla A ja 2. ja 3. paneeliin osallistuneet skaalalla B (ks. taulukko 2). Vastausjakaumissa on jopa 10 prosenttiyksikön eroja tutkimuspaneelien välillä riippuen käytetystä skaalasta (tarkempien vastausjakaumien esittely Kallio-Peltoniemi 2012b). Toisaalta erot liittyvät myös kysymyksen aiheeseen; esim. tyyneyttä ja rauhallisuutta mittaavassa kysymyksessä ei eroja juurikaan ollut, kun taas masennusta ja alakuloisuutta mittaavissa kysymyksissä erot olivat suurimmat. Ei ole siis yhdentekevää, miten vastaukset vastaajalle pohjustetaan, sillä kysymyksen muotoilu ja vastaamisen konteksti vaikuttavat tuloksiin. Kokonaan oma tutkimusaiheensa olisi selvittää, mistä erot johtuvat.

Sivun alkuun

Maidenväliset vertailut edellyttävät tiedonkeruumenetelmien harmonisointia

Subjektiivisen hyvinvoinnin käsite on määritelty yksilön sisäisesti kokemiksi arvioiksi ja tiloiksi, jota ei voi objektiivisilla tekijöillä suoraan arvioida. Tämä testausprosessi osoitti, että subjektiivisen hyvinvoinnin mittaaminen on hyvin vaikeaa. Vaikka suurimpaan osaan kysymyksistä onkin intuitiivisesti helppo vastata ja kysymykset vaikuttavat valideilta, ilmiön mittaamiseen liittyy paljon virhemahdollisuuksia, jotka ovat yhteydessä vastausskaalan käyttöön ja vastaamistapaan. Schwarz & Strack (1999) korostavat vastaamisen kontekstisidonnaisuutta ja kognitiivisia prosesseja, jotka vaikuttavat vastaamiseen monella tavalla. Vastaamiseen voi vaikuttaa vastaajan persoonallisuus, mieliala, kulttuuriset normit, lähiajan tapahtumat, vuodenaika tai sää. Osan näistä tekijöistä on sanottu katoavan keskiarvoihin isoissa otoksissa, mutta erityisesti kulttuuriset tekijät vastaamistyyleissä tulee ottaa huomioon maidenvälisissä vertailuissa (OECD 2011; Oishi 2010). Bjørnskov (2010) muistuttaa, että jopa pienet muutokset kysymysten sanamuodoissa saattavat aiheuttaa rakenteellisia säröjä dataan ja muuttaa tuloksia dramaattisesti. Myös kysymysten paikka haastattelulomakkeella, vastausskaala ja pohjustus vaikuttavat tuloksiin. Hän vertailee yleisesti vertailukelpoisina pidettyjen Gallup World Pollin (GWP) ja World Values Surveyn (WVS) subjektiivisten mittareiden korrelaatioita objektiivisiin mittareihin ja toteaa, että korrelaatiot eroavat huomattavasti ja ovat ristiriidassa keskenään. Bjørnskovin (2010) mukaan GWP:n ja WVS:n elämäntyytyväisyyskysymykset mittaavat kahta eri käsitettä.

Tällaiset epävarmuustekijät ovat hallittavissa ehkä paremmin muussa sosiaalitutkimuksessa, mutta viralliset tilastot julkaistaan hyvin suoraviivaisella tavalla. Marja Alastalo (2005) toteaa, että julkisuudessa mielipidetiedustelujen tuloksia uutisoitaessa mainitaan ainoana virhelähteenä otantaan liittyvä "virhemarginaali". Otantaan liittyvä virhe näyttää hallittavissa olevalta, koska se pystytään kuvaamaan numeerisena. "Gallupjournalismin uskottavuus kärsisi, jos taulukon alareunassa otannan virhemarginaalin ohella tehtäisiin varaus, että tulokset pitävät paikkansa muutaman kymmenen prosentin tarkkuudella riippuen siitä kuinka onnistunut kysymysmuotoilu on." (Mt., 183.)

Lomaketestausten tulosten perusteella voidaan usein suositella parempia kysymysmuotoiluja tai vastausluokkia, mikäli siihen on mahdollisuus. EU-komission asetusteksti ei anna paljon liikkumavaraa tässä suhteessa, mutta perusteellisempia operationaalisia määritelmiä voi aina pyytää helpottamaan kysymysten muotoilua. Toisaalta ilmiöalueen ongelmat liittyvät kontekstiin ja tiedonkeruukäytäntöihin ja -menetelmiin, jolloin niiden harmonisointi on tärkeää, mikäli halutaan kansallisesti laadukkaita aikasarjoja tai tehdä maidenvälisiä vertailuja. Tiedonkeruukäytännöt ja -menetelmät tulisi aina ottaa huomioon suhteessa kerättyyn sisältöön. Subjektiivisen hyvinvoinnin kohdalla ei ole yhdentekevää, missä vaiheessa lomaketta osio esitetään, sillä tiedetään, että kysymysjärjestyksellä on dramaattisia vaikutuksia tuloksiin.

Myös tilastojen tulkitsijan tulisi olla tietoinen tilastojen takana olevasta "metatiedosta". EU-tasolla tulisi subjektiivisen hyvinvoinnin tuloksia arvioitaessa kiinnittää huomiota maiden käytäntöihin ja kaikkeen siihen metatietoon, joka maiden tiedonkeruista on saatavissa. Nämä asiat koskevat subjektiivisen hyvinvoinnin -osion sijaintia lomakkeella, osion kysymysjärjestystä, tiedonkeruumenetelmiä ja kysymysten yhteydessä luettavia johdantotekstejä. Perusteellisesti kuvatut tiedonkeruun prosessit eivät suinkaan vähennä tiedon laatua, vaan antavat tiedon käyttäjille mahdollisuuden arvioida sitä, ja näin ne lisäävät ymmärrystä monimutkaisen tiedon luonteesta.

Lähteet:

Alastalo, Marja 2005. Metodisuhdanteiden mahti. Lomaketutkimus suomalaisessa sosiologiassa 1947−2000. Tampere: Vastapaino.

Bjørnskov, Christian 2010. How Comparable are the Gallup Worl Poll Life Satisfaction Data? Journal of Happiness Studies (2010) 11.

European Union 2012. Commission Regulation (EU) No 62/2012 of 24 January 2012. Official Journal of the European Union.

Eurostat 2012. Description of SILC Secondary Target Variables. Version 5 − March 2012. Eurostat, European Commission.

Eurostat 2011a. Kyselylomakeluonnos (Proposal for a Corresponding Questionnaire). EU:n Tulo- ja Elinolotilastot (EU-SILC) 2013 − Hyvinvointia koskeva moduuli. Eurostat, Euroopan Komissio.

Eurostat 2011b. Proposal for a Corresponding Questionnaire. 2013 EU-SILC Module on Well-Being. Eurostat, European Commission.

Kallio-Peltoniemi, Merja 2012a. EU-SILCin 2013 subjektiivista hyvinvointia mittaavan moduulin testaus. Lomaketestaukset -sarja 2/2012. Julkaisematon. Tilastokeskus, SurveyLaboratorio.

Kallio-Peltoniemi, Merja 2012b. Validating measurements of subjective well-being in EU-SILC − experiences from pre-test in Statistics Finland. Presentation at RC33 Eighth International Conference on Social Science Methodology, July 2012.

OECD 2011. How's Life?: Measuring well-being, OECD Publishing. http://dx.doi.org/10.1787/9789264121164-en.

OECD 2012. Guidelines on the Measurement of Subjective Well-Being. Draft Paper I. February 2012, OECD.

Oishi, Shigehiro 2010. Culture and Well-Being: Conceptual and Methodological Issues. Teoksessa: Ed Diener & Daniel Kahneman & John Helliwell, (toim.) International Differences in Well-Being. New York: Oxford University Press.

Schwarz, Norbert & Strack, Fritz 1999. Reports of Subjective Well-Being: Judgemental Processes and Their Methodological Implications. Teoksessa: Daniel Kahneman & Ed Diener & Norbert Schwarz (toim.) Well-Being − The Foundations of Hedonic Psychology. New York: Sage.

Stiglitz, Joseph E. & Sen, Amartya & Fitoussi Jean-Paul 2009. Report by the Commission on the Measurement of Economic Performance and Social Progress. http://www.stiglitz-sen-fitoussi.fr/documents/rapport_anglais.pdf.

Sudman, Seymour & Bradburn, Norman M. & Schwarz, Norbert 1996. Thinking About Answers. The Application of Cognitive Processes to Survey Methodology. San Francisco: Jossey-Bass Publishers.

van der Zouwen, Johannes & Dijkstra, Wil 2002. Testing Questionnaires Using Interaction Coding. Teoksessa: D. Maynard & H. Houtkoop-Steenstra & N. Schaeffer & J. van der Zouwen (toim.) Standardization and Tacit Knowledge: Interaction and Practise in the Survey Interview. New York: John Wiley & Sons.

Willis, Gordon 1994. Cognitive Interviewing and Questionnaire Design: a Training Manual. Working Paper Series 7. U.S. Department of Health and Human Services: National Center for Health Statistics, Office of Research and Methodology.

–––––––

1  Tulo- ja elinolotutkimuksen kokonaisotos oli 12 603 henkilöä, hyvinvointikysymyksissä vastaajien määrä oli 9 718.

Päivitetty 11.3.2013