Tutkimustiedon kansainvälisen vertailtavuuden varmistaminen vaatii paljon työtä

  1. Kansainvälisen vertailtavuuden ongelma
  2. Vaatimukset, ohjeet ja suositukset dokumentoitiin ohjekirjaan
  3. Vertailtavuuden perustana olivat yhtenäinen perusjoukko ja otantamenettelyt
  4. Tiedonkeruuvälineiden kääntäminen kohdekielelle oli perusteellinen prosessi
  5. Tiedonkeruun laatu varmistettiin yhtenäistämällä menettelyjä ja kouluttamalla haastattelijoita
  6. Vastaajien motivointiin kiinnitettiin huomiota
  7. Tietokonetehtävien pisteytys oli automatisoitu
  8. Aineiston laadun yleinen arviointi varmisti aineistojen käytettävyyden
  9. Kansainvälinen johto muokkasi aineiston käyttökuntoon
  10. Lopputuloksena kansainvälinen vertailtavuus
  11. Lähteet:

Koko dokumentti yhdellä sivulla

Kirjoittaja: Antero Malin on professori Koulutuksen tutkimuslaitoksella Jyväskylän yliopistossa ja PIAAC-tutkimuksen kansallinen tutkimusjohtaja. Artikkeli on julkaistu Tilastokeskuksen Hyvinvointikatsauksessa 3/2013.

Yksi kansainvälisten tutkimusten suurimpia haasteita on eri maissa, eri kielillä ja eri kulttuureissa kerätyn tutkimustiedon ja siitä laskettavien tulosten kansainvälisen vertailtavuuden varmistaminen. Tätä pidetään mahdollisena, mutta se vaatii koko tutkimuksen ajan kestävää ja laaja-alaista, ennalta tarkkaan suunniteltua ja monipuolista laadunvarmistustyötä, johon kaikki tutkimuksen tahot ovat sitoutuneita. Tässä artikkelissa kuvataan, miten ja millä keinoin Kansainvälisessä aikuistutkimuksessa (PIAAC) pyrittiin varmistamaan eri maiden tutkimusaineistojen laatu, luotettavuus ja kansainvälinen vertailukelpoisuus.

Kansainvälinen aikuistutkimus (PIAAC), englanninkieliseltä nimeltään Survey of Adult Skills, on aikuisväestön työ- ja arkielämän perustaitojen osaamista ja käyttöä arvioiva tutkimus. Se on osa Taloudellisen yhteistyön ja kehityksen järjestö OECD:n (Organisation for Economic and Cultural Development) aloitteesta käynnistettyä tutkimusohjelmaa Programme for the International Assessment of Adult Competencies. Tutkimuksen ensimmäiseen vaiheeseen osallistui 24 maata (ks. tietolaatikko). Tutkimuksen tiedonkeruu alkoi elokuussa vuonna 2011 ja päättyi maaliskuun lopussa vuonna 2012. Tutkimuksen ensimmäiset tulokset julkaistaan lokakuussa vuonna 2013. Kansainvälinen tutkimusaineisto vapautuu samanaikaisesti tutkijoiden käyttöön.

Tietolaatikko. Kansainvälisen aikuistutkimuksen (PIAAC) osallistujamaat

Alankomaat Norja
Australia Puola
Belgia (Flanderi) Ranska
Espanja Ruotsi
Irlanti Saksa
Iso-Britannia (Englanti, Pohjois-Irlanti) Slovakia
Italia Suomi
Itävalta Tanska
Japani Tšekki
Kanada Venäjä
Korea Viro
Kypros Yhdysvallat

Keskeisenä kiinnostuksen kohteena tutkimuksessa oli kolme aikuisten kognitiivista perustaitoa: lukutaito, numerotaito ja tietotekniikkaa soveltava ongelmanratkaisutaito. Näitä pidetään aikuisten tiedonkäsittelyn avaintaitoina, joita tarvitaan niin työelämässä, koulutuksessa kuin arkielämässäkin. Tavoitteena oli selvittää, ovatko aikuisten perustaidot sillä tasolla, että he ovat valmiita vastaamaan tulevaisuuden mukanaan tuomiin ehkä nopeisiin ja yllättäviinkin muutoksiin ja haasteisiin.

Tutkimuksessa arvioitiin perustaitoja tehtäviä tekemällä. Arviointitehtävät muistuttivat erilaisia työ- ja arkielämän tilanteita, joissa vastaajan tarvitsi käyttää arvioinnin kohteena olevia taitoja. Tehtävät tehtiin tietokoneella, mutta mikäli vastaajan tietotekniset taidot eivät riittäneet tähän tai hän ei halunnut vastata tietokoneella, hän käytti perinteistä paperista tehtävävihkoa. Lisäksi tutkimukseen kuului laaja taustakysely, joka pyrki kattamaan ne olennaiset tekijät, jotka teorian tai empiiristen tutkimusten mukaan ovat yhteydessä tutkittavien perustaitojen hallintaan ja kehittymiseen. Tutkimuksen tavoitteita ja sisältöä on tarkemmin esitelty kahdessa artikkelissa (Malin 2010; 2012).

Tutkimusta johti ja koordinoi Educational Testing Service (ETS) USA:sta. ETS on yksi maailman johtavista koulutuksen ja kasvatuksen arviointitutkimuksen laitoksista. OECD valitsi sen tutkimuksen kansainväliseksi toteuttajaksi tarjouskilpailun perusteella. ETS:n johdolla tutkimuksen kansainväliseen osuuden toteuttamiseen osallistui laaja tutkimusorganisaatioiden yhteenliittymä eri maista.

Tutkimuksen Suomen osuuden toteutuksesta vastasi Jyväskylän yliopiston Koulutuksen tutkimuslaitos. Tutkimuksen tiedonkeruun ja aineiston muokkaamisen tutkimuskäyttöön teki Tilastokeskus. Suomen osuuden tutkimuksesta ovat rahoittaneet opetus- ja kulttuuriministeriö sekä työ- ja elinkeinoministeriö. Tutkimuksen kansalliseen ja kansainväliseen ohjaukseen osallistui ministeriöiden lisäksi myös Opetushallitus.

Kansainvälisen vertailtavuuden ongelma

Tutkimuksen yhtenä tavoitteena oli verrata perustaitojen tasoa ja jakaantumista eri maiden välillä. Tämä on erityisen haastavaa, sillä kielet, kulttuurit ja koulutusjärjestelmät vaihtelevat maittain. Tämän tavoitteen toteuttamiseksi kognitiivisten tehtävien ja taustakyselyn piti olla täsmälleen samanlaisia kaikissa maissa ja kaikilla tutkimuksessa käytetyillä kielillä, kaikkien maiden tuli noudattaa yhteisiä laatuvaatimuksia, ja tutkimus tuli toteuttaa kaikissa maissa täsmälleen samalla tavalla.

Tutkimusaineistojen luotettavuus, laatu ja kansainvälinen vertailtavuus varmistettiin hyvin yksityiskohtaisella kansainvälisellä ohjeistuksella, jota kaikkien osallistujamaiden oli noudatettava ja jonka noudattamista myös tarkkaan seurattiin. Laadunvalvonta oli jatkuvaa ja säännöllistä, ja se kesti koko tutkimuksen ajan. Se kattoi niin tutkimuksen suunnittelun, tiedonkeruun kuin tiedonkeruun jälkeiset toimenpiteetkin. Sen muotoja olivat maakohtaisten suunnitelmien laatiminen ohjeiden mukaan ja suunnitelmien hyväksyntä, toteutuneiden toimenpiteiden raportointi, seuranta ja hyväksyntä, kaikkiin tutkimuksen kriittisiin vaiheisiin liittyvä koulutus sekä jatkuva yhteydenpito kansainvälisen johdon ja osallistujamaiden välillä.

Varsinaista päätutkimuksen tiedonkeruuta edelsi laaja esitutkimus, jonka tiedonkeruu toteutettiin keväällä 2010. Sen tarkoituksena oli testata tutkimusvälineiden ja tutkimusorganisaatioiden toimivuus. Esitutkimus toteutettiin samalla tarkkuudella ja huolellisuudella kuin päätutkimus. Esitutkimukseen osallistui kussakin osallistujamaassa noin 1 300−1 400 henkilöä. Esitutkimuksessa kerättyjä tietoja käytettiin tutkimusvälineiden kehittämiseen ja päätutkimuksen valmisteluun.

Seuraavaksi esitellään keskeisiä kansainvälisiä toimenpiteitä, joilla tutkimuksen tiedon laatu, luotettavuus ja kansainvälinen vertailtavuus pyrittiin takaamaan. Niiden lisäksi suoritettiin kansallista laadunvalvontaa, jota ei tässä yhteydessä käsitellä. Yksityiskohtaisempaa tietoa toimenpiteistä löytyy tutkimuksen toteutukseen liittyvistä ohjeista (OECD 2010) ja tutkimuksen teknisestä raportista (OECD 2013c).

Alkuun Edellinen Seuraava

Päivitetty 9.12.2013