Tutkimustiedon kansainvälisen vertailtavuuden varmistaminen vaatii paljon työtä

  1. Kansainvälisen vertailtavuuden ongelma
  2. Vaatimukset, ohjeet ja suositukset dokumentoitiin ohjekirjaan
  3. Vertailtavuuden perustana olivat yhtenäinen perusjoukko ja otantamenettelyt
  4. Tiedonkeruuvälineiden kääntäminen kohdekielelle oli perusteellinen prosessi
  5. Tiedonkeruun laatu varmistettiin yhtenäistämällä menettelyjä ja kouluttamalla haastattelijoita
  6. Vastaajien motivointiin kiinnitettiin huomiota
  7. Tietokonetehtävien pisteytys oli automatisoitu
  8. Aineiston laadun yleinen arviointi varmisti aineistojen käytettävyyden
  9. Kansainvälinen johto muokkasi aineiston käyttökuntoon
  10. Lopputuloksena kansainvälinen vertailtavuus
  11. Lähteet:

Koko dokumentti yhdellä sivulla

Tietokonetehtävien pisteytys oli automatisoitu

Mikäli vastaajat tekivät kognitiiviset tehtävät tietokoneella, tehtävien pisteytys tapahtui automaattisesti, sillä se oli ohjelmoitu tietokoneelle. Mikäli vastaajat käyttivät tehtävävihkoa, oli pisteytys tehtävä manuaalisesti. Jokaiseen paperiseen tehtävävihkoon annetut vastaukset pisteytti kaksi eri henkilöä. Suomessa käytettiin kolmea pisteyttäjää, jotka olivat suomen kielen opintojen loppuvaiheessa olevia opiskelijoita. Pisteytysten yhdenmukaisuuden tuli olla 95 prosenttia. Näin saatiin maan sisäisen pisteytyksen luotettavuus arvioitua.

Kansainvälisen yhdenmukaisuuden arvioimiseksi käytettiin englanninkielisiä tehtävävihkoja. Vähintään kaksi pisteyttäjää kussakin maassa pisteytti nämä, ja pisteyttäjiltä vaadittiin myös 95 prosentin yhdenmukaisuus oikeiden vastausten kanssa. Avovastausten pisteyttäjille järjestettiin koulutus samalla tavalla annettujen ohjeiden mukaisesti kaikissa maissa.

Alkuun Edellinen Seuraava

Päivitetty 9.12.2013