Kuinka panelistien edustavuus varmistetaan?

Tällä hetkellä AudienceProjectin Suomen paneelissa on n. 76 000 osallistujaa. AP:n värväysmetodologia mahdollistaa siis suuren paneelikoon ja muutenkin hyvän edustavuuden, kun värväystä tehdään monilla erityyppisillä sivustoilla. Pohjoismaisiin paneeleihin on värvätty AP:n paneelin olemassaolon aikana ihmisiä yhteensä 18 000 eri nettisivustolta ja yhtäaikaisesti käynnissä on n. 2000 kyselyä. Jotkut jo pidemmän aikaa sitten värvätyistä panelisteista ovat yhä mukana, mikä myös osaltaan lisää värväyskanavien variaatiota.

Kukaan ei voi itse värväytyä paneeliin: ihmiset voivat liittyä paneeliin vain AP:n kutsusta. Tästä johtuen kaikilla verkon käyttäjillä on enemmän tai vähemmän sama todennäköisyys saada kutsu. Näin taataan näytteen satunnaisuus, mikä on kaikessa tutkimuksessa elintärkeää. Näin minimoidaan myös ns. ammattipanelistien mukanaolo. Ammattipanelistien ongelma on siinä, että erilaiset kyselyt ensinäkin tulevat heille niin tutuiksi, että se vaikuttaa heidän vastauksiinsa. Lisäksi he voivat lähinnä keskittyä erilaisten palkintojen tavoitteluun, mikä voi osaltaan vaikuttaa vastausten laatuun. Tämän estämiseksi AP ylipäätänsä motivoi panelisteja vain lyhyin tekstimuodoin ja vaatimattomin palkinnoin. Ainoastaan jos panelisti on myös AP:n tutkimuspaneelin jäsen, osallistuvat he lahjakortin arvontaan.

Tieto yhdeksästä perustaustamuuttujista pysyy aina liitettynä mukaan vastaajatietoihin. Tämän seurauksena kyselyiden edustavuus voidaan aina arvioida suhteessa väestöön. Panelistien suhteellinen jakauma näissä perustaustamuuttujissa vastaa alun perinkin varsin tarkasti Suomen väestön jakaumaa. Sen lisäksi edustavuus ja datan laatu turvataan painottamalla aineisto Suomen väestötietoon tilastotieteellisin menetelmin.

Sisään rakennetun varmistuksen ja virheenkorjauksen lisäksi (esim. postinumeroiden koodin oikeellisuus) järjestelmä tekee automaattisia tarkastuksia vastauksiin jälkikäteen ennen kuin vastaaja lisätään paneeliin. Automaattiseen tarkistukseen kuuluu myös loogisen tarkastelu, joka analysoi vastausten sisäistä johdonmukaisuutta. Tarkistus torjuu paneelista esim. vastaajan, joka on vastannut olevansa 16-vuotias ja asuvansa yksin kahden lapsen kanssa. Myös liian nopeasti vastanneet tai kysymysten yli hypänneet jäävät paneelin ulkopuolelle.

Jos panelistista ei jää mitään jälkeä mittaukseen (vähintään yksi avattu sivusto tai mainos) 90 päivään, panelisti poistetaan AP:n paneelista.