Onderzoek en analyse

Interbeoordelaarsbetrouwbaarheid in je scriptie: Cohens kappa berekenen en rapporteren

Interbeoordelaarsbetrouwbaarheid laat zien in hoeverre twee of meer codeurs dezelfde data op dezelfde manier beoordelen. Je gebruikt het om aan te tonen dat je codering niet afhangt van één persoon. Een veelgebruikte maat voor twee codeurs is Cohens kappa.

In het kort

Laat een tweede codeur een deel van je data onafhankelijk coderen met hetzelfde codeboek. Bereken het percentage overeenstemming en corrigeer voor kans met Cohens kappa. Bespreek verschillen, verfijn je codeboek en rapporteer de gebruikte maat en de uitkomst in je methode.

1. Wat interbeoordelaarsbetrouwbaarheid meet

Als jij en een tweede persoon hetzelfde fragment verschillend labelen, zegt dat iets over de helderheid van je codes. Interbeoordelaarsbetrouwbaarheid kwantificeert dat. Het is een manier om betrouwbaarheid te onderbouwen, naast andere kwaliteitscriteria uit validiteit en betrouwbaarheid in kwalitatief onderzoek.

Het hoeft niet in elk kwalitatief onderzoek. Sommige benaderingen vinden consensus bespreken belangrijker dan een getal. Vraag je begeleider wat in jouw vakgebied gebruikelijk is.

2. Bereid de controle voor

Je hebt een duidelijk codeboek nodig met definities en regels. Kies een steekproef uit je data, bijvoorbeeld een aantal fragmenten uit verschillende interviews. Een tweede codeur codeert die onafhankelijk, zonder jouw labels te zien.

Spreek vooraf af hoe je de eenheden bepaalt. Wanneer de ene codeur een alinea als één fragment ziet en de ander als drie, kun je de codes niet vergelijken.

3. Bereken Cohens kappa met een voorbeeld

Het percentage overeenstemming telt alleen hoe vaak twee codeurs hetzelfde kiezen. Een deel van die overeenstemming komt door toeval. Cohens kappa corrigeert daarvoor: kappa = (waargenomen overeenstemming − verwachte overeenstemming) / (1 − verwachte overeenstemming).

Stel dat twee codeurs 50 fragmenten beoordelen met de codes A of B en op 40 fragmenten dezelfde code kiezen. Codeur 1 kiest 25 keer A en 25 keer B. Codeur 2 kiest 30 keer A en 20 keer B.

Rekenvoorbeeld Cohens kappa
StapBerekeningUitkomst
Waargenomen overeenstemming40 van 50 fragmenten0,80
Verwachte overeenstemming(25 × 30 + 25 × 20) / 50²0,50
Cohens kappa(0,80 − 0,50) / (1 − 0,50)0,60

Je ziet dat 80 procent overeenstemming een kappa van 0,60 oplevert, omdat de helft van de overeenstemming op toeval berust.

4. Interpreteer de uitkomst voorzichtig

Vaak worden de richtlijnen van Landis en Koch genoemd: waarden van 0,61 tot 0,80 gelden als aanzienlijke overeenstemming en boven 0,80 als bijna perfect. Dit zijn gangbare vuistregels, geen harde grenzen. Wat acceptabel is, verschilt per vakgebied en per type data.

Een lage waarde betekent niet dat je onderzoek mislukt is. Het wijst meestal op een code die onduidelijk is gedefinieerd. Bespreek de afwijkingen met je tweede codeur, pas het codeboek aan en codeer daarna opnieuw een deel van de data.

5. Rapporteer wat je hebt gedaan

Beschrijf in je methode hoeveel data de tweede codeur beoordeelde, hoe die is gekozen, welke maat je gebruikte en welke waarde je kreeg. Noem ook wat je daarna aanpaste. Neem de uitkomst op bij je verantwoording in je onderzoeksmethode.

Gebruik je je codes verder in een analyse zoals axiaal coderen, dan helpt een gecontroleerde codering je om verbanden beter te onderbouwen.

Laatste controle

  • Je codeboek is duidelijk genoeg voor een tweede codeur.
  • De tweede codeur codeerde onafhankelijk een bepaald deel van de data.
  • Je weet hoe de data in eenheden zijn verdeeld.
  • Je hebt percentage overeenstemming en Cohens kappa berekend.
  • Je hebt verschillen besproken en je codeboek verfijnd.
  • Je rapporteert maat, steekproef en uitkomst in je methode.

Gebruik je meer dan twee codeurs of werk je met schaalscores in plaats van categorieën, dan zijn andere maten geschikter. Bespreek dat met je begeleider voordat je rekent.

Liever persoonlijke hulp? Bekijk onze scriptiebegeleiding voor HBO of scriptiebegeleiding voor WO, of bekijk alle scriptietips.

Gericht verder met je scriptie?

Wil je zeker zijn dat je codering goed te verantwoorden is? We denken vrijblijvend met je mee over je analyse en methodeverantwoording. Vraag gratis advies aan over passende scriptiebegeleiding.

Stel je vraag via WhatsApp, bel 06 16135156 of mail contact@scriptiesupport.com.

Vraag gratis advies aan
WhatsApp Mail direct Bel direct