In het kort
Laat een tweede codeur een deel van je data onafhankelijk coderen met hetzelfde codeboek. Bereken het percentage overeenstemming en corrigeer voor kans met Cohens kappa. Bespreek verschillen, verfijn je codeboek en rapporteer de gebruikte maat en de uitkomst in je methode.
1. Wat interbeoordelaarsbetrouwbaarheid meet
Als jij en een tweede persoon hetzelfde fragment verschillend labelen, zegt dat iets over de helderheid van je codes. Interbeoordelaarsbetrouwbaarheid kwantificeert dat. Het is een manier om betrouwbaarheid te onderbouwen, naast andere kwaliteitscriteria uit validiteit en betrouwbaarheid in kwalitatief onderzoek.
Het hoeft niet in elk kwalitatief onderzoek. Sommige benaderingen vinden consensus bespreken belangrijker dan een getal. Vraag je begeleider wat in jouw vakgebied gebruikelijk is.
2. Bereid de controle voor
Je hebt een duidelijk codeboek nodig met definities en regels. Kies een steekproef uit je data, bijvoorbeeld een aantal fragmenten uit verschillende interviews. Een tweede codeur codeert die onafhankelijk, zonder jouw labels te zien.
Spreek vooraf af hoe je de eenheden bepaalt. Wanneer de ene codeur een alinea als één fragment ziet en de ander als drie, kun je de codes niet vergelijken.
3. Bereken Cohens kappa met een voorbeeld
Het percentage overeenstemming telt alleen hoe vaak twee codeurs hetzelfde kiezen. Een deel van die overeenstemming komt door toeval. Cohens kappa corrigeert daarvoor: kappa = (waargenomen overeenstemming − verwachte overeenstemming) / (1 − verwachte overeenstemming).
Stel dat twee codeurs 50 fragmenten beoordelen met de codes A of B en op 40 fragmenten dezelfde code kiezen. Codeur 1 kiest 25 keer A en 25 keer B. Codeur 2 kiest 30 keer A en 20 keer B.
| Stap | Berekening | Uitkomst |
|---|---|---|
| Waargenomen overeenstemming | 40 van 50 fragmenten | 0,80 |
| Verwachte overeenstemming | (25 × 30 + 25 × 20) / 50² | 0,50 |
| Cohens kappa | (0,80 − 0,50) / (1 − 0,50) | 0,60 |
Je ziet dat 80 procent overeenstemming een kappa van 0,60 oplevert, omdat de helft van de overeenstemming op toeval berust.
4. Interpreteer de uitkomst voorzichtig
Vaak worden de richtlijnen van Landis en Koch genoemd: waarden van 0,61 tot 0,80 gelden als aanzienlijke overeenstemming en boven 0,80 als bijna perfect. Dit zijn gangbare vuistregels, geen harde grenzen. Wat acceptabel is, verschilt per vakgebied en per type data.
Een lage waarde betekent niet dat je onderzoek mislukt is. Het wijst meestal op een code die onduidelijk is gedefinieerd. Bespreek de afwijkingen met je tweede codeur, pas het codeboek aan en codeer daarna opnieuw een deel van de data.
5. Rapporteer wat je hebt gedaan
Beschrijf in je methode hoeveel data de tweede codeur beoordeelde, hoe die is gekozen, welke maat je gebruikte en welke waarde je kreeg. Noem ook wat je daarna aanpaste. Neem de uitkomst op bij je verantwoording in je onderzoeksmethode.
Gebruik je je codes verder in een analyse zoals axiaal coderen, dan helpt een gecontroleerde codering je om verbanden beter te onderbouwen.
Laatste controle
- Je codeboek is duidelijk genoeg voor een tweede codeur.
- De tweede codeur codeerde onafhankelijk een bepaald deel van de data.
- Je weet hoe de data in eenheden zijn verdeeld.
- Je hebt percentage overeenstemming en Cohens kappa berekend.
- Je hebt verschillen besproken en je codeboek verfijnd.
- Je rapporteert maat, steekproef en uitkomst in je methode.
Gebruik je meer dan twee codeurs of werk je met schaalscores in plaats van categorieën, dan zijn andere maten geschikter. Bespreek dat met je begeleider voordat je rekent.