Interrater-Reliabilitätskoeffizienten

In der Wissenschaft werden oft Untersuchungsgegenstände der Forschung durch mehrere Codierer kategorisiert. Nach Abschluss der Kategorisierung, auch Annotation genannt, ist von Interesse, ob die Codierer in ihren Urteilen übereinstimmen. Der Grad der Übereinstimmung ist ein wichtiger Indikator, um die Qualität der Kategorisierungen zu bewerten. Für die Messung der Übereinstimmung sind von verschiedenen Autoren eine ganze Reihe von sogenannten Interrater-Reliabilitätskoeffizienten entwickelt worden, die in dieser Arbeit erläuterert werden. Zusätzlich wird ein Simulationsprogramm vorgestellt. Das Programm simuliert die Annotation und die Berechnung der Reliabilitätskoeffizienten. Mit Hilfe des Simulationsprogramms sind eine ganze Reihe von Simulationen durchgeführt worden. Die Ergebnisse werden präsentiert und analysiert. Basierend auf den eigenen Analysen und den Analysen anderer Autoren werden konkrete Handlungsempfehlungen für die Verwendung von Interrater-Reliabilitätskoeffizienten gegeben.