Ein zufallskorrigiertes Maß für Interrater‑Übereinstimmung bei zwei Bewertern, die Objekte in kategoriale Klassen einteilen; es vergleicht die beobachtete Übereinstimmung mit der erwarteten Übereinstimmung unter Unabhängigkeit der Bewerter und liegt typischerweise zwischen −1 und 1 (0 = Übereinstimmung auf Zufallsniveau).

Prinzip

Kappa isoliert die über den Zufall hinausgehende Übereinstimmung und hängt sowohl von der beobachteten Konkordanz als auch von den Marginalverteilungen (Kategorienprävalenzen) der Bewerter ab.

Demonstration

Illustratives Beispiel: Zwei Pathologen klassifizieren 100 Gewebeproben unabhängig als benign oder maligne. Beobachtete Übereinstimmung 90 %, erwartete Zufallsübereinstimmung (aufgrund der Marginals) 70 %, ergibt Cohens Kappa ≈ 0,67 — substanzielles Übereinstimmen über den Zufall hinaus.

Fehlanwendung

Kappa‑Werte ohne Berücksichtigung der Prävalenz oder ungleicher Marginalverteilungen zu interpretieren. Der häufige Fehler ist, ein niedriges Kappa als schlechtes Übereinstimmen zu werten, obwohl der Prozentwert hoch ist (‚Kappa‑Paradoxon‘), oder Kappa für mehr als zwei Bewerter ohne Anpassung zu verwenden.

Konsequenz

Kappa wird weit verbreitet zur Darstellung der Interrater‑Reliabilität bei kategorialen Klassifikationen eingesetzt; unkritische Anwendung kann Übereinstimmung unterschätzen bei unausgeglichenen Kategorien oder zu falschen Entscheidungen bei Instrumentenwahl und Schulung führen, wenn Marginaleffekte ignoriert werden.

Umkehrung

Bei extremen Kategorienprävalenzen oder stark unterschiedlichen Marginalverteilungen der Bewerter kann Kappa niedrig sein trotz hoher beobachteter Übereinstimmung; in solchen Fällen können angepasste Maße (Prävalenz‑/Bias‑Adjustment) oder Alternativen (Gwet's AC1, Prozentübereinstimmung) die praktische Konkordanz besser widerspiegeln.

Abgrenzung

Eindeutig innerhalb: zwei Bewerter, nominale kategoriale Ergebnisse. Grenzfall: ordinale Kategorien, hier ist gewichtetes Kappa geeigneter. Eindeutig außerhalb: Mehrere Bewerter ohne Anpassung (dafür Fleiss' Kappa oder andere Mehr‑Rater‑Maße).

Semantische Spannung

Rohes Prozentübereinstimmen (intuitiv) versus zufallskorrigiertes Übereinstimmen (Kappa); Spannung, weil Prozentsätze das erwartete Zufallsübereinstimmen ignorieren, Kappa jedoch prävalenz‑ und bias‑empfindlich ist.

Synthese

Cohens Kappa bemisst die über den Zufall hinausgehende Übereinstimmung zweier kategorialer Bewerter, muss aber zusammen mit Prozentübereinstimmung, Marginalverteilungen und, falls nötig, alternativen Koeffizienten interpretiert werden, um Fehlschlüsse bei unausgeglichenen oder multi‑rater Situationen zu vermeiden.