Êtes-vous un étudiant de l'EPFL à la recherche d'un projet de semestre?
Travaillez avec nous sur des projets en science des données et en visualisation, et déployez votre projet sous forme d'application sur Graph Search.
Concept
Kappa de Cohen
Résumé
En statistique, la méthode du κ (kappa) mesure l’accord entre observateurs lors d'un codage qualitatif en catégories. L'article introduisant le κ a pour auteur Jacob Cohen – d'où sa désignation de κ de Cohen – et est paru dans le journal Educational and Psychological Measurement en 1960. Le κ est une mesure d'accord entre deux codeurs seulement. Pour une mesure de l'accord entre plus de deux codeurs, on utilise le κ de Fleiss (1981).
Le calcul du κ se fait de la manière suivante :
où Pr(a) est la proportion de l'accord entre codeurs et Pr(e) la probabilité d'un accord aléatoire. Si les codeurs sont totalement en accord, κ = 1. S'ils sont totalement en désaccord (ou en accord dû uniquement au hasard),
κ ≤ 0.
La méthode de Kappa mesure le degré de concordance entre deux évaluateurs, par rapport au hasard.
Supposons que deux évaluateurs (Marc et Mathieu) soient chargés de définir dans un groupe de 50 étudiants ceux qui seront reçus ou non à l'examen final. Chacun d'eux contrôle la copie de chaque étudiant et la note comme reçu ou non reçu (OUI ou NON). Le tableau ci-dessous donne les résultats :
L'observation des accords entre évaluateurs est :
Pour calculer la probabilité d'accord « au hasard », on note que :
Mathieu a noté « OUI » à 25 étudiants, soit 50 % des cas.
Marc a noté « OUI » dans 60 %, soit 30 étudiants sur 50.
Ainsi la probabilité attendue que les deux correcteurs notent « OUI » est :
De même la probabilité que les deux correcteurs notent « NON » est :
La probabilité globale que les correcteurs soient en accord est donc :
La formule de Kappa donnera alors :
Dans une autre proportion nous aurions obtenu :
L'observation des accords entre évaluateurs est :
Pour calculer la probabilité d'accord « au hasard », on note que :
Mathieu a noté « OUI » à 27 étudiants, soit 54 % des cas,
et que Marc a noté « OUI » dans 56 %.
Ainsi la probabilité attendue que les deux correcteurs notent « OUI » est :
De même la probabilité que les deux correcteurs notent « NON » est :
La probabilité globale que les correcteurs soient en accord est donc :
La formule de Kappa donnera alors :
Landis et Koch ont proposé le tableau suivant pour interpréter le κ de Cohen.
Source officielle
À propos de ce résultat
Cette page est générée automatiquement et peut contenir des informations qui ne sont pas correctes, complètes, à jour ou pertinentes par rapport à votre recherche. Il en va de même pour toutes les autres pages de ce site. Veillez à vérifier les informations auprès des sources officielles de l'EPFL.