Concept
Concordance inter-juges
Concepts associés (6)
Scott's Pi
Scott's pi (named after William A Scott) is a statistic for measuring inter-rater reliability for nominal data in communication studies. Textual entities are annotated with categories by different annotators, and various measures are used to assess the extent of agreement between the annotators, one of which is Scott's pi. Since automatically annotating text is a popular problem in natural language processing, and the goal is to get the computer program that is being developed to agree with the humans in the annotations it creates, assessing the extent to which humans agree with each other is important for establishing a reasonable upper limit on computer performance.
Intraclass correlation
In statistics, the intraclass correlation, or the intraclass correlation coefficient (ICC), is a descriptive statistic that can be used when quantitative measurements are made on units that are organized into groups. It describes how strongly units in the same group resemble each other. While it is viewed as a type of correlation, unlike most other correlation measures, it operates on data structured as groups rather than data structured as paired observations.
Kappa de Cohen
En statistique, la méthode du κ (kappa) mesure l’accord entre observateurs lors d'un codage qualitatif en catégories. L'article introduisant le κ a pour auteur Jacob Cohen – d'où sa désignation de κ de Cohen – et est paru dans le journal Educational and Psychological Measurement en 1960. Le κ est une mesure d'accord entre deux codeurs seulement. Pour une mesure de l'accord entre plus de deux codeurs, on utilise le κ de Fleiss (1981). Le calcul du κ se fait de la manière suivante : où Pr(a) est la proportion de l'accord entre codeurs et Pr(e) la probabilité d'un accord aléatoire.
Fidélité (psychométrie)
En psychométrie, la fidélité d'un test psychologique, ou fiabilité d'un test (reliability en anglais), est une des trois grandes mesures de la qualité du test (les deux autres étant la sensibilité et la validité). Cette mesure est prise lors d'une procédure de standardisation d'un test. Avant sa publication, un test psychologique est généralement évalué sur de larges échantillons de la population. Les résultats de cette procédure sont évalués : si le test obtient de bons indices de fidélité et de validité, il est considéré comme suffisamment robuste pour être publié et utilisé.
Krippendorff's alpha
Krippendorff's alpha coefficient, named after academic Klaus Krippendorff, is a statistical measure of the agreement achieved when coding a set of units of analysis. Since the 1970s, alpha has been used in content analysis where textual units are categorized by trained readers, in counseling and survey research where experts code open-ended interview data into analyzable terms, in psychological testing where alternative tests of the same phenomena need to be compared, or in observational studies where unstructured happenings are recorded for subsequent analysis.
Kappa de Fleiss
Kappa de Fleiss (nommé d'après Joseph L. Fleiss) est une mesure statistique qui évalue la concordance lors de l'assignation qualitative d'objets au sein de catégories pour un certain nombre d'observateurs. Cela contraste avec d'autres kappas tel que le Kappa de Cohen, qui ne fonctionne que pour évaluer la concordance entre deux observateurs. La mesure calcule le degré de concordance de la classification par rapport à ce qui pourrait être attendu si elle était faite au hasard.