Medidas de acuerdo y de sesgo entre jueces

Abstract

En este trabajo se aborda un análisis en profundidad de las medidas para evaluar el acuerdo entre jueces u observadores de un conjunto de ítemes u objetos sobre una escala de medida de naturaleza numérica o categórica. El punto de partida es una clasificación de las medidas de evaluación del acuerdo en dos grandes grupos: a) medidas descriptivas y b) medidas basadas en modelos estadísticos. En el primer grupo destacan coeficientes de acuerdo clásicos tales como kappa para datos nominales y ordinales de Cohen (1960, 1968), de aplicación generalizada en todas las áreas de la psicología, el coeficiente de correlación de contingencia de Lin (1989), de gran difusión en medicina y ciencias biológicas, pero poco conocida en psicología, y el coeficiente r wg de Finn (1970), de uso casi exclusivo en psicología social y de las organizaciones. En el segundo grupo son relevantes los índices de acuerdo derivados de los modelos loglineales y mixtura de la familia de modelos de cuasi-independencia. • El primer objetivo de este trabajo ha sido demostrar que cada una de las medidas descriptivas de acuerdo para datos numéricos pueden ser definidas mediante un coeficiente de correlación intraclase derivado de un modelo ANOVA en dos sentidos mixto con los ítemes u objetos como efectos aleatorios y los jueces u observadores como efectos fijos, aunque asumiendo una estimación atípica de los componentes de la varianza. De la misma manera se ha procedido con todas las medidas descriptivas de acuerdo para datos categóricos, para cuya finalidad se han utilizado ANOVA para datos categóricos (CATANOVA) en la línea apuntada en los trabajos de Light y Margolin (1971).• Frente a las medidas descriptivas clásicas y de empleo generalizado, lasmedidas basadas en el modelado estadístico se utilizan escasamente, pero tienen mayor potencial de aplicabilidad, aunque se restringen a datos categóricos. En este trabajo sedesarrollan medidas de acuerdo para la familia de modelos mixtura de cuasiindependenciacon una variable latente y dos clases y su equivalencia con las medidasdescriptivas clásicas tras la introducción de algún tipo de restricción estadística. • Uno de las cuestiones de mayor interés para el acuerdo concierne a la medida del sesgo entre observadores. Hasta ahora, todas las medidas de sesgo han sido de corte descriptivo, particularmente el índice BI de Ludbrook (2004). Como último objetivo de este trabajo se define y se aplica una nueva medida de sesgo ε basada en modelos estadísticos mediante una ampliación del modelo mixtura a dos variables latentes y cuatro clases (Ato, López y Benavente, 2008), que demuestra con simulación Monte Carlo que es una medida más precisa y rigurosa que el índice BI.