Validez discriminante y concordancia interobservador de 2 métodos de puntuación del test del reloj

Resumen

Objetivos

Comparar la validez discriminante y la fiabilidad interobservador de los 2 métodos de corrección del test del reloj más usados en España.

Metodología

Se han evaluado 2 colecciones de dibujos del reloj obtenidos en un contexto clínico (116 casos; 56,8% mujeres, edad media 73,1 ± 7,7 años) y en una cohorte de voluntarios (2.039 dibujos de 579 sujetos; 59,5% mujeres, edad media 78,3 ± 3,8 años). Todos los sujetos fueron clasificados como sin deterioro cognitivo (DC⁻) o con deterioro cognitivo (DC⁺) tras una extensa evaluación clínica y neuropsicológica. Evaluadores expertos han valorado estos dibujos de forma independiente y sin conocimiento del diagnóstico con los métodos de Sunderland y Solomon estandarizados en español por Cacho (rango: 0 a 10) y del Ser (rango: 0 a 7), respectivamente. Se ha calculado la validez discriminante de cada método mediante el área bajo la curva ROC (aROC) en las 2 muestras, y la fiabilidad interobservador mediante el coeficiente de correlación intraclase (CCI) y el coeficiente kappa en la muestra clínica que fue valorada por los 2 evaluadores.

Resultados

No hay diferencias significativas en la validez discriminante de los métodos de Sunderland y Solomon en ninguna de las muestras (clínica: aROC: 0,73 [IC 95%: 0,64-0,81] y 0,77 [IC 95%: 0,69-0,85], respectivamente, p = 0,19; voluntarios: aROC: 0,69 [IC 95%: 0,67-0,71] y 0,72 [IC 95%: 0,69-0,73], respectivamente, p = 0,08). Los puntos de corte ≤ 8 y ≤ 5 clasifican correctamente al 71 y 73% de la muestra clínica y al 82 y 84% de la muestra de voluntarios, respectivamente. Los 2 métodos tienen una buena concordancia en la muestra clínica (Sunderland: CCI: 0,90 [IC 95%: 0,81-0,93]; kappa: 0,76 [IC 95%: 0,70-0,83]; Solomon: 0,92 [IC 95%: 0,88-0,95] y 0,77 [IC 95%: 0,71-0,83], respectivamente), algo mayor en el segundo, aunque las diferencias no son significativas.

Conclusiones

La validez discriminante y la fiabilidad interobservador de estos 2 métodos de corrección del test del reloj son similares. El método de Solomon, más breve y sencillo, puede ser más aconsejable en términos pragmáticos.

Abstract

Objective

To compare the discriminant validity and inter-rater reliability of the two scoring systems for the Clock test that are most used in Spain.

Methodology

Two collections of clock drawings obtained in a clinical context (116 cases; 56.8% women, mean age 73.1 ± 7.7 years) and in a cohort of volunteers (2039 drawings of 579 subjects; 59.5% women, mean age 78.3 ± 3.8 years) have been assessed. All subjects were classified as cognitively normal (CN) or cognitively impaired (CI) after extensive clinical and neuropsychological evaluation. Expert raters have evaluated these drawings independently and without knowledge of the diagnosis using the Sunderland and Solomon systems standardized in Spanish by Cacho (range 0 to 10) and del Ser (range 0 to 7) respectively. The discriminant validity of each method was calculated in the two samples using the area under the ROC curve (aROC), and the inter-rater reliability was calculated in the clinical sample, that was assessed by the two evaluators, using the intraclass correlation coefficient (ICC) and the kappa coefficient.

Results

There are no significant differences in the discriminant validity of the Sunderland and Solomon systems in any of the samples (clinical: aROC 0.73 [CI95%: 0.64-0.81] and 0.77 [CI95%: 0.69-0.85] respectively, P=.19; volunteers: aROC 0.69 [CI95%: 0.67-0.71] and 0.72 [CI95%: 0.69-0.73] respectively, P=.08). The cut-off points ≤8 and ≤5 correctly classify 71% and 73% of the clinical sample and 82% and 84% of the volunteer sample, respectively. Both systems have good agreement in the clinical sample (Sunderland: ICC 0.90 [CI95%: 0.81-0.93], kappa 0.76 [CI95%: 0.70-0.83]; Solomon: 0.92 [CI95%: 0.88-0.95] and 0.77 [CI95%: 0.71-0.83] respectively), somewhat higher in the second, although the differences are not significant.

Conclusions

The discriminant validity and inter-observer reliability of these two Clock Test correction systems are similar. Solomon's method, shorter and simpler, may be more advisable in pragmatic terms.