Telemedicine correlation in retinopathy of prematurity between experts and non-expert observers

Abstract

Objective

To study the correlation between expert and non-expert observers in the reporting images for the diagnosis of retinopathy of prematurity (ROP) in a telemedicine setting.

Methods

A cross-sectional, multicenter study, consisting of 25 sets of images of patients screened for ROP. They were evaluated by two experts in ROP and 1 non-expert and classified according to telemedicine classification, zone, stage, plus disease and Ells referral criteria. The telemedicine classification was: no ROP, mild ROP, type 2 ROP, or ROP that requires treatment. Ells referral criteria are defined as the presence at least one of the following: ROP in zone I, Stage 3 in zone I or II, or plus+. For statistical analysis, SPSS 16.0 was used. For correlation, Kappa value was performed.

Results

There was a high correlation between observers for the assessment of ROP stage (0.75; 0.54–0.88) plus disease (0.85; 0.71–0.92), and Ells criteria (0.89; 0.83–1.0). However, inter-observer values were low for zone (0.41; 0.27–0.54) and telemedicine classification (0.43; 0.33–0.6).

Conclusions

When evaluating telemedicine images by examiners with different levels of expertise in ROP, the Ells criteria gave the best correlation. In addition, stage of disease and plus disease have good correlation among observers. In contrast, the correlation between observers was low for zone and telemedicine classification.

Resumen

Objetivo

Estudiar la correlación de observadores expertos y no expertos en la evaluación de imágenes para el diagnóstico de retinopatía del prematuro (ROP) en un sistema de telemedicina.

Métodos

Estudio transversal y multicéntrico. Veinticinco sets de imágenes de pacientes con screening para ROP evaluadas por 2 expertos en ROP y uno no experto. Se clasificaron según esquema de telemedicina: zona, estadio, enfermedad plus y según criterios derivación de Ells. El esquema de telemedicina era: no ROP, ROP leve, ROP tipo 2 o ROP que requiere tratamiento. Criterios de derivación según Ells son la presencia de al menos uno de los siguientes: ROP en zona I, estadio 3 en zona I o II, o plus+. Para el análisis estadístico se utilizó SPSS^® v.16.0. Para la correlación se usó el índice de Kappa.

Resultados

Hubo una alta correlación entre observadores para la evaluación del estadio ROP (0,75; 0,54–0,88), enfermedad plus (0,85; 0,71–0,92) y los criterios de derivación de Ells (0,89; 0,83–1,0). Sin embargo, los valores interobservadores fueron bajos para zona (0,41; 0,27–0,54) y esquema de telemedicina (0,43; 0,33–0,6).

Conclusiones

Al evaluar imágenes de telemedicina por examinadores con distinto grado de especialización en ROP, la clasificación de Ells tiene la mejor correlación, junto con estadio y enfermedad plus. En cambio, la correlación entre los observadores fue baja para zona de ROP y esquema de telemedicina.