Inter-observer agreement on levels of evidence in radiology articles

Abstract

Levels of evidence (LE) are established through a hierarchical classification of studies according to their design. At present, there are many heterogeneous LE classifications, and this hampers their applicability. Our study aims to identify which LE classification has the best interobserver concordance for radiology articles. For this purpose, an interobserver agreement analysis were performed on 105 original articles applying two NE scales (Oxford Center of Evidence Based Medicine (OCEBM) y National Health and Medical Research Council (NHMRC)). The inter-rater agreement of the LE assigned after reading the abstracts was good when using the OCEBM scale (K = 0.679), and somewhat lower with the NHMRC (K = 0.577 -moderate-). All differences were statistically significant (P < .000). So, in conclusion, of the two scales analysed (OCEBM and NHMRC), the OCEBM led to the strongest level of inter-rater agreement.

Resumen

Los niveles de evidencia (NEs) son una clasificación jerárquica de los estudios atendiendo a su diseño. Actualmente existen muchas clasificaciones de NEs que son muy heterogéneas dificultando su aplicabilidad. Nuestro estudio tiene como objetivo conocer qué clasificación de NE tiene mayor concordancia interobservador en artículos radiológicos. Para ello, se realizó un análisis de concordancia a 105 artículos originales aplicando dos escalas de NE (Oxford Center of Evidence Based Medicine (OCEBM) y National Health and Medical Research Council (NHMRC)). La concordancia interobservador del NE de los abstracts fue buena con la escala OCEBM (K = 0,679), siendo algo inferior con la NHMRC (K = 0,577 -moderada). Todas las diferencias fueron estadísticamente significativas (P < .000). Por tanto, de las dos escalas analizadas la que mejor concordancia interobservador presenta es la OCEBM.