El proceso de “peer-review” en las Revistas Biomédicas: Cualidades de los Revisores de “Excelencia”

Resumen

El proceso de “peer-review” es trascendental para la mejora de los artículos científicos y representa una ayuda inestimable para los editores en la selección de los trabajos para su publicación. Su calidad debe supervisarse muy estrechamente, ya que en ella se basa la credibilidad del proceso científico. El perfil general de los mejores revisores ya está definido pero todavía son necesarios nuevos estudios para conocer mejor sus características. El reto todavía pendiente, para los editores y para las sociedades científicas médicas en general, sigue siendo conseguir la excelencia dentro del proceso de “peer-review” y lograr que este importante trabajo sea valorado y reconocido como un mérito académico.

Abstract

The “peer-review” system is used to improve the quality of submitted scientific papers and provides invaluable help to the Editors in their decision-making process. The “peer-review” system remains the cornerstone of the scientific process and, therefore, its quality should be closely monitored. The profile of the “elite” reviewers has been described, but further studies are warranted to better identify their main characteristics. A major challenge, not only for Editors but also for medical scientific societies as a whole, is to continue to guarantee the excellence in the “peer-review” process and to ensure that it receives adequate academic recognition.

Las revistas biomédicas tienen como objetivo fundamental publicar artículos científicos de calidad y conseguir la máxima difusión posible de sus contenidos^1–5. Estas revistas constituyen el medio de comunicación natural de los últimos avances médicos entre la comunidad científica internacional. En un mundo académico cada vez más competitivo y globalizado, las revistas biomédicas se esfuerzan por alcanzar los más altos estándares de calidad, tanto desde el punto de vista editorial como científico. Como no pueden publicar todos los estudios que reciben, intentan seleccionar y elegir solamente aquellos artículos de mayor relevancia desde el punto de vista científico de acuerdo con su política editorial^1–5. De esta forma, las que alcancen un mayor reconocimiento internacional serán, a su vez, las más atractivas para los investigadores, con lo que lograrán entrar en el “círculo del prestigio” y siempre estarán en disposición de poder elegir los mejores trabajos originales^1–5.

El proceso científico se basa en el sistema de “peer-review” o revisión por pares (RPP), expertos independientes –externos y ajenos al equipo de editorial- que realizan una revisión crítica y valoran el interés de los trabajos remitidos^4–7. Este proceso ayuda a mejorar el contenido científico del artículo, consigue detectar aspectos que deben ser aclarados, subsanar inconsistencias o errores y, además, permite establecer el interés relativo de los manuscritos de cara a la decisión final de los editores^4–7. Los hallazgos científicos no pueden considerarse como tales hasta que son publicados en una revista médica. En este contexto, el sistema de RPP adquiere una importancia capital, permitiendo el avance del conocimiento científico y asegurando la integridad y credibilidad de la literatura médica^4–7. Aunque el sistema de RPP tiene una influencia trascendental en el proceso de selección, la decisión final sobre la publicación o no de los artículos científicos recae directamente en el editor de la revista^2,8.

En este número de NEUROLOGIA, Matías-Guiu et al⁹, analizan las características de los revisores que han valorado trabajos para esta revista en relación con sus respuestas. Los editores de NEUROLOGIA demuestran que las respuestas obtenidas fueron mejores en los evaluadores más jóvenes y en las mujeres. Además, la pertenencia al Comité Editorial de la publicación se asoció a una menor demora en las contestaciones. Finalmente, cuando por motivos editoriales era necesario ampliar el número de evaluadores, la tasa de respuesta caía pero, sin embargo, en los buenos evaluadores no se evidenciaba un “efecto fatiga” al crecer el número de invitaciones que recibían⁹. Este trabajo es de gran interés editorial y nos permite realizar algunas reflexiones generales sobre el proceso de RPP.

Consideraciones generales del proceso de “peer review”

Para valorar los méritos científicos de un trabajo de investigación original lo ideal es que sea analizado críticamente por expertos de prestigio reconocido en dicha materia^{4–7,10–14}. Estos expertos independientes manejan la información más reciente sobre el tema tratado y, por tanto, pueden identificar con facilidad las aportaciones originales de la investigación que se presenta sobre lo ya conocido. Además, se encuentran en una situación óptima para revisar críticamente la información disponible en las bases de datos bibliométricas internacionales y analizarla en relación con el nuevo estudio. Al trabajar en esa área del conocimiento tienen información de primera mano sobre la metodología utilizada y sobre las limitaciones de las técnicas empleadas^{4–7,10–14}. Esta posición de privilegio les autoriza para valorar los trabajos de forma crítica y sugerir aclaraciones metodológicas o incluso que se realicen nuevos análisis para mejorar y completar el estudio. Sin embargo, los revisores no deben ser “censores” ni “inquisidores” que limiten el avance del conocimiento al rechazar todos los trabajos que no sean consistentes con los “dogmas” prevalentes¹⁵.

¿Qué valoramos?

La mayoría de los investigadores (y también los editores) suelen valorar la originalidad y la novedad sobre el conocimiento previo como la característica más importante a la hora de puntuar un trabajo científico^4-7,10–14. La originalidad se considera fundamental en las revistas desde que Franz J. Ingelfinger resaltó hace ya 4 décadas¹⁶ la importancia de que los trabajos científicos fueran originales y que nunca hubieran sido publicados previamente, ni siquiera de forma parcial. Por eso los trabajos que simplemente confirman o matizan hipótesis ya conocidas o los que reproducen resultados previos en escenarios diferentes reciben una menor prioridad. Además, también deben identificarse los trabajos claramente redundantes para evitar su publicación¹⁷. El rigor metodológico asimismo es muy importante, ya que si el diseño del estudio es adecuado y la metodología es cuidadosa, los resultados serán más consistentes. La metodología debe estar descrita de una forma lo suficientemente explícita para permitir a otros investigadores reproducir los experimentos realizados y ser capaces de confirmar los resultados. También es importante que las conclusiones se basen en los datos obtenidos y deben diferenciarse claramente de las interpretaciones de carácter especulativo^4-7,10–14. Los editores deben mantener actualizados los listados temáticos en los que sus revisores son expertos para poder asignarles los manuscritos adecuados.

¿Cómo se hace una revisión?

Una excelente forma de empezar una revisión es resumiendo el diseño y los hallazgos principales del estudio al comienzo del informe de evaluación. La introducción (donde se suele resaltar la importancia de la investigación) y los métodos (donde se determina la calidad del estudio) deben analizarse minuciosamente^{4–7,10–14}. En su caso, debe revisarse la literatura pertinente utilizando los motores electrónicos de búsqueda más conocidos o incluso los proporcionados por la propia revista. Los evaluadores suelen considerarse “jueces” pero también deben actuar como “abogados de los autores” –tratando cada manuscrito como les gustaría que fueran tratados los suyos- aunque su misión fundamental será la de servir como “abogados de la revista” ejerciendo funciones de filtro¹². Se ha sugerido que revisar algunos listados de variables puede ayudar a los evaluadores a realizar una crítica más completa¹². Actualmente, la mayoría de las revistas que emplean sistemas de gestión electrónica de manuscritos obligan a completar al revisor una serie de valoraciones cuantitativas y cualitativas, aparte de rellenar los apartados específicos de comentarios para los autores (donde no debe hacerse referencia a la posibilidad de publicación) y comentarios dirigidos directamente al editor¹⁸. Estos sistemas electrónicos agilizan el proceso de RPP, facilitan la comunicación entre autores, evaluadores, y editores, y generan un cierto efecto llamada para el envío de manuscritos¹⁸.

¿Cuales son las funciones del revisor?

Se han señalado las siguientes responsabilidades de los evaluadores^{4–7,10–14}: 1) comunicar inmediatamente a la revista cuando no pueden realizar una evaluación para evitar demoras en el proceso de RPP; 2) reconocer problemas éticos o conflictos de interés; 3) asegurar la validez científica del trabajo revisando su metodología y resultados; 4) valorar su originalidad; 5) resaltar sus fortalezas y limitaciones; 6) sugerir formas de mejorar el manuscrito, 7) respetar la confidencialidad de todo el proceso y la propiedad intelectual de los autores¹⁹. Otros expertos²⁰ resumen, como funciones más importantes de los revisores las de juzgar si los manuscritos son: 1) importantes, 2) científicamente válidos, 3) coherentes, 4) legibles y 5) apropiados para la revista en particular. A su vez, DeMaria¹⁴ destacó las cualidades de los revisores de excelencia. Los revisores de “elite” deben estar altamente capacitados en el tema que evalúan y ser expeditivos. Deben ser altamente objetivos y capaces de generar críticas analíticas que identifiquen las virtudes y debilidades del estudio de una forma constructiva. También deben ser capaces de detectar todos los errores graves de diseño o los problemas metodológicos que invaliden las conclusiones y deben ser consistentes en sus comentarios para los autores y para los editores. Por último, no deben ser vagos en sus apreciaciones sino que deben basarlas en referencias concretas y, en caso necesario, sugerir la implementación de los métodos estadísticos más adecuados¹⁴.

Ser revisor de una revista prestigiosa es a la vez un gran privilegio y una gran responsabilidad^{4–7,10–14}. El proceso se basa en la confianza y la credibilidad. En realidad, realizar informes de RPP tiene gran similitud con el proceso de diseño, desarrollo y redacción de un artículo científico original y, por tanto, requiere los mismos altos estándares de perfeccionismo y honestidad. Como en cualquier proceso de escritura, la calidad puede ser variable porque, de alguna manera, depende de un cierto grado de inspiración. Los evaluadores siempre plantearán críticas constructivas y en todo momento mantendrán un lenguaje respetuoso. Deben recordar que en muchos casos sus comentarios tendrán una importante labor educadora. Sus críticas serán mesuradas, teniendo en cuenta el peso relativo de la revista dentro del conjunto de las publicaciones de la disciplina^{4–7,10–14}. Siempre deben recordar y respetar el esfuerzo que han requerido los investigadores para culminar su trabajo de investigación y lograr plasmarlo en un manuscrito definitivo. Los editores deben evitar que los evaluadores transmitan una sensación de superioridad, con comentarios sarcásticos o destructivos, amparándose en su anonimato. Los evaluadores deben conocer bien las normas de la revista y, de esta forma, podrán ayudar a los autores a satisfacer sus requisitos formales. Finalmente, los revisores no deben tener conflictos de interés (económicos ni de otra índole) que puedan percibirse como un potencial sesgo en sus opiniones. En caso de duda, es mejor declararlos abiertamente a los editores para que ellos decidan^6,21.

¿Es un sistema perfecto?

La RPP ya fue utilizada en 1731 por la “Royal Society of Edinburgh” para la valoración de manuscritos científicos¹⁵. Sin embargo su aplicación sistemática por las revistas fue muy posterior^7,15,22. El proceso de RPP es universalmente utilizado y defendido tanto por los editores como por la comunidad científica internacional pero, al mismo tiempo, siempre ha sido cuestionado y criticado²³. Cualquier persona con cierta experiencia en el proceso de RPP, bien como autor bien como revisor, suele ser capaz de contar historias aparentemente inverosímiles de situaciones vividas en primera persona. Richard Smith, ex-editor del BMJ²³ resumía así las limitaciones del proceso de RPP: 1) es poco reproducible y es subjetivo (poco acuerdo entre revisores), 2) puede ser sesgado, 3) no evita un componente de suerte (puede ser una lotería), 4) su capacidad de detectar errores importantes en los manuscritos es limitada y es muy poco eficaz para detectar el fraude científico, 5) representa un despilfarro de actividad académica por parte de los revisores (que podrían emplear -de forma más productiva- en realizar investigación original), 6) durante el mismo pueden producirse abusos, y 7) aunque pueda parecer paradójico, este proceso diseñado para valorar la ciencia no se basa en evidencias científicas que prueben su eficacia²³. En este sentido, una interesante revisión sistemática y meta-análisis ha confirmado que realmente existe poca evidencia científica, contrastada con los estudios adecuados, sobre el valor del proceso de RPP¹¹. El grupo de Davidoff et al¹¹ revisaron toda la literatura disponible y únicamente encontraron 19 estudios en los que se analizaba adecuadamente (de una forma comparativa e intentando controlar por factores de confusión) el valor del proceso de RPP. Estos estudios analizaban las implicaciones del enmascaramiento, el empleo de listas de variables, las estrategias de comunicación con la revista, la existencia de sesgos sistemáticos en los revisores y la influencia del proceso de RPP en la “calidad” de los estudios publicados¹¹. Los resultados de todos estos estudios fueron, en general, o no concluyentes o muy controvertidos.

Debemos, por tanto, reconocer que, en comparación con otras áreas del conocimiento, la evidencia que apoya los beneficios del sistema de RPP es relativamente limitada^11,23. Sin embargo, como hemos dicho, todos los editores lo defienden y también se valora muy positivamente por la comunidad científica internacional^{4–7,10–14}. En una encuesta reciente realizada entre más de 3.040 investigadores académicos, el 93% respondieron que el proceso de RPP era necesario y, además, la mayoría consideraron que había ayudado significativamente a mejorar su último artículo publicado^24,25. Es, sin lugar a dudas, el menos malo de los sistemas posibles. No obstante, no es necesario que los editores envíen “todos” los trabajos a revisión externa, ya que aquellos de baja calidad pueden ser identificados internamente y rechazados directamente por los editores²⁶. Esto evita que se consuman recursos editoriales en manuscritos que no tienen posibilidades de aceptación y facilita que puedan ser enviados precozmente para su valoración en otras revistas más adecuadas. Johnston et al²⁶ realizaron un estudio aleatorizado sobre este tema donde se valoraron 351 manuscritos. De ellos, 88 fueron asignados a RPP convencional y 263 a valoración inicial por los editores (182 fueron rechazados directamente por los editores y 81 enviados finalmente a RPP convencional). El brazo asignado a RPP sistemática se asoció a un mayor trabajo de revisión y a un significativo retraso en la decisión final. Sin embargo, la valoración del mérito e impacto científico de los manuscritos finalmente aceptados resultaron similares con ambas estrategias editoriales²⁶.

¿Se puede educar al revisor?

Según Davidoff, el proceso de RPP sólo puede aprenderse con la práctica, es decir con el método de ensayo y error (“experimental learming”)¹⁰. Se ha sugerido que la “educación” de los revisores podría mejorar su rendimiento y la calidad de sus revisiones. Sin embargo, en un estudio controlado y aleatorizado Schroter et al²⁷ no lograron demostrar el valor de una estrategia de intervención educativa. En este estudio, las modestas mejoras obtenidas en el brazo de intervención en algunas variables de calidad de las revisiones no se consideraron de relevancia editorial. El estudio fue criticado porque la intervención fue excesivamente breve, únicamente centrada en aprendizaje de tipo pasivo y porque los revisores ya eran personas experimentadas y, por tanto, el efecto del aprendizaje podía no ser tan evidente²⁷. Queda pendiente por establecer si otros programas de intervención más ambiciosos podrían obtener resultados más alentadores¹⁰. También se ha criticado que el proceso de RPP no logra detectar todos los problemas que presentan los trabajos. En un curioso estudio americano²⁸ se utilizó un manuscrito ficticio en el que los editores habían introducido de forma deliberada una serie de errores importantes. Aunque los revisores (n = 262) identificaron muchos de los problemas hasta 2/3 de los mismos no fueron identificados. En concreto, el 68% de los revisores no se dieron cuenta de que las conclusiones del estudio no se basaban en los resultados presentados. Los revisores que identificaban menos errores tendían a aconsejar la aceptación del manuscrito²⁸. Para obviar este tipo de problemas se ha sugerido la conveniencia de incluir revisores “profesionalizados”. Así, algunas revistas incluyen sistemáticamente a revisores expertos en metodología, epidemiología y bioestadística en la valoración de los manuscritos originales que reciben². Esta decisión puede estar justificada por la importancia de los aspectos metodológicos, muchas veces no valorados adecuadamente por los expertos clínicos, y además por la función docente y de ayuda para los autores². Otras revistas, por el contrario, sólo piden asesoramiento estadístico cuando los manuscritos ya están en fase de aceptación.

Concordancia y revisores “hueso”

Una crítica muy extendida es que el grado de acuerdo entre los revisores suele ser escaso, aunque esto lo saben, mejor que nadie, los propios editores. Incluso en algunos estudios el acuerdo supera por muy poco el que sería esperable simplemente por azar^23,29. Con el tiempo los editores conocen perfectamente quiénes son sus mejores revisores en cuanto a la calidad de sus evaluaciones y la consistencia y fiabilidad de sus respuestas. Es fácil de entender que, en caso de discrepancias, los editores atiendan mucho más fácilmente a recomendaciones bien fundamentadas, de evaluadores rigurosos que han revisado exhaustivamente el manuscrito, que a aquellas basadas en valoraciones muy superficiales^2,7. Por otro lado, la calidad y la orientación general de las recomendaciones de un revisor determinado suele mantenerse relativamente estable. Hay un reducido número de revisores (<1%) que siempre son muy fáciles de contentar (“entusiastas”) mientras que otros son siempre muy duros (“asesinos”) y esto debe ser tenido en cuenta por los editores para mantener un balance adecuado²⁹. A pesar de los desacuerdos en las evaluaciones, todos los estudios confirman la alta apreciación que los editores muestran por los comentarios de los evaluadores^2,7,29. Lógicamente, los editores de las revistas más selectivas siempre prestarán mayor atención y darán más crédito a los revisores más críticos³⁰.

La recomendación aconsejando rechazo dependerá del límite de tolerancia del revisor y del número de errores identificados en el manuscrito. Algunos estudios³¹ han sugerido que las características más importantes asociadas con recomendaciones de aceptación fueron: 1) la calidad científica, 2) la importancia del estudio y 3) el origen geográfico del manuscrito. Curiosamente, los manuscritos de América del Norte tenían más posibilidad de éxito que los de otros países, incluso cuando se ajustaban por las puntuaciones de calidad científica y de importancia y esto fue confirmado por estudios independientes^31,32. Se ha sugerido que la tasa de rechazo no se afecta por la edad del revisor³³. Sin embargo, aquellos revisores que publican habitualmente artículos en las mejores revistas de cada especialidad suelen ser más críticos durante el proceso de RPP y más frecuentemente aconsejan el rechazo del manuscrito en sus evaluaciones³³.

Anonimato y elección del revisor

En nuestro país generalmente se utiliza un sistema de “doble ciego” en el proceso de RPP^2,7. De este modo, ni el autor conoce a sus evaluadores ni éstos conocen la identidad de los autores. En la encuesta antes mencionada realizada a 3.040 profesionales del ámbito académico, el 71% prefería el sistema de RPP doble ciego^24,25. En muchas revistas anglosajonas, sin embargo, se opta por un sistema de ciego simple en el cual la identidad de los autores es conocida pero los revisores se mantienen en el anonimato. Varios estudios aleatorizados han analizado el posible beneficio de cegar a los revisores para los nombres de los autores^34–36. Este enmascaramiento no mejoraba la detección de errores ni la calidad de las revisiones y tampoco acortaba el tiempo de revisión. Por eso este método generalmente no se suele adoptar, ya que cegar la identidad de los autores suele ser muy complicado y además poco efectivo porque, a pesar de los esfuerzos editoriales, los revisores suelen terminan identificando a los autores^34–36. Sin embargo, en general se prefiere que los revisores queden en el anonimato^2,7. Muy recientemente la importancia de mantener el anonimato de los revisores que participan en RPP ha sido defendida y aceptada en procesos judiciales americanos interpuestos por poderosas compañías farmacéuticas multinacionales que litigaban por conocer sus nombres³⁷. En 1999 Richard Smith, entonces editor del Brithis Medical Journal³⁸, inició un novedoso sistema “abierto” de revisión en el que se pedía a los revisores que firmaran sus comentarios. Nature desarrolló un proceso similar³⁹. Esto tiene la ventaja de que así este trabajo se reconoce y, sobre todo, de que los revisores se hacen públicamente “responsables” de sus críticas³⁸. El sistema evita que algunos revisores amparados en el anonimato realicen comentarios destructivos o simplemente, superficiales y de baja calidad. Un estudio aleatorizado⁴⁰ demostró que con las revisiones abiertas es menor el número de revisores que acepta la invitación para realizar la evaluación (se puede perder hasta un 25% de los revisores) y los informes tardan más en efectuarse, aunque éstos son mas corteses y de mejor calidad. El problema fundamental es que estas críticas suelen ser son mucho mas favorables a los autores⁴⁰. Aunque es importante que los revisores se responsabilicen de sus revisiones, esta estrategia también puede favorecer un dialogo “extra-editorial” indeseable entre autores y revisores, especialmente en ámbitos científicos reducidos y cerrados. La iniciativa todavía está en fase experimental y pendiente de que se establezcan sus resultados definitivos^38–40.

Otro tema que genera cierta polémica es si se deben aceptar los revisores sugeridos directamente por los autores. Generalmente, los editores no aceptan estas sugerencias aunque sí suelen respetar las peticiones de que se excluyan del proceso a revisores concretos. Algunos estudios han sugerido que los revisores elegidos por los editores proporcionan revisiones de mayor calidad y son algo más rápidas, aunque las diferencias encontradas no parecen tener gran relevancia práctica⁴¹. Por el contrario, otros estudios han sugerido que el tiempo de revisión y la calidad de las revisiones es muy similar^42,43. En todos los estudios, los revisores sugeridos por los editores suelen ser muchos menos favorables a la aceptación del manuscrito que los elegidos por los autores^41–43

Estudios previos sobre la calidad de los revisores

En un interesante estudio previo, Matías-Guiu et al⁷ describieron las características fundamentales del proceso de RPP. Se destacaban aspectos de imparcialidad, equidad, competencia y decisión, como elementos claves en el proceso de mejora del artículo y en la toma de decisiones. Al estudiar la competencia de los revisores se adelantaba ya que los mejores evaluadores son aquellos de menor edad, con mejores curriculum vitae, los pertenecientes a unidades de investigación reconocidas y aquellos que son bien conocidos por los editores⁷. Se ha sugerido que el pertenecer a una institución académica de prestigio puede mejorar la calidad de los revisores que estarán inmersos en un ambiente más científico y rodeados de mejores medios materiales e intelectuales (apoyo informático, estadístico etc.). También se ha considerado que las instituciones académicas permiten obtener un “tiempo protegido” que podría emplearse en el proceso de RPP²⁰.

Curiosamente, sin embargo, muchos estudios han demostrado que la calidad de la revisión –valorada con “scores” validados- declinaba al aumentar el rango académico del evaluador⁴¹. Stossel et al⁴⁴ fueron los primeros en alertar sobre la existencia de una correlación inversa entre la reputación como líder de opinión y el rango académico y la calidad de las evaluaciones recibidas. Además, los revisores con estas características también fueron los que rechazaron más frecuentemente realizar las evaluaciones. En el estudio de Evans et al⁴⁵ se evaluó el curriculum vitae de 201 internistas. Tras eliminar la influencia de muchas variables de confusión, sólo la edad <40 años y trabajar para instituciones académicas de excelencia predijeron las evaluaciones de mayor calidad. El género, pertenecer al Comité Editorial, ser un autor prolífico, o tener un alto rango académico no afectaban a la calidad de las revisiones. En este estudio, un revisor menorde 40 años, conocido por el editor, perteneciente a una universidad de prestigio y anónimo para los autores (4% de los revisores) tenía una probabilidad del 87% de generar una revisión de máxima calidad. Por el contrario, si no tenía ninguna de estas características, la probabilidad era de tan sólo el 7%⁴⁵.

En el estudio de Black⁴⁶ se evaluaron las revisiones de 420 manuscritos enviados al BMJ. Solo la edad <40 años y un entrenamiento formal en epidemiología se asociaron con la calidad de las revisiones. Sin embargo, la adscripción académica, la experiencia en la publicación o en investigación y la pertenecía al Comité Editorial no se asociaron con la calidad de las evaluaciones. A su vez, en el trabajo de Kliewer²⁰ las puntuaciones de los editores de una revista de radiología también fueron mejores para los evaluadores de menor edad y para aquéllos que ejercían en instituciones académicas. Una vez más, ni el género, los años de experiencia como revisor, el rango académico o la valoración final del manuscrito se asociaban con las puntuaciones otorgadas a la calidad de las evaluaciones.

Finalmente, Callahan et al⁴⁷ estudiaron la relación entre la calidad de las revisiones y el entrenamiento previo o la experiencia de los evaluadores. En este estudio 307 revisores completaron un cuestionario estructurado sobre diferentes variables que intentaban analizar la experiencia previa. Posteriormente, los editores valoraron de una forma prospectiva, durante un periodo de 4 años, las evaluaciones recibidas (2,856 informes en total). Utilizando una escala de calidad validada y estandarizada se identificaron a: 1) revisores de excelencia y 2) revisores satisfactorios; ambos grupos fueron comparados con los revisores restantes. En el análisis multivariado, variables como el rango académico, entrenamiento formal en lectura crítica o métodos estadísticos, o ser investigador principal de proyectos financiados, no se relacionaba con la calidad de las revisiones. Sorprendentemente, el hecho de pertenecer a un comité ético hospitalario se asociaba con peores evaluaciones. Los únicos predictores independientes de calidad de las revisiones fueron trabajar en un centro universitario y la juventud de los evaluadores. Estar presentes en otros Comités Editoriales (para revisores de excelencia) o haber pertenecido a comités de selección de becas (para revisores satisfactorios) sólo ayudaba a mejorar parcialmente algunos de los estimadores de calidad. Los autores concluían que no existen antecedentes académicos claros que ayuden a identificar con fiabilidad a los mejores revisores. Esto resalta la importancia de que los editores supervisen muy cerca la calidad de las revisiones y, en general, todo el proceso de RPP de sus revistas⁴⁷.

Estudio actual

Matías-Guiu et al⁹, del equipo directivo de NEUROLOGIA, analizan el perfil de los expertos externos que valoraron trabajos para esta publicación durante los últimos 3,5 años en relación con las características de sus evaluaciones. Con el objetivo de identificar el perfil de sus mejores evaluadores se analizó su edad, género y su pertenencia o no al Comité Editorial de la revista. La tasa de respuesta a las invitaciones para revisar artículos fue mayor a medida que disminuía la edad de evaluadores y también cuando los expertos invitados eran mujeres. La condición de miembro del Comité Editorial no condicionó una mejor tasa de respuesta aunque los evaluadores de este colectivo tuvieron una menor demora en sus contestaciones⁹. Este estudio permite profundizar en el perfil de los mejores evaluadores de las revistas biomédicas en nuestro entorno científico y socio-sanitario. En nuestro conocimiento no existen en nuestro país trabajos editoriales similares sobre este tema. El tema es relevante ya que las conclusiones de este estudio pueden servir para ayudar a mejorar y agilizar el proceso de RPP.

Tiempo y tasa de respuesta

Con buen criterio, en este estudio se excluyeron del análisis aquellas valoraciones en las que el revisor contestó que no podría realizar la evaluación en el tiempo solicitado⁹. Está claro que, de forma ocasional, incluso los mejores revisores pueden estar sobrecargados con excesivos compromisos clínicos o académicos previos. Siempre es mejor avisar lo antes posible de que la evaluación no podrá realizarse para permitir que el equipo editorial busque un sustituto a tiempo. De otra forma se producen retrasos indeseables que dañan el interés de los autores y el prestigio de la propia revista. Este problema, sin embargo, sólo puede entenderse como algo excepcional en los evaluadores de élite que siempre deben priorizar su compromiso con la revista^2,14. No es infrecuente que los autores que se quejan más amargamente cuando sus trabajos se retrasan durante el proceso de RPP, sean los mismos a quienes previamente los editores han tenido que reclamar insistentemente que envíen sus evaluaciones². En realidad un tiempo de 4 semanas es más que razonable para permitir acomodar compromisos previos. De hecho, actualmente la mayor parte de las revistas médicas solicitan recibir las evaluaciones dentro de un plazo de 15 días². Los tiempos de evaluación repercuten en los tiempos para la primera decisión editorial (la más importante) y en los tiempos totales de publicación de los manuscritos aceptados. Éstos son aspectos claves de calidad editorial, con implicaciones tanto a nivel científico (para los investigadores) como bibliométrico (para las propia revista)^3,8. Una de las variables de resultado más interesantes del estudio es el tiempo medio en recibir las evaluaciones, que fue de 31 días. Como decíamos, es un tiempo razonable pero, al mismo tiempo, señala una oportunidad de mejora editorial. Ésta debería considerarse dentro de una estrategia de “esfuerzo en común” que no sólo atañe a los editores de la revista sino a todos los miembros de esta sociedad que, bien como autores o como lectores, serán los beneficiados directos de las mejoras de calidad obtenidas.

Edad

Se ha sugerido que los revisores más jóvenes detectan mejor los errores en los manuscritos que los revisores más seniors¹³. Aparte de su interés por alcanzar reconocimiento profesional, suelen haber recibido más recientemente entrenamiento en habilidades de diseño, metodología y estadística y conocen mejor las bases de las técnicas diagnósticas o terapéuticas más novedosas que suelen ser objeto o base de los estudios científicos²⁰. Además, los revisores más jóvenes buscan más datos en la literatura y están más abiertos y receptivos para aceptar nuevas ideas mientras que los de mayor edad se basan más frecuentemente en su experiencia y mantienen opiniones más arraigadas, lo que se ha denominado “sesgo de confirmación” ²⁰. También se ha sugerido que los revisores de mayor edad y aquéllos con rangos académicos más altos son menos impresionables por los nuevos trabajos y que tienden a dar menores puntuaciones globales a los trabajos³¹. Ya hemos destacado cómo en todos los estudios los jóvenes tienen mayor calidad en sus revisiones^44–47.

Mujeres

A veces las mujeres necesitan esforzarse mucho más para lograr ascender por las resbaladizas escaleras de la promoción académica y para superar el ya tópico “techo de cristal” ^48–51. Aunque en los países desarrollados las mujeres representan ya más de la mitad de los estudiantes de Medicina, su presencia en cargos académicos de relevancia sigue siendo todavía muy escasa y, desde luego, menor de la esperable^48–50. Algunos estudios han sugerido que las mujeres escriben menos artículos en revistas científicas. También que son invitadas menos frecuentemente a escribir comentarios editoriales en revistas de prestigio y que están pobremente representadas en los Comités Editoriales^48–51. Incluso en nuestro país datos recientes confirman este problema⁴⁸. Se ha especulado que la competitividad propia del mundo académico requiere horarios más prolongados que muchas mujeres deciden no elegir. También se ha sugerido que, en general, las mujeres prefieren orientarse hacia posiciones con mayor componente clínico o docente que hacia el mundo de la investigación. Esto podría explicar, al menos en parte, su menor presencia en el mundo académico^48–51. La parte positiva de la información disponible es que las cosas ya están cambiando y en todos los estudios, tanto en España como a nivel internacional, el número de autoras se está incrementando de forma progresiva^48–51. Además, en cuanto a la calidad del proceso de RPP, su comportamiento es muy similar al de los varones y en algunos estudios ha sido incluso superior. Un estudio realizado por los editores de JAMA⁵² sugería que, en comparación con las revisoras, los revisores varones daban más frecuentemente recomendaciones extremas de aceptación o rechazo. Los datos del estudio presentado en este número de NEUROLOGIA indican que las mujeres obtienen unos excelentes resultados en el proceso de RPP⁹. Queda por definir si la menor edad de las mujeres de este estudio (46 vs 52 años) condicionó los resultados de sus respuestas o si éstos pueden achacarse directamente a otros aspectos relativos al género. También hubiera sido interesante conocer el porcentaje de mujeres evaluadoras que pertenecían al Comité Editorial y si esto modificaba o no los resultados obtenidos. Estos datos podrían ayudar a aclarar la compleja interrelación que parece existir entre estos tres factores y su potencial influencia en las variables de respuesta analizadas. En cualquier caso, los resultados del trabajo de Matías-Guiu et al⁹ demuestran convincentemente que, en nuestro medio, las mujeres son tan buenas evaluadoras –si no mejores- que los varones, por lo que no sólo deben participar cada vez más en el proceso de RPP, sino que también tener una presencia creciente en los Comités Editoriales de nuestras revistas⁴⁸.

Miembros del Comité Editorial

En este estudio, la edad de los evaluadores pertenecientes al Comité Editorial era mayor que la de los simples colaboradores con la revista (54 vs 49 años). Sin embargo, la demora media de los miembros del Comité Editorial era menor que la de los colaboradores no miembros (26 vs 33 días)⁹. Esto puede apuntar a que los miembros del Comité Editorial de esta revista están especialmente estimulados y claramente comprometidos con su tarea. Además, la falta de un “fenómeno fatiga” en los revisores más utilizados demuestra la habilidad de los editores de la revista para estimular a sus miembros de mayor confianza. A modo de ejemplo, el revisor que recibió un mayor número de invitaciones fue, sorprendentemente, el que menos tiempo empleo en finalizarlas (14 solicitudes de revisión con un tiempo medio de demora de sólo 11 días)⁹. Curiosamente, un estudio reciente parece sugerir que los miembros del Comité Editorial de una revista publican más en esa misma revista que miembros equivalentes de otros Comités Editoriales⁵³. Sin embargo, no queda claro si esto podría deberse a sesgos internos en el proceso de RPP o en las decisiones editoriales, o bien a la remisión preferencial de manuscritos a la revista con la que los revisores están más familiarizados.

Los miembros del Comité Editorial de una revista deben expresar todo el dinamismo científico que atesora la sociedad correspondiente. Los miembros científicamente más activos deben asumir un mayor protagonismo en el proceso de RPP. A veces miembros más seniors pueden ir adquiriendo un número creciente de responsabilidades académicas que les dificulta mantener los estándares de calidad requeridos por el proceso de RPP. Aunque se podría considerar que en este momento estos miembros debieran ser reemplazados, esta decisión puede no ser tan fácil ya que muchos de ellos exhiben un alto prestigio internacional. Debemos recordar que los indicadores que analizan la calidad de las revistas valoran entre otras consideraciones el prestigio internacional y el impacto científico de los miembros de su Comité Editorial. Probablemente lo ideal es conseguir un equilibrio y obtener la máxima colaboración de los miembros más prestigiosos de la sociedad pero, al mismo tiempo, actualizar el comité con miembros jóvenes y entusiastas aunque su prestigio internacional todavía no esté consolidado. En cualquier caso, la elección del Comité Editorial es responsabilidad exclusiva del editor^2,6 y en su decisión siempre deberán prevalecer los aspectos científicos y el interés de la revista frente a otras consideraciones de tipo más político.

Otros Aspectos del Estudio

Hay algunos aspectos potencialmente interesantes que no han sido analizados en este trabajo pero que podrían ser tenidos en cuenta en estudios posteriores estudios. Como hemos indicado, la mayoría de las revistas biomédicas “califican” a sus propios evaluadores, aunque dichas valoraciones suelen mantenerse en la intimidad de los editores². Independientemente de la tasa de respuesta y la demora, los editores evalúan las revisiones efectuadas atendiendo a su calidad, profundidad y a su rigor científico. Este aspecto de la “calidad de las evaluaciones” en relación con el perfil de los evaluadores no ha podido ser analizado en el presente trabajo pero sería muy interesante conocer si, también en nuestro país, esta variable está influida por el perfil científico de los evaluadores. En este sentido, conocer si los mejores evaluadores tienen un papel especialmente activo como autores en publicaciones nacionales o internacionales de prestigio o bien si están especialmente vinculados con el mundo académico o universitario podría ser de gran interés. Sin embargo, este proceso hubiera requerido una metodología mucho más compleja que la empleada en el estudio actual que, siendo de gran sencillez (datos directos del registro de socios de la Sociedad Española de Neurología), tiene una validez interna incuestionable⁹.

¿Qué podemos hacer para estimular a nuestros revisores?

Paradójicamente, a pesar de la trascendencia del proceso de RPP, esta actividad académica está muy poco reconocida. Debido al anonimato de los evaluadores, sólo los editores conocen el valor real de su trabajo. Realizar de forma precoz un buen informe de revisión es un trabajo voluntario que sólo puede generar nuevas invitaciones… y más trabajo^{4–7,10–14}. Por eso, sin un reconocimiento explícito, con el tiempo puede resultar tentador abandonar el proceso de RPP y dedicarse a otras actividades académicamente más “rentables”.

Ser invitado a valorar un trabajo para una revista de prestigio debe considerarse como un verdadero honor. Muchas veces este esfuerzo de “altruismo académico” se realiza simplemente para sentirse un miembro activo de la comunidad científica. En esta familia todos somos autores pero, al mismo tiempo, todos debemos servir como revisores. La recompensa por ser autor es clara. La gratificación más importante del revisor es saber que ha contribuido a mejorar la calidad de la ciencia que se publica. Con el tiempo, los revisores consolidados suelen ser invitados a formar parte del Comité Editorial. Sin embargo, este “escaparate” está muy limitado y no todos los revisores de calidad pueden verse incluidos en él². Uno de los problemas mas desagradables que pueden encontrarse los editores de revistas con Comités Editoriales bien asentados es ver cómo algunos buenos revisores jóvenes, que no logran ser incorporados (y reconocidos) en los mismos a pesar de haber desarrollado una excelente actividad durante varios años, terminan por decepcionarse y no aceptar nuevas invitaciones².

¿Qué incentivos tangibles se pueden ofrecer para estimular un sistema tan vital para la salud del proceso científico? Aparte del reconocimiento de participar como colaborador (cartas del editor o publicación de agradecimientos en páginas especiales) o de pertenecer al Comité Editorial, existen otros estímulos². Muchas sociedades científicas otorgan créditos oficiales de formación médica continuada por actividades de RPP^2,14. El número de horas que se emplea en finalizar una de estas revisiones puede establecerse y computarse como actividad acreditada. De hecho, algunas publicaciones han desarrollado un “score” en el que se pondera de forma combinada -aunque con diferente peso- la calidad, el número de evaluaciones y el tiempo empleado en realizarlas². Así, cada revisor alcanzará anualmente una puntuación que, de forma automática, le otorgará los correspondientes créditos de formación continuada. Los evaluadores también pueden ser premiados con acceso libre a los buscadores bibliométricos de la revista o con suscripciones gratuitas a la publicación. Otra forma, ya clásica, de premiar el trabajo de RPP es invitar al revisor a escribir un editorial acompañante para poner en perspectiva los aspectos más destacables del artículo original aceptado². Esto parece especialmente acertado, ya que dicho revisor es, por definición, un experto en el tema y conoce el artículo en profundidad por lo que fácilmente podrá resaltar sus méritos y limitaciones. Además, en muchos países este trabajo puede recompensarse con cartas de recomendación especiales del editor para promociones académicas. Finalmente, algunas revistas premian a sus mejores evaluadores con premios específicos (revisor de élite) que se entregan oficialmente durante las correspondientes reuniones científicas^2,14.

Sin embargo, aún queda mucho trabajo por hacer. Es trascendental que las sociedades científicas médicas promuevan que las actividades de RPP sean adecuadamente valoradas como méritos académicos tanto en los baremos de provisión de plazas como en los concursos de promoción en el ámbito universitario. Es la mejor manera de reconocer la importancia de este trabajo para que, entre todos, contribuyamos mantener la credibilidad del proceso científico.