Introducción
El progreso científico se caracteriza por un avance continuo del conocimiento que generalmente tiene naturaleza incremental. La ciencia habitualmente se desarrolla mediante hallazgos de índole menor que permiten avanzar y complementar lo ya establecido y, sólo de forma excepcional, por descubrimientos de carácter mayor que producen un cambio de paradigma.1,2 El principio fundamental de todo proceso científico o trabajo académico consiste en que debe ser sometido a una valoración crítica. Únicamente aquellos principios y hallazgos que superen dicho análisis serán aceptados y se considerarán como hechos establecidos y científicamente probados.1,2 En 1605 Francis Bacon1,2 ya destacaba las virtudes intrínsecas de la duda en la ciencia: protege frente a los errores y detecta problemas que, sin una observación atenta y cuidadosa, pasarían inadvertidos. Aunque el proceso de crítica ocurre durante la fase de desarrollo de los trabajos y también posteriormente a su difusión, el énfasis se centra en el momento de la publicación.
El proceso de "peer-review" o "revisión por pares" (RPP) consiste en la valoración crítica del rigor metodológico, la calidad científica, la originalidad y el interés de los trabajos que han sido remitidos a una revista científica, por parte de expertos externos e independientes.3 Este proceso editorial permite detectar aspectos del manuscrito que deben ser aclarados, subsanar inconsistencias, corregir errores y mejorar el contenido científico global del artículo. Además, ayuda a los editores a establecer el interés relativo de los manuscritos recibidos de cara a su decisión final.3 Aunque el proceso de RPP es clave para la selección de los mejores artículos, la decisión final sobre su publicación recae directamente en el editor.3
Las revistas biomédicas tienen como objetivo fundamental publicar artículos científicos de calidad y conseguir la máxima difusión posible de sus contenidos.4 Estas revistas compiten por atraer hacia sus páginas a los mejores trabajos de investigación. Para ello deben ofrecer los más altos estándares de calidad editorial y científica. Los autores siempre intentan publicar sus trabajos de investigación en las revistas de mayor prestigio, impacto y difusión dentro de su disciplina. Por eso, aquellas revistas que alcancen un mayor reconocimiento internacional recibirán los mejores trabajos y podrán consolidar su atractivo ante los lectores e investigadores. Como las revistas no pueden publicar todos los artículos que reciben, realizan una intensa labor de selección y únicamente aceptan aquellos con mayor relevancia científica.3-9 En este escenario, el sistema de RPP es fundamental ya que expertos de reconocido prestigio sobre el tema tratado, critican el estudio y asesoran al editor sobre su calidad y su interés para los lectores.3,9
Como hemos indicado, los avances en el conocimiento sólo son aceptados por la comunidad científica internacional cuando los estudios en los que se sustentan son publicados en una revista científica. De hecho, se considera que la ciencia no publicada no existe. Por eso, el sistema de RPP de las revistas es tan importante ya que permite garantizar que se ha seguido el proceso científico y que el trabajo ha sido revisado y criticado y que, finalmente, sus aportaciones han sido consideradas como válidas. De esta forma el sistema de RPP también ayuda a garantizar la integridad y credibilidad de la literatura médica.3-9
Aspectos generales del proceso de RPP:
El sistema de RPP ya fue propuesto por los filósofos griegos como una forma de acercarse al conocimiento de las cosas.9 La "Royal Society of Edinburgh" lo propuso en 1731 como método para la valoración de manuscritos científicos9-11 aunque su uso oficial se retrasó hasta 1782 y se atribuye a la publicación "Philosophical Transactions".9-11 En realidad, aunque su utilización en las revistas científicas comenzó a difundirse hace 200 años, su empleo sólo se generalizó a partir de la década de los 70 del pasado siglo.9-13 Actualmente representa una parte integral del sistema de evaluación empleado por todas las revistas biomédicas de prestigio.
La mejor manera de valorar los méritos científicos de un trabajo original es que sea analizado por expertos externos de reconocido prestigio en dicha materia.3,7-9,14 Dichos expertos revisan críticamente, y de forma independiente, el valor de la aportación original sobre lo ya conocido. Como trabajan e investigan sobre ese tema concreto, dominan la metodología requerida y conocen muy bien sus limitaciones.3,7-9,14-17 Por eso es tan importante que las revistas mantengan perfectamente actualizados los listados temáticos sobre las áreas de conocimiento específico de sus revisores.3 Estos expertos pueden revisar e interpretar correctamente la información más actualizada disponible en las bases de datos bibliográficas electrónicas. Desde su posición de privilegio están moralmente autorizados para sugerir aclaraciones metodológicas o nuevos análisis estadísticos y pedir que se aporten datos adicionales o incluso que se realicen nuevas investigaciones que ayuden a completar y mejorar el estudio.3,7-9,14-17 Todo ello constituye una verdadera garantía sobre la validez del trabajo. Los revisores deben mirar cada artículo con una mentalidad abierta y ser capaces de aceptar resultados que ellos mismos no esperaban o los que son fruto de una aproximación metodológica novedosa frente a un problema. Incluso si "a priori" están en desacuerdo con el tipo de estudio o con sus conclusiones, deben de ser capaces de revisar, de la forma más objetiva posible, la fuerza de la evidencia y la validez de sus conclusiones. Es muy importante que nunca actúen como "censores" o "inquisidores", rechazando los trabajos que no sean acordes con su experiencia o con los paradigmas imperantes, porque esta actitud impediría el avance del conocimiento.3,7-9,14-17
También es importante destacar que todo el proceso se basa en la confianza y la credibilidad (por definición los autores siempre dicen la verdad) aunque el trabajo sea criticado de manera exhaustiva. Finalmente, debemos recordar que el proceso de valoración de un manuscrito tiene importantes similitudes con el proceso de diseño, desarrollo y redacción de un artículo científico original y, por tanto, requiere los mismos estándares de perfeccionismo, rigor y honestidad.3,9
Probablemente sea la originalidad la característica que más se valora en un trabajo científico.3,7-9,14-17 En el mundo editorial se respeta la "regla Ingelfinger"18 que exige que los trabajos sean originales y que nunca antes hallan sido publicados. Además, también deben identificarse los trabajos redundantes para evitar su publicación.18,19 Los trabajos con información de tipo incremental, que confirman hipótesis ya establecidas o que simplemente reproducen en escenarios locales los resultados ya descritos en otros contextos, suelen considerarse de menor prioridad. El rigor metodológico también es clave porque los resultados sólo serán válidos si el diseño del estudio y la metodología son adecuados. Así, la metodología y el proceso estadístico deben estar descritos en detalle para permitir que otros investigadores logren reproducir los mismos resultados. Es fundamental que las conclusiones únicamente se basen en los resultados obtenidos y, en lo posible, debe evitarse la especulación.3,7-9,14-17
Una lectura inicial de todo el manuscrito nos permitirá obtener una primera impresión. Debe realizarse una lectura en profundidad anotando los aspectos que posteriormente serán abordados en la revisión. Los comentarios de los revisores han de estar bien fundamentados y pueden dividirse en mayores (diseño o contenido) y menores (aspectos formales o detalles técnicos de fácil resolución).3 La mejor forma de empezar una revisión es resumiendo brevemente el diseño y los hallazgos principales del estudio al comienzo del informe. Esto ayuda al editor y también demuestra a los autores que su trabajo se ha entendido correctamente. Posteriormente un buen camino puede ser seguir la estructura IMRAD (Introduction, Methods, Results And Discussion).20 La introducción debe revisarse para asegurarse que se define el problema y el estado del conocimiento, se plantean las hipótesis y se justifica el estudio que se va a presentar. En este apartado se ha de resaltar la importancia de la investigación y también su novedad. Los métodos se revisan minuciosamente ya que serán los que determinen la calidad del estudio.3,7-9,14-17 Incorporarán las citas adecuadas que permitirán profundizar en la tecnología y metodología empleada. Los resultados deben estar expuestos de forma clara y ordenada. Cuando sea oportuno, los datos pueden resumirse en tablas y los hallazgos ilustrarse en figuras. Hay que cuidar que la información no se repita para evitar una extensión excesiva del manuscrito. La discusión es la parte más libre, pero las afirmaciones han de expresarse con prudencia y basarse en los resultados, aunque al final pueden plantearse nuevas hipótesis y nuevas preguntas pendientes de contestar con estudios posteriores. Los evaluadores deben asegurarse de que las limitaciones del estudio queden resumidas en el apartado correspondiente para que el lector no experto en el tema las identifique con facilidad.3,7-9,14-17
También es importante revisar la literatura más reciente sobre el tema utilizando los motores electrónicos de búsqueda o incluso los proporcionados por la propia revista.3 Actualmente muchas revistas preguntan específicamente en sus cuestionarios para los revisores si se han realizado este tipo de búsquedas y que sistema concreto se ha utilizado. Los evaluadores suelen considerarse jueces o árbitros pero también deben ayudar a los autores y tratar cada manuscrito como le gustaría que trataran los suyos. Siempre deben recordar y respetar el esfuerzo de los investigadores para culminar su trabajo de investigación y lograr plasmarlo en un manuscrito definitivo.3,4,9 El lenguaje será respetuoso y el tono de los comentarios positivo, constructivo y resaltando su función educativa. Para los autores es mucho más útil una explicación de cómo podrían resolver un problema que simplemente dejar constancia del mismo. Los evaluadores deben conocer bien las normas de la revista (incluyendo la extensión concreta de cada tipo de manuscrito) y, de esta forma, podrán ayudar a los autores a satisfacer sus requisitos formales.3,4,9
Actualmente, la mayoría de las revistas que emplean sistemas de gestión electrónica de manuscritos obligan a completar al revisor unos cuestionarios con múltiples valoraciones cuantitativas y cualitativas.21 Existen también apartados específicos para los comentarios para los autores (donde no debe hacerse referencia a la posibilidad de publicación) y para aquellos dirigidos directamente al editor.21 Lo mejor es trabajar en un procesador de texto convencional y posteriormente utilizar la herramienta de cortar y pegar para introducirlos en el gestor de manuscritos. Se ha demostrado que estos sistemas electrónicos agilizan el proceso de RPP, facilitan la comunicación entre autores, evaluadores, y editores y también son muy eficientes durante el proceso de producción una vez que el manuscrito ha sido aceptado.21 Muchas revistas proponen listados de variables validados para cumplimentar por parte de los revisores ya que se ha sugerido que algunas de ellas podrían mejorar la calidad del proceso.20,22-23 Además, algunas recomendaciones generales para la presentación y descripción de los estudios también se han asociado con la claridad y calidad de los mismos. Entre las más importantes conviene recordar: 1) las recomendaciones CONSORT (Consolidated Standards of Reporting Trials) en la descripción de estudios aleatorizados, 2) las sugerencias QUORUM (Quality of Reporting Meta-analysis) en las revisiones sistemáticas y meta-análisis, 3) las recomendaciones STARD (Standards for Reporting of Diagnostic Accuracy) en los tests diagnósticos, 4) las directrices STROBE (Strengthening The Reporting of Observational Studies in Epidemiology) en los estudios observacionales, y 5) las sugerencias EQUATOR (Enhancing the Quality of Trials and Other Research) en los estudios generales de salud.20,22-23
Aunque los revisores no deciden si el artículo será publicado o no, deben manifestar su opinión sobre la "prioridad" para la publicación, ya que ésta representa una gran ayuda para el editor. Deben recordar que todos los estudios científicos tienen limitaciones. Por eso sus críticas y exigencias serán ponderadas y deberán tener en cuenta la posición relativa de la revista dentro de su disciplina.3,7-9,14-17 Finalmente, es importante que antes de enviar sus comentarios a la revista los evaluadores verifiquen, validen y revisen su propio trabajo.15,20
Funciones específicas de los revisores
De forma general, la misión fundamental de los revisores durante el proceso de RPP será la de servir como "abogados de la revista" ejerciendo funciones de filtro, aunque como hemos dicho también deberán esforzarse en orientar para la mejora de los artículos.3,9,15 Diversos estudios han analizado cuáles son las funciones más importantes de los revisores:3,7-9,14-17 1) comunicar inmediatamente a la revista cuándo no pueden realizar una evaluación para evitar demoras; 2) reconocer problemas éticos o conflictos de interés, propios y de los autores 3) respetar la confidencialidad de todo el proceso y la propiedad intelectual de los autores, 4) valorar la originalidad, 5) garantizar la validez científica 6) destacar sus puntos fuertes y limitaciones; 7) realizar una función educadora general y, sobre todo, sugerir ideas para mejorar el manuscrito. Algunos editores24,25 consideran que estos expertos deben centrarse en juzgar si los manuscritos son: 1) importantes, 2) científicamente válidos, 3) coherentes, 4) legibles y 5) apropiados para la revista concreta a la que han sido remitidos. Más recientemente otros editores15-17,24,,25 han insistido en que los revisores deben valorar sobre todo: 1) la validez metodológica, 2) la originalidad, 3) el significado de los hallazgos, 4) el estilo y claridad en la presentación, 5) el interés para los lectores de la revista, 6) que las conclusiones se sustentan en los datos obtenidos y 7) que el resumen refleje el contenido global del artículo.
A su vez, cuando un manuscrito está ya en su fase final de aceptación los evaluadores deben revisar preferentemente la claridad, la exactitud, y que la información se presente de forma completa antes de que el manuscrito sea definitivamente aceptado.1
Anthony De Maria,17 actual editor del J Am Coll Cardiol, ha ido aún más allá y ha resaltado las cualidades que deben adornar a los revisores de "Elite", es decir, los mejores revisores de cada revista. Estos revisores deben estar altamente cualificados para valorar el tema que revisan, considerar su trabajo como una prioridad y comprometerse a terminar su informe lo antes posible. Además, deben ser completamente objetivos y capaces de generar críticas concisas que identifiquen las virtudes y debilidades del estudio, y muy meticulosos para poder detectar los errores de diseño que invaliden las conclusiones. Sus comentarios siempre estarán basados en pruebas y, en su caso, apoyados por las correspondientes referencias bibliográficas. Deben ser estrictos con la metodología empleada y, si es preciso, sugerirán la implementación de métodos estadísticos más adecuados.17 Siempre mantendrán una perspectiva constructiva y educativa. Finalmente, sus comentarios para autores y editores deben ser consistentes.
Ser revisor de una revista prestigiosa debe considerarse como un honor pero también como una importante responsabilidad.3,7-9,14-17 Los revisores no deben tener conflictos de interés (económicos ni de otra índole) que puedan percibirse como una causa potencial de sesgo en sus opiniones. En caso de duda, es mejor declararlos abiertamente a los editores para que sean ellos los que decidan.26-28 Actualmente se están promoviendo nuevas iniciativas editoriales conjuntas para uniformizar los formularios de declaración de conflictos de interés en las diferentes publicaciones.27,28 Curiosamente, aunque la declaración de conflictos de interés para los autores suele estar bien definida las publicaciones detallan muy poco cómo deben declararlos los revisores o los miembros del comité editorial. Por ejemplo, el éxito de algunos inhibidores selectivos de la COX-2, a pesar de evidencias convincentes sobre sus riesgos cardiovasculares, ha sido considerado como un fallo del proceso de RPP derivado de conflictos de interés y ha generado un cierto escándalo.29
Los tiempos de revisión tienen una importancia crítica. De forma excepcional, incluso los mejores revisores pueden estar sobrecargados con excesivos compromisos previos y se ven forzados a declinar la oferta de realizar una revisión. En esta situación siempre es mejor avisar lo antes posible para permitir que el equipo editorial busque otro revisor a tiempo.4,17,30 Los editores pueden agradecer sugerencias sobre otros expertos que puedan actuar como revisores.4 Actualmente las revistas de mayor prestigio solicitan recibir las evaluaciones en un plazo inferior a dos semanas.3,4 Hay que recordar que los tiempos de evaluación repercuten en los tiempos para la decisión editorial inicial y en los tiempos totales de publicación. Ambos son aspectos claves en la calidad editorial y que afectan tanto al interés de los investigadores como a los índices bibliométricos.3,4
Evidencia sobre el valor del proceso de RPP: Datos a favor y en contra
Argumentos en contra: Aunque el proceso de RPP ha sido aceptado por la comunidad científica internacional, siempre ha estado cuestionado.31 Cualquier persona con experiencia en el proceso de RPP, suele ser capaz de relatar anécdotas inverosímiles o las sorprendentes vicisitudes que ha sufrido bien como autor o como revisor. De hecho, este aspecto fue satirizado por una magistral portada cómica en el propio British Medical Journal.32 Algunos editores famosos se han rebelado contra la rigidez del proceso. Robbie Fox, admirado editor de Lancet, solía relatar dos bromas sobre el proceso de RPP.31,33 Decía que nadie hubiera advertido nunca si en algún momento él hubiera cambiado las torres donde se apilaban los artículos aceptados y rechazados. También le gustaba decir que el sistema de selección de Lancet era muy sencillo. Consistía en tirar todos los sobres con los manuscritos por las escaleras de la redacción y seleccionar para publicar únicamente los que llegaban hasta abajo. Cuando era editor del BMJ, Stephen Lock publicó un trabajo muy provocador31,33 Revisó y valoró personalmente todos los manuscritos que le enviaban y posteriormente los envió a un proceso convencional de RPP. Al final, existieron muy pocas diferencias entre los artículos que él había escogido y los que fueron seleccionados tras el proceso completo de RPP.31,33
En un polémico artículo que ha sido muy citado, Richard Smith, editor del BMJ,31 sugería que el sistema de RPP era en realidad un proceso defectuoso pero que, sin embargo, se había logrado "instalar" en el corazón de las revistas y de la propia ciencia. Para los autores el proceso de RPP representa una verdadera "caja negra", totalmente inescrutable hasta que se produce la decisión final. Esta falta de trasparencia no parece acorde con el espíritu científico. Además, nadie ha definido bien el proceso de RPP. Para Richard Smith31 la RPP es un asunto tan etéreo como la poesía, la justicia o el amor. En su artículo, resaltaba críticamente las limitaciones del sistema de RPP y realizaba 10 reflexiones provocadoras y geniales. Consideraba el sistema de RPP como un proceso: 1) lento, 2) caro, 3) subjetivo, inconsistente y poco reproducible, 4) frecuentemente sesgado, 5) que no evita el componente de la suerte, 6) con limitada capacidad para detectar errores importantes y muy poco eficaz para identificar el fraude científico, 7) que conlleva un despilfarro de actividad académica con un claro "costo de oportunidad" (los revisores podrían emplear su esfuerzo intelectual en algo mucho más productivo como la investigación original), 8) que favorece que se generen abusos, 9) que es un sistema basado únicamente en la credibilidad y la supuesta honestidad de los autores (no es un método empírico) y 10) lo que es más importante y paradójico, este proceso, que se utiliza para valorar la ciencia, no se basa en evidencias científicas que demuestren su eficacia.31
Otra forma de valorar la utilidad del proceso es estudiar la percepción de los propios autores sobre el mismo. Un estudio muy interesante34 analizó la percepción de 576 autores de una revista de medicina de urgencias sobre el proceso de RPP. Se utilizó una escala de "satisfacción" de los autores que se contrastó con la decisión editorial (aceptación, rechazo directo por los editores y rechazo tras revisión externa) y con la calidad de las revisiones analizada por los editores con una escala previamente validada. Los autores cuyos artículos fueron aceptados mostraron la máxima satisfacción con el sistema de RPP. Los autores con trabajos rechazados tras revisión externa fueron los más críticos con los tiempos empleados en la decisión editorial, mientras que los autores con trabajos rechazados sin una revisión externa mostraron más insatisfacción con la carta que explicaba la decisión editorial. La satisfacción de los autores de los artículos enviados a valoración externa guardaba una estrecha correlación con la decisión de aceptación pero no tenía relación con la calidad de las revisiones. Finalmente, los autores con mayor experiencia previa en publicaciones científicas mostraron menor satisfacción con el proceso de RPP aunque el grado de satisfacción no dependía del rango académico del autor.34 Datos muy similares se obtuvieron en un estudio diferente realizado desde una revista de pediatría.35 Teniendo en cuenta que la mayor parte de los trabajos enviados a las revistas de máximo prestigio son rechazados, será fácil entender la insatisfacción y las críticas de los autores con el sistema de RPP.
Finalmente, algunos grupos críticos también han sugerido que algunas revistas sólo utilizan el sistema de RPP para mantener su prestigio, para conseguir una "bendición científica" de estudios patrocinados por la industria, para reducir el trabajo de los propios editores o por simples consideraciones de tipo social o psicológico.1,4 Además, no deja de sorprender que, a pesar del elevado costo de todo el proceso editorial y de los pingües beneficios económicos que obtienen los grupos editoriales (incluso dentro de iniciativas del tipo "Open Access"), el proceso de revisión siempre sea realizado de forma gratuita.31
Mucho más preocupantes son los resultados de algunas revisiones sistemáticas que confirmaron la poca evidencia científica disponible sobre la utilidad del proceso de RPP.2,36,37 El grupo de Davidoff y colaboradores2 tras una revisión exhaustiva únicamente encontró 19 estudios en los que se analizaba adecuadamente el valor del proceso de RPP. Sólo se seleccionaron estudios con diseño comparativo en los que se intentaba controlar los posibles factores de confusión.12 En general, los resultados de todos estos estudios no fueron concluyentes y los sistemas de enmascaramientos no resultaron efectivos. Un estudio simultáneo del mismo grupo, pero esta vez con criterios de inclusión más amplios que permitieron analizar 28 estudios, fue publicado como una Revisión Cochrane.36,37 En este trabajo sobre el proceso de RPP se eligió como variable de valoración principal su utilidad para proporcionar estudios importantes, apropiados para el medio de publicación, útiles, originales, metodológicamente robustos, éticos, completos y precisos. La variedad de objetivos y la multiplicidad de diseños de los estudios hizo considerar que no era apropiado la realización de un meta-análisis, por lo que los resultados simplemente se presentaron de forma descriptiva para cada estudio o bien agrupados por cuestiones generales. No se encontró evidencia de que el enmascaramiento del revisor o del autor afectara a la calidad de los resultados del proceso (nueve estudios). Las listas pre-especificadas y otros sistemas de estandarización mostraban resultados favorables (dos estudios). No se encontró evidencia de que el entrenamiento de los revisores mejorara la calidad de los resultados (un estudio). Los diferentes métodos empleados para la comunicación con los revisores y los medios de difusión no mostraron un claro efecto sobre la calidad obtenida (tres estudios). Se encontró poca evidencia (un estudio) sobre la capacidad del proceso de RPP para detectar sesgos en contra de tratamientos médicos no convencionales. La validez del sistema RPP se demostró sólo en un pequeño estudio de un área especializada. El sistema editorial de RPP hace que los artículos se lean mejor y mejora la calidad general de lo reportado (dos estudios) pero se consideró que esta evidencia era difícil de generalizar. Por tanto, los autores de esta Revisión Cochrane36,37 concluían que existe evidencia que sugiere que el sistema de RPP mejora la calidad de los artículos publicados, pero que la evidencia de un efecto positivo sobre la calidad de la investigación biomédica es muy escasa.
Argumentos a favor: El objetivo final de la investigación médica es mejorar la salud o las estrategias terapéuticas. Por eso, si el sistema de RPP debe considerarse como una parte integral de este proceso, tendrían que poder establecerse sus efectos sobre el estado de salud de la población.1 En el momento actual esta aspiración es completamente utópica y por eso se han analizan variables subrogadas de la utilidad del proceso. Sin embargo, en un estudio que revisó las diferentes formas de medir la calidad del proceso editorial1 encontraron multitud de objetivos. Esto sugería que, o bien se esperaban múltiples resultados del sistema de RPP, o bien sus objetivos todavía no estaban bien definidos. Algunos autores han considerado que la única forma de establecer de forma concluyente la utilidad del sistema de RPP sería realizar un estudio aleatorizado en el que en un brazo los trabajos se revisaran por el sistema clásico de RPP y en el otro por un sistema alternativo, por ejemplo la selección aleatoria de trabajos. Sin embargo, la realización de este tipo de estudio siempre se ha considerado inviable o no ética. A su vez, que los beneficios del proceso de RPP sean muy difíciles de cuantificar no quiere decir que no existan. Se ha sugerido que como es un proceso no cuantificable, siempre ha sido más fácil señalar sus defectos que sus atributos.31
Hay estudios epidemiológicos clásicos que indican que los clínicos siempre otorgan una mayor credibilidad a los hallazgos que son publicados en revistas que tienen un sistema de RPP.38 Este factor de credibilidad es clave y demuestra la confianza de los investigadores en el sistema. Un estudio reciente valoró la opinión que más de 3000 investigadores académicos tenían sobre el sistema de RPP. De los encuestados, 93% consideraba que el proceso era necesario y beneficioso. Además, la mayoría reconocía que la RPP les había ayudado a mejorar significativamente el último artículo que habían publicado.39,40 Otro estudio reciente41 valoró la utilidad de un sistema estandarizado de RPP para predecir el impacto que obtenían los manuscritos quirúrgicos. Cuatro cirujanos y cuatro metodólogos valoraron manuscritos que ya habían sido publicados utilizando un nuevo instrumento estandarizado de RPP. La presencia de un estadístico entre los autores, la financiación, el origen europeo y el número de pacientes incluidos fueron identificados como predictores independientes de la calidad de los trabajos. De forma interesante, la valoración de la calidad de los artículos con el instrumento de medida propuesto lograba predecir las citaciones que recibían los manuscritos en la década posterior a su publicación.41 Este mismo año, Bornmann y Daniel42 han publicado otro estudio que demuestra la utilidad del proceso de RPP para identificar aquellos artículos de mayor calidad, definidos como aquellos que eran más citados por la comunidad científica internacional. Para ello se estudiaron las citaciones que obtuvieron los artículos que fueron publicados en una revista determinada tras un proceso de RPP y se compararon con las citaciones que habían recibido los trabajos que habían sido rechazados por dicha revista pero que, posteriormente, fueron publicados en otras revistas. Los resultados de este estudio confirman la utilidad del proceso de RPP para identificar los artículos que posteriormente serán más citados.
Adicionalmente, múltiples estudios ya clásicos demostraron que el proceso de RPP ayuda a detectar errores, problemas de autoría, conflictos de interés, publicaciones redundantes, plagios y fraudes científicos (fabricación).3,9,19 Obviamente, el sistema no es infalible pero está claro que muchas veces logra evitar problemas importantes.
Por otro lado, el valor de los procesos editoriales que se emplean tras la aceptación de manuscritos está bien establecido. En la revisión sistemática de Wager y colaboradores43 se seleccionaron 11 estudios sobre el proceso de edición técnica. Los resultados sugerían que esta actuación mejoraba la presentación y legibilidad de los artículos y también otros aspectos relacionados con la calidad, incluyendo la exactitud de las referencias y, sobre todo, la calidad final de los abstracts.
Finalmente, los editores consideran de forma unánime que el proceso de RPP les ayuda a tomar decisiones y a mejorar el contenido científico del material publicado. Sin embargo, no deja de resultar incómodo dejar que la ciencia se fundamente en simples "creencias". Para ilustrar la aparente paradoja de la falta de evidencias objetivas sobre el beneficio del proceso de RPP y su aceptación generalizada, muchos editores9,24 han echado mano del famoso aforismo de Winston de Churchill sobre la democracia: "Nadie dice que la democracia sea perfecta o sabia. Se ha dicho que la democracia es la peor forma de gobierno excepto todas esas otras formas que han sido probadas de vez en cuando". Esta idea puede ayudar a entender la universal aceptación del sistema de RPP a pesar de todas sus críticas. Simplemente, no conocemos ningún sistema que sea superior y las alternativas se perciben como mucho más arbitrarias, favorecedoras de sesgos y oscurantistas, por lo que despiertan el recelo de la comunidad científica. Pensamos que todo lo anteriormente expuesto proporciona una evidencia más que razonable sobre los beneficios reales del proceso.
Influencia del Perfil de los Revisores en el Proceso de RPP
Cuando se ha analizado el perfil de los mejores revisores se han encontrado datos muy interesantes. En todos los estudios, los mejores evaluadores son aquellos de menor edad, con mejores curriculum y los pertenecientes a unidades de investigación o centros universitarios.3,9,25,44 Stossel y colaboradores45 fueron los primeros en alertar sobre la correlación inversa entre el rango académico y la calidad de las evaluaciones. Todos los estudios posteriores que han analizado la calidad de la revisión con scores validados han confirmado esta observación.3,44,46 Además, es más frecuente que los revisores de mayor rango académico declinen colaborar en el proceso de RPP, presumiblemente porque al tener mayores responsabilidades su tiempo es cada vez más limitado. A su vez, los revisores que son prolíficos autores en revistas prestigiosas suelen realizar evaluaciones más severas.47 Un interesante estudio,48 calculó la probabilidad de que un revisor generara un informe excelente atendiendo a su perfil y tras ajustar por múltiples variables de confusión. Así, un revisor de menos de 40 años, conocido por el editor, procedente de una universidad de prestigio y anónimo para los autores tenía una probabilidad de 87% de generar un informe de alta calidad. Sin embargo, estos criterios sólo los cumplía 4% de los revisores. Por el contrario, los revisores que no reunían ninguna de estas cualidades, sólo tenían una probabilidad de 7% de producir una revisión excelente.48 En otro trabajo realizado en el BMJ49 sólo un entrenamiento formal en epidemiología y la edad menor de 40 años se asociaron con la calidad de las revisiones. En este trabajo ni la adscripción académica, la experiencia previa en la publicación o en investigación, ni la pertenencia al comité editorial se asociaron con los criterios de calidad. Por el contrario, en algunos estudios, la pertenencia a comités editoriales o haber formado parte de jurados de premios y becas de investigación, mejoraba algunos de los estimadores de calidad.44
Los revisores jóvenes están más motivados para alcanzar reconocimiento académico y tienen una mejor base informática y estadística.3,9,45-49 Detectan mejor los errores en los manuscritos y más frecuentemente contrastan los hallazgos del trabajo con la literatura. Además, estos revisores están mucho más abiertos a aceptar nuevas ideas.16,25 Por el contrario, los revisores de más edad valoran mucho su experiencia, lo que puede favorecer la aparición de "sesgos de confirmación".25 Los revisores más experimentados son menos impresionables por los nuevos trabajos por lo que sus valoraciones tienden a ser más críticas, aunque la edad del evaluador no parece afectar significativamente el tipo de recomendación sobre el manuscrito.50 Por otro lado, se ha demostrado que la calidad de las revisiones de las mujeres es similar o superior a las del varón.3,9 Sorprendentemente, las mujeres están sistemáticamente infrarrepresentadas en los comités editoriales de las revistas científicas.51-54 Esto indica que todavía existen sesgos de género que es preciso combatir para permitir una mayor involucración de la mujer en el proceso de RPP.55 Podríamos resumir este apartado diciendo que aunque el perfil de los revisores determina la calidad de los informes, no existen patrones claros que permitan identificar con fiabilidad quienes serán los mejores revisores. Se resalta así la importancia de que los editores supervisen muy estrechamente la calidad de las revisiones.3,47
Relaciones entre editores y revisores
En un mundo científico cada vez más globalizado, las revistas ya no sólo compiten por los mejores artículos, sino también por los mejores revisores. El proceso de RPP requiere una creciente utilización de recursos académicos. Las revisiones tienen carácter voluntario y, para ser de calidad, requieren un esfuerzo muy importante.3,34 Recientemente, se han detectado unos cambios de tendencias que generan una presión creciente en los revisores.20 Por un lado, cada año se produce un importante incremento de las revistas médicas. Las cardiovasculares, en particular, representan un buen ejemplo de este fenómeno, ya que múltiples revistas "hijas" se han generado bajo el amparo del "efecto marca" de las revistas líderes norteamericanas.56 También se ha constatado un aumento significativo en el número de artículos que publican y en su extensión. Por otro lado, con los sistemas de gestión electrónica de manuscritos los editores pueden presionan cada vez más a sus revisores (incluso haciéndoles competir entre ellos) instándoles a enviar su valoraciones en plazos de tiempo cada vez más cortos. Para cerrar el círculo, los lectores también son cada vez más exigentes, esperan una mayor calidad de los contenidos y aceptan peor los errores metodológicos que se han "colado" en el proceso de RPP. En definitiva, los revisores cada vez tienen más trabajo y menos tiempo para realizarlo y, al mismo tiempo, se espera que la calidad de sus evaluaciones mejore.
Como contrapartida, los revisores atesoran un creciente poder que los editores deben saber modular. Así, en muchas ocasiones para que se acepte el artículo se exige casi de forma coercitiva que se realicen todos los cambios sugeridos por el revisor.57 Ocasionalmente estas sugerencias no mejoran el manuscrito sino todo lo contrario. Sin embargo, intentar argumentar en contra puede reducir las posibilidades de aceptación mientras que realizar los cambios en algunos casos puede desdibujar lo que originalmente era un buen trabajo científico.57 En esta situación, el autor debe apelar a la mediación del editor. Para situaciones extremas algunas revistas disponen de figuras de "ombudsman" como defensor del autor o del lector.9 Para algunos autores el poder de los revisores es desproporcionado, porque a veces escudándose en su anonimato se comportan como verdaderos déspotas y, al mismo tiempo, no asumen ninguna responsabilidad por sus dictámenes. Los editores deben garantizar que el proceso de RPP sea uniforme y que la valoración se base únicamente en la calidad del manuscrito. Por eso, la equidad e imparcialidad son otras de las características fundamentales del proceso de RPP.9
La elección del Comité Editorial es responsabilidad exclusiva del editor4,26 y en su designación siempre debe prevalecer el interés de la revista. En las revistas de sociedades científicas parece razonable pedir que los miembros científicamente más dinámicos asuman un mayor protagonismo en el proceso de RPP. Aunque estos miembros suelen ser científicos jóvenes, también es muy importante mantener un adecuado estímulo sobre los miembros más reputados del Comité Editorial para mantenerlos plenamente involucrados en el proceso de RPP.4 Algunos estudios sugieren que los miembros del Comité Editorial de una revista publican más en esa misma revista que los miembros de los comités de otras revistas.58 Esto puede explicarse por un fenómeno de fidelización, con mayor colaboración con la revista de la que se forma parte, pero también por la existencia de sesgos en el proceso editorial que favorecen las publicaciones de los miembros del comité de la revista y que el editor debe conocer.
Los editores suelen calificar internamente a sus revisores. Independientemente de la tasa de respuesta y de los tiempos de demora, analizan la calidad, profundidad y rigor científico de sus revisiones.3,4 De hecho existen diversos instrumentos de medida ya validados para analizar el trabajo de los revisores. Quizá uno de los más conocidos es el RQI (Review Quality Instrument) que ha sido utilizado en muchos trabajos de investigación editorial.9,59 Las valoraciones de los revisores pueden ayudar al editor a poner en perspectiva sus recomendaciones y para invitar a nuevos miembros a integrarse al comité editorial. En general, la calidad de las recomendaciones de un determinado revisor suele mantenerse estable. Así, algunos revisores siempre son muy fáciles de contentar mientras que otros son muy duros en sus valoraciones y esto también debe ser tenido en cuenta por los editores para realizar las correcciones necesarias.60
Otros estudios han cuestionado la capacidad del proceso de RPP porque no logra detectar todos los problemas metodológicos de los artículos. En un trabajo experimental61 los editores generaron un manuscrito artificial repleto de errores metodológicos importantes. El proceso de RPP logró identificar sólo un tercio de los mismos. Además, la mayoría de los revisores no se percató de que las conclusiones del estudio no se basaban en los resultados del mismo.61 Esto sugiere que el sistema de RPP es tan sólo parcialmente efectivo en detectar los errores metodológicos de los estudios científicos. Para soslayar este problema muchas publicaciones incluyen rutinariamente a revisores expertos en metodología en la valoración de los manuscritos.4 La mayor parte de las revistas, sin embargo, sólo ofrecen la valoración de sus expertos en estadística cuando el manuscrito ya ha superado la fase inicial y los revisores clínicos le han asignado suficiente prioridad para publicación.
Una impresión muy extendida es que el proceso es subjetivo y, de hecho, el grado de acuerdo entre los revisores suele ser escaso.31,60 En algunos ámbitos editoriales el acuerdo alcanzado (valorado con el índice Kappa) puede ser tan débil que sólo supera ligeramente al que cabría esperar por el simple azar.62 Obviamente, esto lo sufren tanto los autores como los editores. Sin embargo, con su experiencia y perspectiva los editores conocen perfectamente quiénes son sus mejores revisores en cuanto a la calidad, la consistencia y la fiabilidad de sus respuestas. En caso de discrepancias, los editores atenderán mucho más a las recomendaciones rigurosas y bien fundamentadas, que demuestran una revisión exhaustiva del manuscrito, que a una revisión superficial de pobre calidad.4,63
Los editores también deben vigilar que no se produzcan sesgos indeseados en la valoración de manuscritos. Uno de ellos es el "efecto Mateo" por el que se valoran más favorablemente los estudios de autores prestigiosos.64 Otro problema es la excesiva valoración de algunos revisores de trabajos simplemente por están bien presentados, con mejor imagen o mejor lenguaje. Finalmente, deben evitarse especialmente los sesgos de publicación para los estudios negativos.65 ¿A quién le interesa leer un trabajo sobre un tratamiento que no funciona? Sin embargo debemos recordar que los estudios llamados negativos, si están bien realizados, pueden contestar perfectamente a la pregunta que los originó y sus resultados pueden tener gran trascendencia clínica. Por tanto merecen la misma consideración para publicación ya que también generan conocimiento nuevo. Además, la falta de publicación de estos artículos afecta a la evidencia obtenida en los meta-análisis y, eventualmente, a la práctica clínica.31,65
Reconocimiento académico del trabajo del revisor
Ser invitado a valorar un trabajo para una revista de prestigio debe considerarse un honor. Sin embargo, lamentablemente, a pesar de la trascendencia del proceso de RPP esta actividad académica está muy poco reconocida. Realizar un buen informe de revisión en un corto plazo de tiempo requiere un gran esfuerzo que sólo es apreciado por los editores.4-8 Es un trabajo voluntario que, al ser anónimo, no obtiene un claro reconocimiento y suele representar un acto de "altruismo académico". El revisor se siente un miembro activo de la comunidad científica. Probablemente la gratificación más importante sea saber que se ha contribuido a mejorar la calidad de la ciencia que se publica. A nivel curricular, se puede obtener reconocimiento de participar como colaborador con cartas del propio editor o publicación de agradecimientos en páginas especiales. En algunos países los editores escriben cartas de recomendación que son de utilidad para promociones académicas. Los mejores revisores terminan por ser invitados a formar parte del Comité Editorial. Sin embargo, este "escaparate" es muy limitado y no todos los buenos revisores pueden ser incluidos.4-8 Algunas sociedades científicas otorgan créditos oficiales de formación médica continuada por esta actividad.4,17 Otras facilitan el acceso libre a los buscadores bibliométricos de la revista o incluso suscripciones gratuitas a la publicación. Otra forma de premiar el trabajo de RPP es invitar al revisor a escribir un editorial acompañante, lo que le da un gran prestigio ante la comunidad científica. Finalmente, algunas revistas reconocen a sus mejores revisores con galardones específicos entregados públicamente durante sus reuniones científicas. 4,17
Estrategias de RPP
No es necesario que todos los manuscritos pasen por el sistema de RPP. Los trabajos de baja calidad pueden ser identificados precozmente por los editores y ser rechazados directamente sin pasar por el proceso completo.66 Esta estrategia permite optimizar los recursos editoriales, evita retrasos estériles y facilita que los autores envíen su trabajo a otras revistas más adecuadas. En un estudio aleatorizado sobre esta cuestión, Johnston y colaboradores66 compararon los resultados de dos estrategias editoriales diferentes. Una de ellas consistía en una RPP convencional sistemática. La otra incluía una valoración inicial por parte de los editores que posteriormente sólo enviaban a RPP aquellos manuscritos que juzgaban de suficiente calidad. El brazo asignado a RPP rutinaria se asoció a un mayor trabajo de revisión y a un significativo retraso para alcanzar la decisión final. Sin embargo, los datos objetivos del impacto científico de los manuscritos aceptados resultaron similares con ambas intervenciones editoriales.66
Davidoff14 sugiere que el proceso de RPP sólo puede aprenderse con la práctica.10 Otros autores han sugerido que una "educación" de los revisores podría ayudar a mejorar la calidad de sus informes. Sin embargo, en un estudio aleatorizado, Schroter y colaboradores67 no lograron confirmar el valor de una estrategia de intervención educativa sobre la calidad del proceso de proceso de RPP. En este trabajo las marginales mejoras en algunos aspectos de calidad obtenidas en el brazo que recibió el programa de educación no implicaban, a juicio de los autores, consecuencias prácticas. Este estudio fue criticado porque la intervención fue excesivamente breve, sólo analizaba una estrategia de aprendizaje de tipo pasivo y porque los revisores que participaron en el ensayo tenían bastante experiencia en RPP, por lo que el posible efecto beneficioso del aprendizaje no lograba ser confirmado.67 Algunos editores ridiculizaron este trabajo diciendo que "es difícil enseñar nuevos trucos a un perro viejo".31 En cualquier caso sigue sin resolver la pregunta de si otras estrategias de intervención más ambiciosas o enfocadas en revisores noveles podrían obtener resultados más prometedores.14
Otro tema debatido es si se deben aceptar los revisores sugeridos directamente por los autores. Algunas revistas incluyen un apartado con "revisores recomendados" como parte de necesaria cumplimentación durante el envío del manuscrito. La mayor parte de los editores no apoya esta iniciativa. Obviamente, los autores conocen muy bien quiénes pueden ser los revisores con mayores conocimientos para valorar su trabajo. Sin embargo los autores suelen seleccionar a los evaluadores que pueden serles mas favorables, bien por compartir la misma visión de un problema, bien por motivos de simple amistad personal. Esto genera desconfianza en los editores. Por el contrario, suelen respetarse las peticiones de que se excluyan a determinados revisores del proceso de RPP, fundamentalmente si se razonan los posibles motivos (conflictos de interés, rivalidad académica, etc.). En general el tiempo empleado y la calidad de las revisiones no está afectada de forma apreciable por esta variable.46,68,69 Sin embargo, de forma sistemática los revisores sugeridos por los autores, en comparación con los elegidos por el editor, suelen ser mucho más permisivos y favorables a la aceptación del manuscrito.68,69
Finalmente, muchos editores4,9 defienden la utilización de un sistema "doble ciego" de RPP en el que ni el autor conoce quién evalúa su artículo, ni los revisores saben quiénes son los autores del manuscrito. Ésta es la opción más aceptada dentro del ámbito académico y así lo han demostrado diferentes encuestas.39,40 Es la estrategia empleada en muchas revistas que se editan en español. Sin embargo, la mayoría de las revistas anglosajonas prefiere el sistema de ciego simple donde sólo los revisores quedan en el anonimato. Varios estudios aleatorizados han analizado el posible beneficio de cegar a los revisores para los nombres de los autores.70-72 Este enmascaramiento no mejoraba la detección de errores ni la calidad de las revisiones y tampoco acortaba el tiempo de revisión. Además, cegar la identidad de los autores suele ser muy complicado y poco efectivo, por lo que este método no se ha generalizado.70-72 Hasta hace poco se consideraba esencial que los revisores permanecieran en el anonimato.4 Procesos judiciales recientes, abiertos tras problemas detectados en la publicación de importantes ensayos clínicos farmacológicos han respetado el principio de la confidencialidad de los evaluadores.73
Las prestigiosas revistas "British Medical Journal" y "Nature"74,75 han liderado una nueva iniciativa para hacer del sistema de RPP un proceso "transparente" en el que los revisores firman sus evaluaciones. De esta forma se pretende mejorar la calidad de las evaluaciones, se reconoce la labor de los revisores y, además, se consigue que éstos se sientan mucho más responsables de sus críticas.74 Los revisores deben responder o dar cuenta de sus valoraciones y probablemente este simple factor ("accountability"), mejoraría mucho las evaluaciones.
Un estudio aleatorizado76 ha demostrado que con las revisiones abiertas los informes son de mayor calidad y se utiliza un lenguaje más respetuoso y prudente. Como contrapartida, se reduce significativamente el número de revisores que aceptan participar (retrasando el proceso) y los informes de los que aceptan tardan más en confeccionarse. Sin embargo, el problema fundamental es que las críticas suscitadas en estos procesos abiertos son mucho menos incisivas, lo que podría afectar la calidad del proceso.76 Esta iniciativa está aún en una etapa de investigación.74-76
Recientemente se ha sugerido explorar todas las posibilidades que ofrece Internet analizando iniciativas abiertas y transparentes en las que todo el proceso pueda ser seguido en directo y tiempo real por todas las partes implicadas. Así, los comentarios de los evaluadores, los de los editores, las respuestas de los autores y en su caso los nuevos comentarios (todos firmados) podrán enriquecer a los lectores. De hecho, los lectores también podrían participar en esta discusión científica. Es probable que en muchos casos la discusión suscitada sea incluso más interesante desde el punto de vista científico que el estudio original que la generó. Esta sería la forma de garantizar un proceso más transparente y dinámico que, en definitiva, redundaría en beneficio de la ciencia.
Correspondencia: Fernando Alfonso.
Unidad de Hemodinámica y Cardiología Intervencionista. Instituto Cardiovascular. Hospital Universitario Clínico San Carlos. Plaza de Cristo Rey. Madrid 28040. España.
Correo electrónico: falf@hotmail.com
Recibido el 23 de agosto de 2010;
aceptado el 6 de octubre de 2010.