Tres siglos después… ¿Es vigente el arbitraje por pares en las publicaciones científicas?

Resumen

Introducción

Desde hace tres siglos, la divulgación de los resultados de la investigación se ha apoyado en la revisión por pares. Este proceso ha adquirido mayor importancia en las últimas décadas debido al número creciente de publicaciones científicas en temas cada vez más especializados, que requieren ser evaluados para determinar su calidad, originalidad, validez y creatividad científica, entre otras. Sin embargo, el proceso ha sido cuestionado por múltiples razones y recientemente se han planteado nuevas alternativas.

Objetivo

Realizar un análisis de la evolución histórica del proceso de arbitraje por pares en las publicaciones científicas, sus ventajas y desventajas, su situación actual y algunas perspectivas hacia el futuro.

Método

Revisión narrativa de la literatura y ensayo crítico sobre el tema.

Conclusiones

El proceso de arbitraje por pares es necesario. Sin embargo, se requiere evolucionar hacia nuevas formas de revisión de los trabajos de investigación, que involucren los avances tecnológicos y de comunicación presentes y futuros.

Abstract

Introduction

For three centuries, the dissemination of research results has relied on peer review. This process has become more important in recent decades, due to the increasing number of scientific research in specialized topics, which need to be evaluated to determine their quality, originality, validity and scientific creativity, among others. However, the process has been questioned for many reasons and new alternatives have recently arisen.

Objective

To realize an analysis of the historical evolution of the process of peer review in scientific publications, its advantages and disadvantages, its current situation and some future prospects.

Method

Narrative review of literature and critical essay on the subject.

Conclusions

The process of peer review is necessary. However, it is required to evolve into new forms of reviewing the research, involving present and future advances in technology and communications.

La revisión de los resultados de la investigación por pares tiene una historia ya de aproximadamente 300 años. Los orígenes de este procedimiento se asocian a la fundación de Academias Nacionales en el siglo XVII en Europa, aunque existen algunos antecedentes en el siglo previo. Con la creación de las revistas Philosophical Transactions y Journal des Scavans por la Royal Society of London y la Académie Royal des Sciences de París respectivamente, inició paulatinamente el proceso de revisión independiente de los manuscritos científicos¹. En 1731 la Sociedad Real de Edimburgo publicó Medical Essays and Observations, considerada la primera colección de artículos médicos revisada por pares⁶, a partir de la cual evolucionó el arbitraje por pares como ahora lo conocemos; pero no fue sino hasta después de la segunda guerra mundial cuando este procedimiento cobró relevancia debido al aumento en la producción científica mundial, cada vez más especializada.

El proceso de arbitraje

El principio fundamental del arbitraje por pares es que expertos en un área temática específica valoren el sustento científico, la calidad, la creatividad, la originalidad, la validez, la significación, la claridad y la ética del trabajo realizado por otros investigadores^1,2 y, a través de sus observaciones, mejorar la calidad del manuscrito. Ayuda a asegurar que el trabajo esté metodológicamente bien realizado y que los hallazgos hayan sido bien interpretados³. La mayoría de los autores valoran este proceso y consideran que los comentarios de los revisores ayudan a mejorar su trabajo⁴, particularmente en las áreas de limitaciones de estudio, fuerza de las conclusiones, y claridad de la información⁵. Sin embargo, se ha demostrado que la capacidad de los revisores para detectar errores metodológicos o de manejo estadístico de los datos es limitada⁶. La Colaboración Cochrane considera que no existe evidencia suficiente que asegure que este procedimiento garantice la calidad de la investigación científica⁷.

Otro objetivo del arbitraje por pares es detectar fraude o plagio⁴, aunque estudios recientes demuestran que esto tampoco se logra⁶; podemos encontrar innumerables ejemplos de ello en la literatura. Mucho se ha cuestionado sobre si esta responsabilidad debe recaer en el editor o en los revisores, ya que la comprobación de datos fraudulentos es difícil y consume recursos valiosos. La mayoría de los autores concluyen que la veracidad de la información debe ser responsabilidad del autor y que el proceso debe basarse en la confianza y los principios éticos de honestidad y veracidad. Lamentablemente, esta práctica pareciera ser mucho más común de lo esperado, ya que hasta un 33% de investigadores norteamericanos aceptaron haber cometido alguna conducta inapropiada⁸, sin embargo, no se conocen cifras duras. En el intento de promover la integridad científica se han establecido el Comité de Ética en la Publicación, integrado por 346 revistas científicas, la Oficina de Integridad en Investigación, y el Panel Inglés para la Integridad de la investigación en Ciencias Biomédicas y de la Salud. A pesar de ello, las políticas contra el plagio y el fraude continúan siendo locales⁹.

En la actualidad existen miles de revistas científicas, que llevan a cabo distintos procedimientos para la selección de los artículos que publican. En la mayoría de las revistas médicas subsiste el sistema de revisión por pares prepublicación. En general, el proceso consiste en dos etapas:

• 1)

  Primera etapa: en donde los editores realizan una preselección de los manuscritos evaluando su calidad metodológica y pertinencia, de acuerdo al tipo de revista científica, y descartan duplicidad con la literatura publicada. Algunas revistas como Journal of Ethnopharmacology cuentan con criterios específicos para determinar si el manuscrito debe pasar a la segunda etapa. Las tasas de rechazo en esta primera evaluación varían del 10 al 80%. La función de editor es trascendental, ya que ocupa un lugar «intermedio» entre los autores y los revisores, con roles cambiantes de «juez» y «parte», y sus decisiones deben ser siempre imparciales, por ejemplo, en la selección de revisores objetivos.

• 2)

  Segunda etapa: que consiste en la evaluación por revisores expertos independientes, cuyos comentarios son considerados por el comité editorial para determinar el dictamen final de cada manuscrito. En promedio, cada manuscrito recibe la crítica de dos revisores¹⁰, aunque Bordage reportó un promedio de cuatro revisores en el caso de Academic Medicine¹¹. La mayor parte de los cuestionamientos sobre el arbitraje por pares se centra en esta etapa.

Predominan tres modalidades de revisión. La abierta, la cegada simple (en donde el autor desconoce la identidad del revisor), y la cegada doble (en donde ni el autor ni el revisor conocen sus respectivas identidades, aunque es difícil poder omitir todos los datos del estudio que pudieran revelar la procedencia de los autores). El objetivo de la revisión cegada es promover la imparcialidad en la revisión y este anonimato parece ser muy importante tanto para los investigadores como para los revisores.

En la modalidad más frecuente, que es ciego simple, existen quejas de los autores sobre sesgos en la revisión; por ejemplo: nepotismo y sexismo, discriminación por edad, etnicidad, nacionalidad, institución o país de procedencia, cuestiones políticas o religiosas, o bloqueos específicos a autores considerados «competencia personal»; otras incluyen conflicto de intereses del revisor, plagio intelectual, incumplimiento de la confidencialidad o revelación de las fuentes de financiamiento^12,13 que potencialmente pueden afectar la carrera profesional del autor. Lamentablemente en la actualidad no existen políticas que castiguen estas conductas, pero hay antecedentes de autores que han demandado legalmente a sus revisores⁹.

La modalidad abierta, cuyo objetivo es mejorar la transparencia y eliminar muchos de los sesgos antes mencionados, no es apreciada ni por los autores ni por los revisores, especialmente los más novatos. Estudios controlados han encontrado que la revisión abierta está asociada a una mayor tasa de rechazo a revisar por parte de los revisores invitados¹⁴, hasta la mitad de ellos se niegan a firmar su nombre en la revisión¹⁵, y que la calidad de la revisión no se relaciona con el tipo de revisión (abierta o cegada)^16,17. A pesar de que la opinión en general es que esta modalidad no permite evaluaciones honestas y abiertas, se ha encontrado que cuando el revisor está identificado, la revisión tiende a ser más constructiva, y hay mayor probabilidad de que la recomendación sea publicar el manuscrito que cuando esta es cegada¹⁸. Particularmente en el área de educación médica, una de las revistas más prestigiosas, Medical Education, utiliza un sistema doble ciego, pero en las instrucciones para los árbitros los alienta a firmar con su nombre¹⁹.

Ventajas y desventajas

Y ¿cómo influye la opinión de los revisores en la decisión final del editor? Campos-Arceiz et al.²⁰ encontraron que, cuando existe acuerdo de ambos revisores, la probabilidad de aceptación del manuscrito es de 0% en caso de que la recomendación sea rechazo y 100% cuando es de aceptación (fig. 1).

Figura 1.

Probabilidad de publicación de un manuscrito de acuerdo a la recomendación de sus revisores. Fuente: Campos-Arceiz et al.²⁰ (reproducido con autorización de los autores).

La decisión editorial de rechazar o publicar un manuscrito basado en la recomendación de los revisores parece ser un buen mecanismo; se ha encontrado que aquellos manuscritos que han sido descartados por revistas de mayor impacto, por lo general, son finalmente publicados en revistas con menor impacto, y tienen un número mucho menor de citas, lo que se interpreta como una confirmación de que la decisión de rechazo fue correcta (comunicación personal Archives Medical Research 2014)²¹.

Se ha encontrado que algunas características profesionales y personales de los revisores influyen en el proceso, tales como el sexo (las mujeres tendemos a ser más estrictas), la nacionalidad (por ejemplo, los revisores chinos son más estrictos, particularmente con autores chinos, y los norteamericanos son más indulgentes que los revisores alemanes e ingleses), y la profesión (por ejemplo, los filósofos son más estrictos que los psicólogos)¹.

Otros aspectos por los que este proceso ha sido cuestionado es que es caro, lento, subjetivo, bloquea la innovación³ y favorece ciertas áreas «de moda». Drummond Rennie, editor del Journal of the American Medical Association, manifestó «si el arbitraje por pares fuera un medicamento, nunca se permitiría su liberación al mercado, pues no existe evidencia convincente de sus beneficios, pero existe mucha evidencia de sus fallas»²². Jefferson et al. lo ven como un juego de «serpientes y escaleras», en donde el objetivo es acumular puntos en el «factor de impacto», ganándole la carrera a otros investigadores²³.

Una de las preocupaciones centrales es la capacidad técnica de los revisores, debido a que el proceso se lleva a cabo recurriendo a la experiencia personal de cada uno; es frecuente que, ante un mismo manuscrito, exista divergencia importante en los comentarios y recomendaciones de publicación por parte de los revisores. Richard Smith, ex editor del British Medical Journal, sostiene que el nivel de acuerdo entre revisores es poco mayor al que se esperaría por el azar¹⁸, dato comprobado por otros autores, con índices de consistencia interobservador bajos^24,25.

En general, los revisores adquieren esta habilidad a través de la experiencia propia de enviar trabajos a revisión a sus pares, leyendo revisiones realizadas por otros autores, a través de la práctica propia, por «ensayo y error», aprendiendo «qué hacer» y «qué no hacer»³. Recientemente ha cobrado importancia la organización de cursos y talleres de capacitación para revisores en algunos países de Europa y Estados Unidos (por ejemplo, The British Medical Journal o casas editoriales como Elsevier²⁶), u otras estrategias como la tutoría de nuevos revisores por parte de revisores más experimentados²⁷. Sin embargo, estas estrategias no parecen tener mucho impacto sobre la calidad de las revisiones²⁸. Desde principios de la década de 1990, algunas revistas proveen al revisor de guías específicas para cada tipo de estudio como CONSORT, PRISMA, QUORUM, STARD, STROBE y MOOSE, entre muchas otras, que pueden consultarse en la red EQUATOR (http://www.equator-network.org/reporting-guidelines/). El uso de estas guías por los revisores no es frecuente aún²⁹, su impacto es modesto sobre la calidad de las publicaciones³⁰, y muchos revisores rechazan usarlas por hacer rígido el proceso al no permitir la expresión libre de sus opiniones. En educación médica, Azer et al. recientemente publicaron un artículo que brinda consejos a nuevos revisores en el área de educación médica para realizar revisiones de calidad³¹.

Algunas revistas han iniciado la evaluación de la calidad de las revisiones realizadas por sus revisores, pero en general no existe realimentación por parte del editor. UCount es una nueva estrategia en línea en la que el autor y el editor evalúan el desempeño del revisor, el cual está disponible para editores de otras revistas para decidir si son invitados como revisores nuevamente de acuerdo a la calificación basada en sus evaluaciones previas³².

Además de lo anterior, un problema adicional es la capacidad de respuesta de los revisores, debido a que la revisión minuciosa de un manuscrito consume mucho tiempo. Se estima que el tiempo promedio de revisión por manuscrito es de tres horas, con un rango de una a seis horas³. Este trabajo no remunerado, poco reconocido y voluntario es adicional a sus actividades habituales, por lo que muchas veces los revisores invitados declinan la invitación, o el revisor tarda algún tiempo en emitir sus comentarios, lo que causa dilación en la publicación e inconformidad por parte de los autores. Aun en nuestros tiempos, en donde el uso de la tecnología ayuda en el proceso, el tiempo para publicación de un manuscrito puede extenderse más allá de un año. Recientemente algunas editoriales han emprendido iniciativas para acortar los tiempos de revisión y publicación, con aparentes buenos resultados³³.

Otro dilema en este rubro es que, en algunas áreas temáticas específicas y altamente especializadas, existen pocos expertos, quienes con frecuencia son saturados con manuscritos¹, ocasionando desgaste o «burnout» de los revisores. Este problema es más frecuente en revisores estadounidenses, quienes son invitados para este fin con mucha mayor frecuencia que expertos de otros países⁴. La apertura tecnológica también aporta a este punto, dado que anteriormente los editores consideraban solo a revisores locales, y con la expansión tecnológica ahora realizan invitaciones a nivel internacional, generalmente repitiendo a los mismos expertos. Tampoco es inusual que los mismos revisores sean consultados por diferentes revistas ante el mismo artículo rechazado previamente por revistas de mayor impacto. Este problema se ve magnificado debido a que muchos autores fragmentan sus investigaciones en «unidades mínimas publicables» para tener una mayor productividad científica.

Por último, con frecuencia, la calidad de los manuscritos enviados es pobre, y la redacción en inglés es mala, lo que ocasiona dificultades para entender el manuscrito por parte de los revisores. Es por ello que el editor y grupo editorial intervienen con frecuencia para mejorar la calidad de la traducción para la edición final².

Entonces, ¿por qué ser revisor? Son múltiples los motivos: se obtiene prestigio, fama, y se influye en la dirección de la investigación en un área en particular³. Otras razones son el considerar que es un deber académico, una responsabilidad profesional, una oportunidad para aprender y un acto recíproco. Algunos revisores manifiestan que los mantiene en la frontera del conocimiento del área, o consideran que estimula su propia creatividad científica; los más jóvenes se sienten honrados con la distinción y lo consideran benéfico para su carrera académica. Pocos consideran que el ser revisor los favorecerá en el futuro para poder publicar en esa revista^2,34, o para ingresar en el comité editorial. Para Luis Benítez, editor de Archives of Medical Research, es un signo claro de que la persona ha adquirido el nivel académico más alto³⁵.

Aunque algunas revistas ya otorgan un apoyo económico al revisor, en general no se considera que la remuneración económica beneficie el proceso en términos de objetividad o eficiencia. Otros beneficios otorgados por esta labor son el acceso gratuito a bases de datos, suscripciones a la revista, cupones de descuento para libros, o la inclusión a la lista anual de agradecimientos. Se ha propuesto que el número de revisiones en revistas prestigiosas pudiera considerarse como una medida de contribución a la ciencia², o para promociones académicas u otorgamiento de fondos para investigación³⁵. Recientemente en México, el Consejo Nacional de Ciencia y Tecnología ha incluido el trabajo de revisor como un criterio en la calificación curricular de los investigadores.

Alternativas al arbitraje «clásico»

En el afán de mejorar el proceso de publicación de la investigación científica, se han propuesto alternativas a la revisión por pares antes descrita. La revisión híbrida propuesta por Harnad en 1979 incluye elementos de la abierta con comentarios públicos, y la revisión cegada, que, con los avances de la tecnología, lo han hecho más factible. Esta puede ser a priori, en la cual se invita a realizar comentarios abiertos previos a la revisión formal cegada, o a posteriori, en la que los comentarios ocurren después del proceso por pares. Algunas revistas médicas como BioMed Central Medical Journal, y BMC Medicine tienen experiencia con la forma a priori, y la forma a posteriori en PLos Journals y Open Medicine, en la que incluso se permite realizar cambios al artículo original y no solo comentarlo¹. Sin embargo, algunos autores sostienen que la modalidad a priori no tiene mucha aceptación, debido a que la comunidad científica considera que los artículos deben estar preseleccionados para evitar la «inundación» de manuscritos de mala calidad. La modalidad a posteriori es considerada por muchos como de mayor valor, al poner al juicio de los expertos internacionales la importancia de la aportación y su lugar en el conocimiento del área, cambiando el «yo pienso» (dos revisores y un editor) por el «nosotros pensamos» (comunidad científica), ya que se ha encontrado que existe una baja correlación de estos aspectos entre la evaluación prepublicación y pospublicación^18,22. También se sostiene que su beneficio está en el debate entre expertos alrededor de un estudio, que con frecuencia es mucho más interesante que el propio estudio. Recientemente han comenzado esfuerzos en donde la comunidad científica otorga una calificación sobre la calidad del artículo basado en su originalidad y rigor científico y ético como una nueva medida del valor del artículo (por ejemplo, OpinioNet³²). A la fecha no existe alguna investigación acerca de la mayor utilidad de estas modalidades sobre la revisión «clásica».

Otras alternativas al arbitraje como lo conocemos, incluyen el permitir a los autores llevar a cabo revisiones en diferentes revistas, o publicar los comentarios del revisor en el artículo publicado. Birukou³² publicó tres modalidades particularmente interesantes: el primero es el abordaje «sabiduría de la multitud» en donde se solicita a un grupo de revisores que den un puntaje basado en la lectura rápida del documento (3 a 5 minutos), encontrando que esta estrategia es igual de útil que la tradicional en encontrar los mejores y los peores trabajos, pero no es útil para los de calidad intermedia. El segundo consiste en publicar los títulos y resúmenes de los manuscritos enviados a la revista por un espacio de dos semanas, y la comunidad científica se autopostula como revisores del manuscrito. Al final de este periodo, el editor selecciona de ellos la lista de revisores final y envía las invitaciones. La cantidad de solicitudes recibida puede ser un buen indicio de la calidad del artículo. Por último, los abordajes para la evaluación basada en la comunidad, como peerevaluation.org en donde el autor carga su resumen en formato pdf, lo exporta a su blog, su cuenta Mendeley y repositorio CiteSeerX, quedando simultáneamente indizado por Google Scholar y Microsoft Academic Search, para que los investigadores interesados puedan comentarlo, discutirlo, recomendarlo, y compartirlo.

Conclusiones

Se considera que cuando algo esta «revisado por pares» adquiere una especie de «bendición» ante los ojos del resto de la comunidad científica y el público en general. Si bien es cierto que la revisión por pares tiene muchos problemas, no parece haber soluciones fáciles, y la comunidad científica continúa creyendo en ella. Es un sistema que ha funcionado durante tres siglos, y existe una gran resistencia al cambio. Tal como Churchill dijo sobre la democracia: «es un sistema lleno de problemas pero es lo mejor que tenemos». Pero esto no significa que no pueda mejorar, y debemos ser flexibles al cambio.

Responsabilidades éticas

Protección de personas y animales

Los autores declaran que los procedimientos seguidos se conformaron a las normas éticas del comité de experimentación humana responsable y de acuerdo con la Asociación Médica Mundial y la Declaración de Helsinki.

Confidencialidad de los datos

Los autores declaran que en este artículo no aparecen datos de pacientes.

Derecho a la privacidad y consentimiento informado

Los autores declaran que en este artículo no aparecen datos de pacientes.

Financiación

Ninguna.

Conflicto de intereses

La autora declara no tener ningún conflicto de intereses.