Evaluar la calidad de una revista, o de los artículos publicados en ella, es un proceso difícil, ya que son múltiples los aspectos que deben considerarse. Si se preguntara a los lectores habituales de una revista su opinión sobre ella, se obtendrían respuestas muy diferentes. En una encuesta a los lectores de la revista Annals of Internal Medicine, si bien se mostraron globalmente satisfechos con la calidad de los artículos publicados, manifestaron que desearían que tuvieran una mayor relevancia para su práctica clínica1. Los criterios que utilizan los revisores de una revista para evaluar la calidad de los trabajos no siempre coinciden con la opinión de los lectores.
Uno de los criterios más utilizados para valorar la calidad de una revista es su circulación a través de bases de datos y repertorios de información científica internacionales, tales como MEDLINE o EMBASE, ya que ello significa que los artículos publicados están al alcance de la comunidad científica y que aparecerán en los resultados de las búsquedas bibliográficas.
Por ello, los indicadores de actividad científica giran fundamentalmente alrededor de las publicaciones que generan los diferentes trabajos, y actualmente estos indicadores bibliométricos tienen una aceptación casi generalizada entre la comunidad científica.
Actualmente el más utilizado es el factor de impacto, que, cuando se refiere a una revista, corresponde al número de artículos publicados por ésta en los dos años anteriores que son citados por un grupo de revistas incluidas en el Science Citation Index durante ese período de dos años, dividido por el número de artículos publicados por la revista en cuestión en ese período. De forma similar, podría determinarse el factor de impacto de determinados trabajos o equipos de investigación.
El uso del factor de impacto como medida de la repercusión (calidad) de un trabajo tiene limitaciones inherentes a su propia definición, destacando, como más importantes, el protagonismo casi exclusivo de la literatura anglosajona, las variaciones en la popularidad de las publicaciones o, según el área científica, la mayor tendencia de los trabajos publicados en revistas de gran prestigio a ser consultados y citados y el hecho de que la investigación básica es más citada que la clínica.
Por otro lado, dada la deficiente cobertura de publicaciones españolas por las bases de datos internacionales, puede decirse que existe una baja difusión (o contribución) de los datos de las investigaciones publicadas en las revistas biomédicas editadas en España.
Es un hecho reconocido que los autores españoles envían sus mejores trabajos a revistas internacionales antes de escoger las de lengua española y dejan éstas para trabajos de menor calidad o en aquellas situaciones en que han sido rechazados por publicaciones en lengua inglesa, constituyendo una verdadera «fuga de originales de calidad»2 en busca de un mayor impacto internacional.
En realidad, los indicadores bibliométricos, y el factor de impacto entre ellos, no pueden considerarse en modo alguno mediciones de la importancia y menos aún de la calidad de la investigación o de una revista, sino que son primariamente datos numéricos sobre fenómenos sociales de la actividad científica relativos a la producción, transmisión y consumo de la información en el seno de comunidades determinadas3.
Por ello, en nuestro país, se ha creado el Índice de Citas e Indicadores Bibliométricos de Revistas Españolas de Medicina Interna y sus especialidades, que representa un primer paso hacia la medición de lo que podría constituir un factor de impacto en el Estado español, y que trataría de paliar algunas de las limitaciones del factor de impacto internacional. Así, por ejemplo, Medicina Clínica tendría un factor de impacto nacional de 3,24 en 19914, superior a revistas como American Journal of Medicine (2,87) o JAMA (1,72), pero inferior a New England Journal of Medicine (8,55) o Lancet (5,38). Atención Primaria, con un factor de impacto nacional de 1,54, ocuparía el 14º lugar entre las 38 revistas españolas incluidas y el 34º entre todas las revistas citadas en dicho índice.
De todas formas, es difícil evaluar el impacto a partir de datos tan globales. Por un lado, que una revista tenga un factor de impacto elevado no significa que todos los artículos publicados en ella tengan una gran repercusión. De hecho, tan sólo el 45% de los artículos son citados en alguna ocasión en los 5 años posteriores a su publicación, y más de la mitad de las revistas de las bibliotecas no son consultadas ni una sola vez en un año5. Por otro lado, parecería razonable que se tuviera en cuenta la especialidad al evaluar el factor de impacto, así como la difusión ideal que debería tener un trabajo científico, ya que, por ejemplo, investigaciones realizadas en el ámbito de la atención primaria tienen una mayor repercusión si se publican en revistas de dicho ámbito de nuestro país, que no si lo hacen en revistas internacionales de medicina interna, aunque éstas tengan un factor de impacto muy superior.
Pero, además de estos aspectos, resulta fundamental la evaluación de la calidad de los trabajos previamente a su publicación. Existe el consenso general de que, para que una revista sea considerada de calidad, es imprescindible que someta la mayoría de artículos publicados a la evaluación por revisores que no formen parte del consejo editorial (peer review).
Las finalidades principales de este proceso son evitar que se publiquen trabajos de mala calidad científica, de material no original o de trabajos que no contengan información relevante para los lectores de la revista, y mejorar la redacción y presentación de los datos del artículo.
Aunque sus orígenes se remontan a las primeras revistas médicas, la revisión de manuscritos por expertos ha ido adquiriendo una mayor importancia hasta convertirse hoy día en un elemento clave del progreso de la ciencia, reconocido por los propios profesionales como el mejor método para imponer un estándar científico uniforme.
El proceso de revisión de manuscritos ha sido criticado por los sesgos y conflictos de interés a que puede dar lugar, a la vez que por el retraso que puede suponer para la publicación de resultados importantes. Además, no impide que se publiquen trabajos de mala calidad, ya que un porcentaje elevado de los manuscritos rechazados por una revista son posteriormente publicados en otras.
El revisor o árbitro es la pieza clave de este proceso. Ya que debe revisar detenidamente el trabajo para exponer, de forma documentada y razonada, sus errores y los aspectos susceptibles de mejora, debe ser un experto en la materia, además de tener capacidad de juicio crítico, ser imparcial, riguroso y sistemático, y facilidad para enseñar y redactar. No hay que olvidar que un manuscrito suele reflejar el esfuerzo colectivo de un grupo de profesionales, por lo que el revisor debe ser respetuoso con él, no sólo a la hora de redactar sus comentarios y opiniones, sino desde el punto de vista ético, asegurando la imparcialidad de la revisión, sin tomar decisiones rápidas ni caprichosas, y la confidencialidad respecto a su contenido.
La revista Atención Primaria ha utilizado el sistema de revisión de manuscritos desde su inicio y se ha esforzado por conseguir que este proceso sea cada vez mejor y más efectivo. Las principales características de este proceso han sido publicadas por la revista6, con la finalidad de que los lectores y los potenciales autores de artículos los conozcan y sepan los criterios que se utilizan para evaluar sus trabajos. Con esta misma intención, se publicaron los contenidos de las listas de comprobación que se elaboraron para ayudar a los revisores a realizar una revisión sistemática y uniforme7.
Así mismo, en los últimos dos años ha ido incorporándose un número creciente de asesores o revisores, incluyendo algunos expertos en los aspectos metodológicos y estadísticos, lo que ha permitido aumentar la calidad de la revisión y distribuir esta tarea de una forma más racional, dado el esfuerzo y tiempo que supone para estos desinteresados colaboradores. Por otro lado, cada vez es mayor el número de trabajos que son evaluados por más de un revisor, lo que permite obtener una evaluación más rigurosa e imparcial de la calidad de los trabajos. En la tabla 1 se resumen los porcentajes de aceptación de artículos de los últimos cinco años.
Aunque aún estamos lejos de la situación óptima, los resultados pueden considerarse globalmente buenos, como lo refleja el hecho de que Atención Primaria sea considerada como una revista científica propia del conjunto de profesionales que trabajan en esta área del sistema de salud. Evidentemente, no todo lo que se publica tiene la misma calidad (a veces, incluso puede que no tenga ni la calidad suficiente) ni la misma relevancia para los lectores de la revista. Sin embargo, creemos que la tendencia es positiva, queremos continuar trabajando para mejorar la calidad de la revista y animamos a todos los profesionales a hacernos llegar sus siempre valiosas aportaciones, en la esperanza de afianzar a la revista como un vehículo de la expresión científica del ámbito de la atención primaria de nuestro país.
