¿Es el factor de impacto un índice apropiado para determinar el grado de evidencia de estudios sobre procedimientos terapéuticos en revistas quirúrgicas?

Introducción. El objetivo de este estudio es determinar la asociación entre el factor de impacto (FI) de las revistas quirúrgicas y el grado de evidencia de los artículos publicados en ellas sobre procedimientos terapéuticos. Material y método. Estudio bibliométrico. Se incluyeron revistas quirúrgicas registradas en ISI® 2002, que fueron agrupadas según el percentil 33 de su FI en: grupo 1 (0,128 a 1,690), grupo 2 (1,691 a 2,886) y grupo 3 (2,887 a 6,674). Se aplicó un muestreo aleatorio simple de las revistas de cada grupo, con lo que los grupos quedaron conformados por: grupo 1: European Journal of Surgery, American Surgeon y World Journal of Surgery; grupo 2: Journal of the American College of Surgeons, Surgery y Archives of Surgery; y grupo 3: The British Journal of Surgery y Annals of Surgery. Los artículos fueron analizados de forma cruzada e independiente por 2 equipos de revisores. Resultados. Un total de 751 artículos estaba relacionado con la terapéutica (41,2%). El FI promedio de los grupos en estudio fue 1,66 ± 0,48 para el grupo 1; 2,61 ± 0,15 para el grupo 2 y 4,69 ± 1,57 para el grupo 3 (p < 0,001). Se encontraron 16 revisiones sistemáticas, 82 ensayos clínicos aleatorios, 96 estudios de cohortes, 474 series de casos y 79 artículos de revisión. Sólo el 4,8% de los artículos era de grado de evidencia 1. Se verificaron diferencias significativas en el 15,1% de los estudios (revisiones sistemáticas y ensayos clínicos, que fueron más frecuentes en el grupo 3; p < 0,001). Conclusiones. Se verificó la asociación entre el FI de las revistas quirúrgicas y el grado de evidencia en publicaciones relacionadas con la terapéutica.

Introduction. The aim of this study was to determine the association between the IF of surgery journals and the level of evidence of articles on therapeutic procedures published in these journals. Material and method. A bibliometric study was performed. Journals listed in the 2002 ISI® under the subject heading of Surgery were included. Journals were classified by applying the 33rd percentile of their IF (group 1 from 0.128 to 1.690, group 2 from 1.691 to 2.886, and group 3 from 2.887 to 6.674). Simple randomized sampling was conducted of journals in each group (group 1: Eur J Surg, Am Surg and World J Surg; group 2: J Am Coll Surg, Surgery and Arch Surg; and group 3: Br J Surg and Ann Surg). A crossover analysis was performed by 2 independent teams of reviewers. Results. There were 751 article on therapy (41.2%). The mean IF was 1.66 ± 0.48 for group 1, 2.61 ± 0.15 for group 2, and 4.69 ± 1.57 for group 3 (P<.001). There were 16 systematic reviews, 82 randomized clinical trials, 96 cohort studies, 474 case series and 79 review articles. Level 1 evidence was found in only 4.8% of the articles. Statistical differences were verified in 15.1% of the study sample, which was represented by systematic reviews and randomized clinical trials (most frequent in group 3 (P<.001). Conclusions. An association between the IF of scientific surgical journals and the level of evidence in articles published on therapy was verified.

Introducción

Los análisis bibliométricos pueden ser útiles para instituciones y organizaciones. Sin embargo, su validez suele ser motivo de polémica, en especial el factor de impacto de las revistas (FI), tema de interés para autores y editores¹.

Es usual que las revistas más consultadas sean las de mayor FI, pues se supone que éstas son las que contienen los artículos de mejor calidad metodológica. El FI se calcula dividiendo el número de citaciones en el año 3 de cualquier ítem publicado por la revista en cuestión durante los años 1 y 2, por el número de artículos publicados en esa revista en ambos años².

Por otra parte, en las últimas 2 décadas se ha utilizado el concepto de "grados de evidencia" en la bibliografía científica, en especial en el ámbito del diagnóstico, la terapéutica, el pronóstico y los estudios económicos. De hecho, éste ha generado tal impacto que el concepto original descrito por Sackett³ ha ido evolucionando con los años, agregándose innovaciones y modificándose progresivamente hasta transformarse en una nueva generación de grados de evidencia^4-8.

Nuestra hipótesis es que las revistas quirúrgicas con mayor FI concentran artículos relacionados con la terapéutica, en adultos, de mayor grado de evidencia, por lo que el FI constituiría un índice apropiado para determinar el grado de evidencia para el tratamiento y, por ende, sería un índice apropiado para comparar revistas en este ámbito.

El objetivo de este estudio es determinar la asociación entre el FI de revistas científicas quirúrgicas y el grado de evidencia de los artículos relacionados con la terapéutica publicados en ellas.

Material y método

Diseño

Estudio bibliométrico.

Selección de revistas

Mediante un muestreo aleatorio simple entre las publicaciones de los años 2000 al 2003 se eligió el año 2002 para realizar este estudio. Se incluyeron entonces todos los títulos relacionados con cirugía general, digestiva, cardiovascular, plástica y torácica, publicados en inglés listadas en el ISI^® Journal Citation Report del año 2002 (tabla 1). La mediana de FI para las revistas quirúrgicas ISI para ese año fue 1,48 (0,128-6,674). De acuerdo con estos valores y su distribución, las revistas fueron agrupadas aplicando el percentil 33 del FI de todas ellas, conformándose de esta manera 3 grupos (grupo 1 de 0,128 a 1,690, grupo 2 de 1,691 a 2,886, y grupo 3 de 2,887 a 6,674). Se realizó entonces un muestreo aleatorio simple mediante asignación computacional para seleccionar las revistas para cada grupo, después de la cual los grupos quedaron conformados de la siguiente forma: grupo 1: European Journal of Surgery, American Surgeon y World Journal of Surgery; grupo 2: Journal of the American College of Surgeons, Surgery y Archives of Surgery, y grupo 3: British Journal of Surgery y Annals of Surgery. Se excluyeron revistas de revisión, como Surgical Clinics of North American y Current Opinion in Surgery, y revistas de investigación, como Journal of Surgical Research o Journal of Investigative Surgery. Se consideraron para el análisis todo tipo de diseños, excluyéndose editoriales, cartas al editor, investigación de laboratorio y estudios realizados en la población pediátrica. Entre los 5.748 títulos que componen el listado ISI^® del Journal Citation Report del año 2002 se encontraron 53 títulos quirúrgicos que cumplían los criterios de inclusión. El FI más alto lo registró Annals of Surgery, que se encuentra en el puesto 142 del ránking general del listado ISI^® con un FI de 6,674, y la revista quirúrgica con menor FI es South African Journal of Surgery con 0.128. De esta forma, se verificó que la mediana de FI de las revistas consideradas fue 2,429 (0,794 a 6,674).

Tamaño de la muestra

Se estimó una muestra de 8 revistas con base en el número de revistas quirúrgicas ISI, un intervalo de confianza del 99%, una frecuencia de esperada de asociación de 80% y un peor resultado de asociación de 20%⁹. La muestra se distribuyó en los grupos antes definidos según el número de revistas disponibles en cada uno de esos intervalos en el momento del estudio.

Metodología de análisis

Todos los artículos de terapia en adultos humanos publicados en las revistas seleccionadas fueron revisados y analizados aplicando la clasificación de Sackett modificada de grados de evidencia^7,8. La revisión fue realizada de forma cruzada e independiente por 2 equipos de revisores, de 2 revisores cada uno. Las discrepancias entre revisores y equipos de revisores fueron resueltas por consenso.

Definiciones

Para los propósitos de este estudio, el grado de evidencia 1 incluye revisiones sistemáticas (RSL) de ensayos clínicos aleatorios controlados (ECA) y ECA individuales de intervalo de confianza estrecho. El nivel 2 incluye RSL de estudios de cohortes, estudios de cohortes individuales y ECA individuales de baja calidad metodológica. El nivel 3 incluye RSL de estudios de casos y controles, y estudios de casos y controles individuales. El nivel 4 incluye serie de casos, estudios de cohortes y estudios de casos y controles de baja calidad. El nivel 5 incluye la opinión de expertos sin evaluación crítica explícita, representada por los artículos de revisión^7,8.

Plan de análisis

Después de un análisis exploratorio de los datos se aplicó la estadística descriptiva (cálculo de promedios, desviación estándar y medianas) y analítica para la comparación de grupos (prueba de la *² de Pearson, exacto de Fisher, ANOVA y no paramétricas). Se consideraron estadísticamente significativos los valores de p < 1%.

Resultados

Durante el año 2002 se publicaron 1.825 artículos en las revistas seleccionadas. De éstas, 751 eran de terapia (41,2%); 302 artículos en el grupo 1 (40,2%), 264 artículos en el grupo 2 (35,2%) y 185 artículos en el grupo 3 (24,6%).

El FI fue 1,66 ± 0,48 para el grupo 1, 2,61 ± 0,15 para el grupo 2, y 4,69 ± 1,57 para el grupo 3 (p < 0,001).

Al aplicar la clasificación de Sacket se encontraron 16 RSL (2,1%), 82 ECA (10,9%), 96 estudios de cohortes (12,8%), 4 estudios de casos y controles (0,5%), 474 series de casos (63,2%) y 79 artículos de revisión (10,5%) (tabla 2). Por lo tanto, sólo el 4,8% de los artículos corresponde a la grado 1 de evidencia, y la mayor parte fueron clasificados en los grados 4 y 5 (tabla 3).

Se verificaron diferencias estadísticamente significativas en el 15,1% de la muestra, representada por RSL y ECA de calidad diversa (grados de evidencia 1 y 2). Estos diseños fueron más frecuentes en el grupo 3. Consecutivamente, las series de casos fueron menos prevalentes en el grupo 3 (p < 0,001) (tabla 4).

Discusión

Las revistas publican diferentes tipos de materias, muchas de las cuales no aportan investigación sustancial y, en este aspecto, la cirugía no es diferente. Por ello, se generó un algoritmo especial que se utiliza para calcular el número de ítems sustanciales de una revista. Éste es el FI, herramienta proporcionada por el Institute for Scientific Information (Philadelphia) y que se ha transformado en la herramienta más importante en el proceso de evaluación de la investigación científica y del trabajo académico; además, puede ser usada como un criterio de evaluación de la actividad de cada revista debido a que, en el "mercado de la investigación", el FI provee una evidencia cuantitativa para editores y editoriales para posicionar sus revistas en relación con la "competencia". Es un método de medición de calidad de las revistas, asumiendo que la citación de artículos entre las revistas se encuentra normalmente distribuida¹. Es más, el FI suele utilizarse para medir la calidad de artículos individuales, hecho erróneo, pues es un índice cuyo cálculo no se proyecta de forma transversal a los artículos de una revista.

Sin embargo, para otros, el FI es un indicador de citaciones y no de calidad; de hecho, se sugiere que no debe ser utilizado para valorar el trabajo de los autores^10-13. De todos modos, estudios empíricos en relación con la validez del FI como indicador carecen de calidad, y se sabe que hay múltiples variables que pueden intervenir en el cálculo del FI y que pueden verse afectadas o incluso constituir sesgos como, por ejemplo, el tipo de revista y su peso, la lengua de la publicación, el nombre de los autores, las autocitaciones, las citaciones repetidas (pocos artículos tienen muchas citaciones y la mayoría son citados de forma ocasional o nunca), la especialidad médica de la revista, etc. Por otra parte, la elección de las citaciones suele ser subjetiva y no es infrecuente observar la incoherencia de algunas citaciones. De hecho, un grupo de editores ha desarrollado una nueva propuesta para clasificar los artículos originales relacionados con ciencias biomédicas, medicina clínica y salud pública con la idea de evitar que al menos la lengua y las especialidades médicas sean un factor que pueda alterar la citación de un artículo¹³.

Nuestros hallazgos sugieren que el FI puede considerarse un indicador de calidad metodológica razonable para la evaluación de artículos de terapia en adultos humanos, publicados en las revistas estudiadas. Se constató una asociación entre el FI y grado de evidencia. Esta asociación se relaciona con los artículos de grado 1 y 2 (más prevalentes en el grupo 3). No obstante, más del 80% de los artículos de terapia publicados en las revistas en estudio en el período analizado tiene un grado de evidencia 4 y 5, y son más frecuentes en las revistas del grupo 1.