Calidad metodológica de los artículos publicados en Cirugía Española referentes a procedimientos terapéuticos. Evaluación del período 2005–2008

Resumen

Objetivo

Evaluar la calidad metodológica de los artículos relativos a procedimientos terapéuticos publicados en la revista Cirugía Española y su asociación con el año de publicación, su procedencia y el área temática estudiada.

Material y método

Estudio bibliométrico que analiza todos los artículos publicados entre los años 2005 y 2008 relacionados con procedimientos terapéuticos. Se analizó cualquier tipo de diseño, excluyendo editoriales, artículos de revisión, cartas al director y estudios experimentales. Las variables consideradas fueron año de publicación, procedencia, área temática, diseño y calidad metodológica. Se aplicó un análisis de calidad metodológica empleando una escala válida y confiable.

Resultados

Se estudiaron 243 artículos (206 series de casos [84,8%], 27 estudios de cohortes [11,1%], 9 ensayos clínicos [3,7%] y un estudio de casos y controles [0,4%]). Los estudios provenían preferentemente de Catalunya y Valencia, con un 22,3 y un 12,3%, respectivamente. Las áreas temáticas con mayor número de publicaciones fueron la cirugía hepatobiliopancreática y la cirugía colorrectal con el 20,0 y el 16,6%, respectivamente. El promedio y la mediana de la calidad metodológica de la totalidad de la serie fueron de 9,5±4,3 puntos y de 8 puntos, respectivamente. Se verificó un incremento significativo de la calidad metodológica por año de publicación (p=0,0004). Se observó una asociación entre calidad metodológica y procedencia geográfica (p=0,0101), área temática (p=0,0267) y carácter universitario del centro generador de las publicaciones (p=0,0369).

Conclusiones

La calidad metodológica de los estudios relacionados con los procedimientos terapéuticos publicados en Cirugía Española entre los años 2005 y 2008 es baja. Se constató una tendencia significativa a la mejoría en el año 2008.

Abstract

Aim

To determine methodological quality of therapy articles published in Cirugía Española and to study its association with the publication year, the centre of origin and subjects.

Material and methods

A literature study which included all therapy articles published between 2005 and 2008. All kinds of clinical designs were considered, excluding editorials, review articles, letters to editor and experimental studies. Variables analysed included: year of publication, centre of origin, design, and methodological quality of articles. A valid and reliable scale was applied to determine methodological quality.

Results

A total of 243 articles [206 series of cases (84.8%), 27 cohort studies (11.1%), 9 clinical trials (3.7%) and 1 case control study (0.4%)] were found. Studies came preferentially from Catalonia and Valencia (22.3% and 12.3% respectively). Thematic areas most frequently found were hepato-bilio-pancreatic and colorectal surgery (20.0% and 16.6%, respectively). Average and median of the methodological quality score calculated for the entire series were 9.5±4.3 points and 8 points, respectively. Association between methodological quality and geographical area (p=0.0101), subject area (p=0.0267), and university origin (p=0.0369) was found. A significant increase of methodological quality by publication year was observed (p=0.0004).

Conclusions

Methodological quality of therapy articles published in Cirugía Española between 2005 and 2008 is low; but an increase tendency with statistical significance was observed.

Introducción

En 2005, se publicó un estudio bibliométrico en el que se valoró la calidad metodológica de los artículos publicados en la revista Cirugía Española referentes a procedimientos terapéuticos. En aquel momento se incluyeron todos los artículos de tratamiento que se habían publicado entre los años 2001 y 2004 (ambos incluidos), y se constató que de los 244 artículos analizados, el 81% correspondía a series de casos, el 12% a estudios de cohortes y el 7% a ensayos clínicos (EC). Al aplicar un sistema de puntuación que evalúa la calidad metodológica, se verificó que la calidad fue de 10,2±3,9 puntos, cuando la escala va entre 6 y 36 puntos y se considera punto de corte para discriminar buena/mala calidad los 18 puntos. Pese al valor medio, por debajo de lo deseable, se observó un incremento significativo de la calidad metodológica por año de publicación y también una asociación entre calidad y área temática de los artículos. Por el contrario, no se demostró asociación alguna con el lugar de procedencia ni el carácter universitario del centro generador de las publicaciones¹.

Aunque la metodología empleada en los análisis bibliométricos pueda generar controversia, es un elemento de evaluación del nivel científico de los grupos de trabajo, las instituciones y las revistas². Por esto, parece pertinente realizar un análisis periódico de la realidad de una revista.

El objetivo de este estudio fue determinar el nivel de evidencia y la calidad metodológica de los artículos publicados sobre procedimientos terapéuticos en la revista Cirugía Española en el período 2005–2008 y, al mismo tiempo, estudiar las posibles asociaciones con el año de publicación, la procedencia y la temática estudiada en los artículos analizados.

Material y método

Diseño: estudio bibliométrico.

Población: se consideraron inicialmente todos los artículos relacionados con procedimientos terapéuticos publicados en la revista Cirugía Española entre enero de 2005 y diciembre de 2008. En una segunda etapa, se incluyeron los estudios de investigación clínica con los siguientes diseños: reporte y series de casos (retrospectivas y prospectivas), estudios de corte transversal, cohortes históricas y concurrentes, EC con y sin asignación aleatorizada, con y sin enmascaramiento, individuales y multicéntricos. Se excluyeron los editoriales, los artículos de revisión, las revisiones de conjunto, las revisiones sistemáticas, las vías y las guías de práctica clínica, las cartas al director y los estudios experimentales.

Análisis de los artículos: todos los artículos inicialmente considerados se clasificaron según la propuesta de niveles de evidencia de Oxford para artículos referentes a tratamiento⁶. Posteriormente, se realizó un análisis de calidad metodológica de los artículos que cumplían con los criterios de inclusión y exclusión. A estos, se les aplicó un sistema de puntuación diseñado ad hoc, sometido previamente a estudios de validación (validez de fachada, contenido y concepto para grupos extremos) y confiabilidad (confiabilidad interobservador)^7–11. Este está compuesto por 3 dominios: el primero relacionado con el tipo de diseño del estudio; el segundo relacionado con el tamaño de la población estudiada ajustada según exista o no justificación del tamaño de la muestra, y el tercero relacionado con la descripción de la metodología empleada en el estudio (mención de los objetivos, justificación del diseño, criterios de elegibilidad de la muestra y justificación de esta). De esta forma, se genera una puntuación final que puede fluctuar entre 6 y 36 puntos, y se asignan 6 puntos al estudio de menor calidad metodológica y 36 puntos al de mejor calidad metodológica. El punto de corte que dicotomiza la buena o la mala calidad es 18 puntos¹.

Dos investigadores (CM y LG), que resolvieron por consenso aquellas situaciones en las que no había acuerdo, desarrollaron la determinación del nivel de evidencia y el análisis de calidad metodológica de cada artículo.

Variables estudiadas: además del nivel de evidencia y la calidad metodológica de los estudios, se consideraron otras variables, como el año de la publicación, el lugar de procedencia, el área temática y la naturaleza universitaria o no del centro generador de cada artículo analizado.

Todas las variables, con excepción de la variable «calidad metodológica», eran nominales y, por tanto, se agruparon en categorías: año de la publicación (2005, 2006, 2007 y 2008), lugar de procedencia (por comunidades autónomas), origen universitario del centro generador (sí/no), diseño del estudio según los criterios de niveles de evidencia (1, 2, 3, 4 y 5)⁶ y área temática, en 7 subgrupos (cirugía endocrina y de la cabeza y el cuello, cirugía torácica y cardiovascular, cirugía de la pared abdominal, la mama y las partes blandas, cirugía esofagogastroduodenal y del intestino delgado, cirugía hepatobiliopancreática, cirugía colorrectal y proctológica, y miscelánea).

Plan de análisis: después de un análisis exploratorio de los datos, se aplicó estadística descriptiva con cálculo de promedios y desviación estándar, mediana y valores extremos. Luego se aplicó estadística analítica para establecer posibles asociaciones entre calidad metodológica y las otras variables en estudio; para ello, se utilizó Chi² de Pearson y exacto de Fisher para la comparación de variables categóricas, t-test, pruebas no paramétricas, ANOVA y Scheffe para la comparación de variables continuas, y cálculo de intervalos de confianza del 95%.

Aspectos éticos: los datos obtenidos se codificaron para asegurar la confidencialidad de los autores y los centros que generaron los artículos estudiados.

Resultados

De un total de 741 artículos publicados, 476 estaban dedicados a procedimientos terapéuticos y los restantes a diagnóstico, a pronóstico y a otro tipo de escenarios (fig. 1). Estos se distribuyeron de forma homogénea en el período evaluado (tabla 1), mientras que si se atiende a su origen, las comunidades autónomas con mayor peso son las de Catalunya, Andalucía, Valencia y Madrid, que concentran casi el 60% de la producción (tabla 2). En cuanto al área temática, las más frecuentes fueron la esfera hepatobiliopancreática y colorrectal con un 20,0 y un 16,6%, respectivamente (tabla 3). Además, se observó una mayor proporción de estudios provenientes de centros universitarios (313 artículos [65,8%]) que de centros sanitarios no universitarios (163 artículos [34,2%]).

Figura 1.

Diagrama de flujos de los artículos estudiados.

Tabla 1.

Distribución del total de artículos referentes a procedimientos terapéuticos publicados en el período estudiado según año de publicación

Año de publicación	Artículos, n	%
2005	106	22,2
2006	109	22,9
2007	137	28,8
2008	124	26,1
Total	476	100,0

Tabla 2.

Distribución del total de artículos referentes a procedimientos terapéuticos publicados en el período estudiado según lugar de procedencia de los estudios

Procedencia	Estudios, n	%
Catalunya	106	22,3
Andalucía	66	13,9
Valencia	58	12,2
Madrid	53	11,1
Extranjero	41	8,6
País Vasco	32	6,7
Murcia	31	6,5
Galicia	19	4,0
Castilla-León	11	2,3
Castilla-La Mancha	11	2,3
Aragón	10	2,1
Navarra	9	1,9
Asturias	8	1,7
Canarias	8	1,7
Cantabria	6	1,3
Baleares	3	0,6
Extremadura	3	0,6
Ceuta-Melilla	1	0,2
Total	476	100,0

Tabla 3.

Distribución del total de artículos referentes a procedimientos terapéuticos publicados en el período estudiado según área temática

Área temática	Artículos, n	%
Hígado, vías biliares y páncreas	95	20,0
Colorrectal y proctología	79	16,6
Esófago, estómago, duodeno e intestino delgado^¿	73	15,4
Mama, pared abdominal y partes blandas	53	11,1
Tórax y cardiovascular	49	10,3
Endocrina y cabeza y cuello	32	6,7
Miscelánea^¿¿	95	19,9
Total	476	100,0

¿

Incluye cirugía bariátrica.

¿¿

Incluye anestesia, bazo, fármacos, ginecología, infecciones, laparoscopia en general, melanoma, nutrición, oncología en general, pelvis, peritoneo, retroperitoneo, robótica, suturas, transfusiones, trauma, traumatología y urología. Además, incluye los estudios experimentales y el estudio bibliométrico.

La clasificación de niveles de evidencia de Oxford para estudios referentes a tratamiento¹² se aplicó a 298 artículos al excluir las cartas al director (n=148), los editoriales (n=19), los estudios experimentales (n=10) y un estudio bibliométrico relacionado con tratamiento (fig. 1). Se verificó que el 7,8% de los estudios eran de nivel de evidencia 1 o 2 y el 91,9% de nivel de evidencia 4 o 5 (tabla 4).

Tabla 4.

Distribución del total de artículos referentes a procedimientos terapéuticos publicados en el período estudiado según tipo de diseños encontrados⁶

Diseños de investigación^a	Nivel de evidencia	Artículos, n	%
EC con asignación aleatorizada y doble enmascaramiento^¿	1b	2	0,7
Revisión sistemática de la literatura médica	2a	4	1,3
EC^¿¿	2b	7	2,4
Cohorte concurrente o prospectiva	2b	10	3,4
Estudio de casos y controles	3b	1	0,3
Cohorte histórica o retrospectiva	4	17	5,7
Series de casos^¿¿¿	4	206	69,1
Revisiones narrativas	5	51	17,1
Total		298	100,0

Nota: para esta descripción se excluyeron las cartas al director, las editoriales, los estudios experimentales y bibliométricos.

EC: ensayo clínico.

¿

Incluye estudios individuales y multicéntricos.

¿¿

EC con ausencia de asignación aleatorizada, de enmascaramiento (o enmascaramiento simple), de estimación del tamaño de la muestra, etc.

¿¿¿

Incluye reporte de casos (n=117), series de casos retrospectivas (n=60), series de casos prospectivas (n=27) y estudios de corte transversal (n=2).

a

paraestadescripción se excluyeron las cartas al Director, la seditoriales, los estudios experimentales y bibliométricos.

Posteriormente, para aplicar el sistema de puntuación de calidad metodológica, se excluyeron 51 artículos de revisión narrativa (artículos especiales y revisiones de conjunto) y 4 revisiones sistemáticas, por lo que el subgrupo sometido a este análisis fue de 243 artículos. El promedio y la mediana de la puntuación de la calidad metodológica de todos los artículos fueron de 9,5±4,3 puntos y de 8 puntos, respectivamente (intervalo de confianza del 95%: 8,9–10,1). Por otra parte, se constató que el 95,5% de los artículos publicados tenía una puntuación inferior a los 18 puntos. Sólo superaron esta puntuación 11 estudios (2 del año 2005, 3 del año 2006, 3 del año 2007 y 3 del año 2008). Al comparar la puntuación de la calidad metodológica por año de publicación de los artículos, se verificó un incremento estadísticamente significativo de esta en el año 2008 respecto de los años 2005, 2006 y 2007; con un valor de p=0,0004 (fig. 2).

Figura 2.

Comparación de la mediana y los intervalos de confianza del 25 y el 75% de la calidad metodológica de los artículos estudiados según año de publicación. Setenta y seis artículos en el año 2005, 60 en el año 2006, 49 en el año 2007 y 59 en el año 2008. Valor de p=0,0004.

Por otra parte, se verificó una tendencia a obtener una mejor puntuación de calidad metodológica en artículos provenientes del extranjero, Canarias y Valencia (13,2±3,9; 10,8±3,8 y 10,4±4,2, respectivamente) y de menor calidad metodológica en artículos procedentes de Extremadura, Castilla-La Mancha y Baleares (6,0±0,0 para cada una); con un valor de p=0,0101 (fig. 3).

Figura 3.

Comparación de la mediana y los intervalos de confianza del 25 y el 75% de la calidad metodológica de los artículos estudiados según la comunidad autónoma de procedencia.

1: Galicia (19 artículos [4,1%]); 2: Asturias (8 artículos [1,7%]); 3: Cantabria (6 artículos [1,3%]); 4: País Vasco (32 artículos [6,9%]); 5: Navarra (9 artículos [1,9%]); 6: Castilla-León (11 artículos [2,4%]); 7: Aragón (12 artículos [2,6%]); 8: Catalunya (103 artículos [22,2%]); 9: Madrid (48 artículos [10,3%]); 10: Extremadura (3 artículos [0,7%]); 11: Castilla-La Mancha (11 artículos [2,4%]); 12: Valencia (57 artículos [12,3%]); 13: Baleares (3 artículos [0,7%]); 14: Andalucía (63 artículos [13,6%]); 15: Murcia (31 artículos [6,7%]); 16: Canarias (8 artículos [1,7%]); 17: extranjero (40 artículos [8,6%]), y 18: Ceuta y Melilla (un artículo [0,2%]). Valor de p=0,0101.

Se verificó una tendencia a una mejor puntuación de calidad metodológica en artículos relacionados con cirugía colorrectal y proctológica, y cirugía de la pared abdominal, la mama y las partes blandas (11,0±5,4 y 10,5±5,5, respectivamente) y de menor calidad metodológica en artículos de cirugía torácica y cardiovascular, y de cirugía esofagogastroduodenal y del intestino delgado (7,6±2,6 y 8,0±2,8, respectivamente); se verificaron diferencias estadísticamente significativas entre los artículos de cirugía colorrectal y proctológica versus los artículos de cirugía esofagogastroduodenal y del intestino delgado (p=0,0267) (fig. 4).

Figura 4.

Comparación de la mediana y los intervalos de confianza del 25 y el 75% de la calidad metodológica de los artículos estudiados según área temática.

1: cirugía endocrina y de la cabeza y el cuello; 2: cirugía torácica y cardiovascular; 3: cirugía de la pared abdominal, la mama y las partes blandas; 4: cirugía esofagogastroduodenal y del intestino delgado; 5: cirugía hepatobiliopancreática; 6: cirugía colorrectal y proctológica, y 7: miscelánea. Valor de p=0,0267.

Finalmente, cabe mencionar que se comprobó asociación entre el origen universitario o no del centro generador de los artículos y su respectiva calidad metodológica (9,9±4,5 y 8,7±3,8, respectivamente; con un valor de p=0,0369).

Discusión

Este estudio constata que la calidad metodológica media de los artículos que tratan sobre procedimientos terapéuticos publicados en la revista Cirugía Española es baja, aunque ha ido aumentando año tras año desde el 2005. Pese a ello, esta mejoría es solo aparente, ya que si se compara este estudio con el realizado sobre el cuatrienio anterior, se puede comprobar que el punto de partida de este último (2005) está claramente por debajo de los niveles conseguidos en el año 2004 y que los niveles alcanzados en el año 2008 siguen estando por debajo de los alcanzados en el 2004 (fig. 5). Además, las medianas logradas durante los 8 años analizados no alcanzan la puntuación mínima por la que se considera un trabajo de buena calidad metodológica.

Figura 5.

Comparación de la mediana y los intervalos de confianza del 25 y el 75% de la calidad metodológica de los artículos estudiados según año de publicación (2001 a 2008). Valor de p<0,0001.

Evaluar la calidad metodológica de un trabajo científico no es tarea fácil. El concepto de calidad es un concepto multidimensional en el que es posible incluir muchas y diferentes variables y, hoy por hoy, pese a los esfuerzos realizados, no disponemos de una metodología estándar. En el Departamento de Cirugía de la Universidad de La Frontera (Temuco, Chile) se ha desarrollado un instrumento cuya validez y utilidad ya se ha contrastado en otros estudios y ya se ha utilizado en esta revista. En él se hace hincapié en 3 aspectos fundamentales: el diseño del estudio, la población estudiada y la descripción de la metodología empleada. En este último apartado se pormenoriza el planteamiento de objetivos, la mención y la justificación del diseño empleado, la descripción de los criterios de inclusión y exclusión y la justificación del tamaño de la muestra.

Vaya por delante que la calidad metodológica no implica necesariamente una asociación con la innovación, el aporte tecnológico, el desarrollo de ideas, la modificación de aspectos técnicos, etc. Es bien conocido que los aspectos más novedosos suelen publicarse mediante diseños de bajo nivel de evidencia y con series limitadas de pacientes. Pero aun en esta tesitura, sería deseable que la calidad metodológica de los que escribimos y publicamos sea la más alta posible. Los defectos metodológicos más frecuentes en los trabajos analizados fueron el planteamiento de objetivos vagos, la utilización de diseños de bajo nivel de evidencia, la carencia de criterios de selección y la ausencia de justificación del tamaño de la muestra utilizada, hecho que se hace todavía más patente en los EC. Lo más importante es que todas estas lagunas pueden subsanarse fácilmente si se aplicase un sistema de verificación (check list) que sería útil no solo para el autor, sino también para el revisor. La puntuación de calidad metodológica puede incrementarse en la medida que se expliquen de forma apropiada el/los objetivo/s, el diseño y los criterios de selección. Este solo hecho permitiría que una serie de casos con una población de 25 pacientes y un nivel de evidencia 4 pueda pasar de 6 a 11 puntos, una serie de casos con una población de 250 pacientes de 11 a 16 puntos y un EC con una población de 150 pacientes de 14 a 29 puntos.

Al igual que sucedía en el trabajo anterior, casi un 60% de los trabajos analizados provenía de 4 comunidades autónomas, pero el papel que desempeñan en cuanto a la calidad metodológica promedio es muy dispar. Un ejemplo de esta disparidad puede ser la comunidad andaluza, que aun al ser la segunda productora de publicaciones, su mediana de calidad no sobrepasa los 6 puntos. Es decir, la composición de su cartera está compuesta por unos pocos estudios de elevada calidad, pero también de una larga retahíla de casos y series de casos retrospectivos que aumenta su producción, pero afectan su puntuación final. En el extremo opuesto está la comunidad canaria con pocos trabajos, pero con una mediana de calidad metodológica de las más altas de la nación, junto con la comunidad valenciana, que podría considerarse el ejemplo por seguir: la tercera productora y la tercera puntuadora. Bien es cierto que, stricto sensu, el ejemplo por seguir debería ser la producción procedente del extranjero, que logra la mejor puntuación en cuanto a calidad metodológica con un escaso grado de dispersión. Sin embargo, aunque cierta esta aseveración, se hace difícil de mantener por las características de nuestra revista. Aquí se agrupan trabajos firmados por autores de otras nacionalidades, trabajos realizados por autores españoles afincados en centros hospitalarios más allá de nuestras fronteras y una pequeña parte de autores españoles que realizan un trabajo científico durante una estancia en centros extranjeros que no pueden considerarse representativos de la calidad metodológica de una nación, de una comunidad científica o de un área determinada.

Insistiremos en este manuscrito que el concepto «calidad metodológica» se ha de entender como un concepto multidimensional, en el que es posible evaluar múltiples facetas o dominios, de las que por el momento no existe un consenso; aunque se ha reportado una serie de recomendaciones para la publicación de resultados, como CONSORT (para EC)³, STARD (para estudios de pruebas diagnósticas)⁴, STROBE (para estudios observacionales)⁵, Moose (para metaanálisis de estudios observacionales)¹², TREND (para estudios no aleatorizados)¹³ y otros. Sin embargo, es importante mencionar que estas iniciativas sólo constituyen «check lists» y ninguna de ellas se diseñó ni se validó para la evaluación de la calidad metodológica de este tipo de estudios; no obstante ello, contribuyen a normalizar y a homogenizar la «calidad del reporte», faceta o dominio de gran relevancia en el concepto de calidad metodológica.

A diferencia del reporte anterior, en esta oportunidad fueron los trabajos del ámbito de la hepatobiliopancreática los que superaron a las demás áreas en número de artículos, pero los de cirugía colorrectal y proctológica fueron los que superaron a las otras áreas en calidad metodológica.

Otros aspectos merecen algún comentario adicional. La revista Cirugía Española se indizó en MEDLINE en noviembre del 2005 y hace pocos meses en ISI. Es obvio que durante ese período una buena parte de los autores nacionales, que son los que nutren fundamentalmente la revista, han preferido enviar sus originales de mayor calidad a otras revistas en detrimento de Cirugía Española. Es de esperar que la indización en ISI conlleve una mejora de la calidad metodológica y del reporte y signifique una nueva época para Cirugía Española. De hecho, es lo que parece desprenderse de este estudio y del anterior¹, en los que se demuestra un aumento progresivo de la calidad metodológica y del reporte con los años y, aunque no se puede pasar por alto que el punto de partida del presente estudio esté por debajo del alcanzado en el año 2004, hemos de esperar que, en las condiciones actuales y al tomar las medidas necesarias, no se produzca de nuevo un punto de inflexión como el detectado.

Un último aspecto por discutir es que el problema de la insuficiente calidad del reporte de los artículos y de su calidad metodológica no es patrimonio exclusivo de Cirugía Española. De hecho, esta situación también se ha puesto en evidencia en otros estudios que han analizado estas variables en revistas de nuestro ámbito, como son Annals of Surgery, British Journal of Surgery, Archives of Surgery, World Journal of Surgery, American Surgeon, European Journal of Surgery, Journal American College of Surgeons o la Revista Chilena de Cirugía^7,14.

En resumen, en este estudio se demuestra que la calidad metodológica de los estudios relacionados con los procedimientos terapéuticos publicados en Cirugía Española no ha mejorado durante el período 2005-2008 respecto del período anteriormente estudiado. Los defectos observados son obvios y fácilmente subsanables si se aplicase un sistema de verificación tanto durante la fase de elaboración del manuscrito como para su revisión por pares.

Conflicto de intereses

Los autores declaran no tener ningún conflicto de intereses.

Financiación

El proyecto DI09-0060 de la Dirección de Investigación de la Universidad de La Frontera ha financiado parcialmente este estudio.