La importancia de las revisiones sistemáticas
El gran número de publicaciones científicas existentes actualmente pone de manifiesto la necesidad de gestionar de manera eficiente el conocimiento científico. No solamente nos enfrentamos a una sobresaturación de información científica, sino que su calidad es muy variable, lo que obliga a realizar una valoración crítica cuidadosa antes de aplicarla. No obstante, el tiempo disponible para la obtención y valoración de los estudios suele ser muy limitado. Las revisiones de la literatura científica pueden ayudar a proporcionar información científica de forma rápida, en la medida que resumen en un único documento la información procedente de múltiples estudios individuales. Por este motivo, las revisiones han experimentado un auge considerable en los últimos años y se han constituido en una pieza fundamental para la toma de decisiones informadas1.
Sin embargo, no todas las revisiones cumplen adecuadamente esta función. Así, las revisiones narrativas, habitualmente basadas en la opinión, las suelen escribir expertos en una determinada área científica, por lo que podrían estar sesgadas por dos razones principales: la posible dependencia en la subjetividad del revisor y la falta de métodos y criterios explícitos en la elaboración de la revisión2. De ahí la necesidad de disponer de instrumentos más fiables y precisos, como las revisiones sistemáticas, que permitan la toma de decisiones sanitarias sobre una base más sólida de información. Las revisiones sistemáticas se definen como revisiones de la evidencia existente para responder a una pregunta bien delimitada, que utilizan métodos específicos y sistemáticos para identificar, seleccionar y evaluar críticamente la investigación original, así como para extraer y analizar los datos de los estudios que se incluyen en la revisión3.
Las revisiones sistemáticas pueden incluir o no técnicas de metaanálisis. Los metaanálisis se definen como la utilización de técnicas estadísticas para combinar los datos de los estudios que han intentado responder a la misma pregunta y presentarlos y resumirlos de manera gráfica y sintética (fig. 1). Aunque a menudo los términos revisión sistemática y metaanálisis se utilicen indistintamente, no son equivalentes: la revisión sistemática consiste en el proceso llevado a cabo para obtener conclusiones a partir de estudios originales, ya sea combinando estadísticamente o no sus resultados, mientras que el metaanálisis es la combinación matemática de al menos dos estudios para obtener una estimación global del efecto de la intervención que se está evaluando.
Fig. 1. Esquema de un metaanálisis: «Corticoides para el parto prematuro».
El valor creciente de las revisiones sistemáticas se pone de manifiesto en el trabajo de la Colaboración Cochrane, cuyo primer propósito es generar, difundir y actualizar revisiones sistemáticas de alta calidad sobre los efectos de las intervenciones sanitarias. Esta organización internacional sin ánimo de lucro, que comenzó su andadura en 1993, publicó por primera vez en el año 1995 su Cochrane Handbook for Systematic Reviews of Interventions (Manual del Revisor Cochrane)3, cuya finalidad principal es ayudar a los autores de revisiones Cochrane a ser sistemáticos y explícitos en desarrollarlas.
Estándares para la publicación de revisiones
Aunque el número de revisiones sistemáticas y metaanálisis publicados ha aumentado de forma espectacular en los últimos años, no siempre se han especificado suficientemente sus métodos, y esto produjo resultados poco claros o incluso contradictorios. Este hecho ha llevado a la necesidad de desarrollar normas para la publicación de este tipo de trabajos a fin de facilitar su interpretación y utilización por parte de los usuarios. Al igual que a mediados de los años noventa se publicó el informe CONSORT4 para la publicación de ensayos clínicos, en 1996 se creó el grupo QUOROM (Quality Of Reporting Of Meta-analysis), cuyo objetivo era establecer unas normas para mejorar la calidad de la presentación de los metaanálisis de ensayos clínicos aleatorizados. QUOROM es un grupo de trabajo multidisciplinario, formado por epidemiólogos, clínicos, estadísticos, editores e investigadores. En 1996 tuvo lugar la Conferencia sobre Calidad de Elaboración de los Informes de los Metaanálisis, que dio como resultado la declaración QUOROM5, una lista de comprobación y un diagrama de flujo que facilitan la publicación de metaanálisis de buena calidad metodológica. Se puede consultar más información en: http://www.consort-statement.org/QUOROM.pdf
Objetivo
El objetivo del presente trabajo es revisar los criterios para la publicación de una revisión sistemática con metaanálisis de acuerdo con la declaración QUOROM. Para ello se presenta y comenta brevemente, una vez traducidos, la lista de comprobación y el diagrama de flujo de ensayos clínicos de QUOROM.
Resultados
La propuesta QUOROM incluye una lista de comprobación (tabla 1) y un diagrama de flujo (fig. 2). La lista se estructura en 6 categorías que se corresponden con cada una de las secciones que componen un artículo científico (título, resumen, introducción, métodos, resultados y discusión) y 14 subcategorías, relacionadas con aspectos más específicos que deberían incluirse en cada una de las categorías anteriores. En total, la lista contiene 18 ítems que los autores de metaanálisis deberán considerar. La finalidad de esta lista de comprobación es animar a los autores para que proporcionen toda la información que resulta esencial para interpretar y utilizar adecuadamente los resultados de un metaanálisis.
Explicación del gráfico
La primera versión estructurada publicada en 1989 de esta revisión es el logo de la Colaboración Cochrane. El objetivo de esta revisión fue evaluar la efectividad y seguridad a corto y largo plazo de la administración de corticosteroides en mujeres gestantes con la finalidad de acelerar la maduración pulmonar fetal antes de un parto prematuro.
En la columna de la izquierda se encuentra la lista de los estudios (ensayos clínicos aleatorizados [ECA]) de los que se han tomado los datos para el metaanálisis.
La segunda columna, con el encabezamiento Expt, contiene los datos del grupo experimental en cada estudio (mujeres gestantes que recibieron corticosteroides). Los valores indican el número de neonatos fallecidos (n) y el número total de mujeres que recibieron el tratamiento (N).
La siguiente columna, con el encabezamiento Ctrl, corresponde a los datos del grupo control en cada estudio (las mujeres que recibieron placebo o ningún tratamiento); el número de neonatos fallecidos (n) y el número total de mujeres en este grupo (N).
El cuadrado que aparece sobre cada línea del gráfico representa la odds ratio (la medida del efecto utilizada en este análisis) de cada estudio. En el caso de un resultado adverso, como es la muerte, si el cuadrado se sitúa a la izquierda de la línea vertical del gráfico, indica que el tratamiento parece reducir el riesgo de muerte. Si se sitúa a la derecha, entonces indica que el tratamiento parece aumentar el riesgo de fallecimiento.
El tamaño del cuadrado está en relación con la ponderación relativa de cada estudio particular con respecto al resultado combinado. La ponderación se basa en el número de participantes en cada estudio y el número de desenlaces (muertes). Los estudios más amplios y/o con mayor número de eventos tienen un mayor peso.
Las líneas horizontales representan el intervalo de confianza; es decir, el rango de valores dentro del cual se encontraría la odds ratio el 95% de las veces debido a la variación por el azar. Si la línea horizontal cruza la línea vertical central del gráfico, indica que no se puede establecer una conclusión firme a partir de ese estudio acerca de los beneficios o daños del tratamiento. Una línea cuyo extremo termina en forma de flecha indica que el intervalo de confianza se extiende más allá de la escala del gráfico.
La figura del diamante en la parte inferior del gráfico representa el resultado de la combinación de los datos de todos los estudios (metaanálisis). Su punto central representa la odds ratio combinada, y su amplitud representa el intervalo de confianza. El estadístico usado por defecto en la Cochrane Library es la odds ratio de Peto calculada según un modelo de efectos fijos. En este caso, la totalidad del diamante se halla a la izquierda de la línea central, lo que permite concluir con seguridad que el tratamiento es efectivo en reducir el riesgo de muerte de los neonatos, ya que este efecto no parece producirse por azar.
El resultado combinado muestra la etiqueta «Subtotal» en lugar de «Total» debido a que este gráfico representa un análisis de subgrupo dentro del análisis de la medida de resultado «Mortalidad neonatal» en esta amplia revisión.
En la parte más inferior del gráfico se muestra el valor de z, que representa el resultado de la prueba de significación del efecto global; es decir, una medida matemática equivalente a la posición y amplitud del diamante del gráfico.
El valor de *2 representa la prueba de homogeneidad del tamaño del efecto observado a través de los diferentes estudios; es decir, mide hasta qué punto los resultados de los distintos estudios son consistentes entre sí.
Fig. 2. Diagrama de flujo de ensayos clínicos aleatorizados (ECA) en QUOROM.
A continuación se comenta brevemente cada uno de estos apartados.
1. El título del artículo debe identificar el trabajo como un metaanálisis o revisión sistemática de ensayos clínicos aleatorizados (ECA). Un título informativo permite identificar más rápidamente un metaanálisis o una revisión sistemática de nuestro interés. Si, además, especifica que se trata de una revisión sobre ECA, ayudará a priorizarla frente a otro tipo de revisiones.
2. El resumen debe tener un formato estructurado, con una breve descripción de los siguientes apartados: objetivos, fuentes de datos, métodos de la revisión, resultados y conclusión, los cuales se deberán describir con mayor detalle en la categoría correspondiente (véase más adelante). En los objetivos debe describirse de forma clara y precisa la pregunta clínica a la que la revisión desea dar respuesta. Como se verá más adelante, los objetivos se corresponden directamente con los criterios para la selección de los estudios de la revisión.
3. En la introducción debe describirse con detalle el problema clínico, los fundamentos biológicos de la intervención y la justificación de la revisión. Las revisiones sistemáticas no surgen de la nada, sino del contexto de un problema clínico relevante en el que existe incertidumbre sobre un determinado tratamiento o intervención. Por eso, el autor debe empezar por justificar la necesidad de la revisión haciendo referencia a la importancia sanitaria del problema y a la controversia existente sobre las intervenciones que se desea revisar.
4. El apartado de métodos se compone de varios subapartados. En primer lugar se solicita a los autores información exhaustiva sobre las búsquedas bibliográficas llevadas a cabo para identificar los estudios: bases de datos, informes de agencias, guías de práctica clínica, registros de estudios, ficheros personales, informes de expertos, búsqueda manual, contactos con agencias de financiación de la investigación, industria farmacéutica, etc. Además, se solicita información sobre los años de publicación considerados, así como el estado de las publicaciones (sólo estudios publicados como originales en revistas o también en forma de resúmenes e incluso estudios no publicados) y el idioma de publicación. Existe controversia sobre la importancia de incluir datos no publicados en un metaanálisis6. Algunos estudios que han tratado de evaluar el papel de la «literatura gris» en los resultados de los metaanálisis encontraron que los que se limitaron a considerar sólo los ECA publicados obtenían mayores estimaciones del efecto de los tratamientos, en comparación con los que también incluyeron literatura gris. Sin embargo, otros estudios no mostraron resultados concluyentes en este sentido7,8. Por lo que respecta al idioma de publicación, hay pruebas de que las restricciones idiomáticas en un metaanálisis pueden conducir a resultados sesgados9, especialmente en algunos ámbitos, por lo que se anima a los autores a no restringir las búsquedas a un único idioma, habitualmente el inglés.
A continuación se solicitan datos sobre la selección de los estudios, es decir, los criterios de inclusión y exclusión. La selección de estudios para una revisión no puede depender en ningún caso de la dirección de sus resultados, sino que deben establecerse a priori unos criterios explícitos que guíen esta importante decisión por parte de los autores. Estos criterios, que se desprenden directamente de la pregunta formulada en los objetivos del trabajo, consisten en definir con suficiente detalle y precisión la población de interés (en otras palabras, el problema clínico o condición), la intervención (incluye la necesidad de establecer también el grupo control de comparación), las principales variables de resultado que se consideran relevantes (a menudo, se requiere su definición operativa) y el diseño de estudio que se considera adecuado para la revisión. De estos criterios no sólo dependerán las decisiones acerca de la selección de estudios, sino también el diseño de la estrategia de búsqueda.
El siguiente apartado hace referencia a la valoración de la calidad de los estudios incluidos. Existen pruebas directas10-13 de la necesidad de documentar la calidad de los ECA incluidos en el metaanálisis, ya que numerosos estudios han mostrado que la inclusión de estudios de baja calidad tienden a sobrestimar los efectos de la intervención valorada. Por ello, es importante que el lector pueda conocer la calidad de las pruebas a partir de las cuales se construye la revisión y se generan sus conclusiones. Por este motivo QUOROM establece la necesidad de especificar los criterios (p. ej., asignación aleatoria, encubrimiento de las asignaciones, enmascaramiento y pérdidas en el seguimiento) y el proceso utilizado para valorar la calidad (p. ej., utilización de escalas y scores). Al tratarse de un aspecto cualitativo de tanta importancia que está sujeto a un juicio subjetivo, es relevante conocer de qué forma se aplicaron estos criterios. Los expertos, entre ellos la Colaboración Cochrane, sugieren que se haga, al menos por pares de forma independiente, previendo un sistema para resolver las posibles discrepancias.
Posteriormente, debe presentarse el proceso o procesos empleados para la extracción de datos de los estudios (p. ej., de forma independiente, por duplicado, utilizando una hoja de extracción de datos diseñada de forma específica para la revisión) y deben describirse las características de los estudios: tipo de diseño, características de los participantes, detalles de la intervención, definición de las variables de resultado y valoración de la heterogeneidad clínica. Habitualmente se recomienda acompañar esta sección de la revisión con una tabla que resume estos aspectos.
El último apartado de métodos hace referencia a la síntesis cuantitativa de los datos. Deben especificarse las principales medidas de efecto (como el riesgo relativo), los métodos estadísticos empleados para la combinación de los resultados (ya que existen diversas estrategias de análisis alternativas, unas más conservadoras que otras, que deben especificarse), el tratamiento de los datos no disponibles (debe conocerse si se imputaron o no valores para los datos no disponibles en el cálculo de las medidas de efecto) y la valoración de la heterogeneidad estadística entre los estudios incluidos, ya que la interpretación del metaanálisis será más fácil cuanto más homogéneos sean los resultados de los diferentes estudios. Asimismo, debe justificarse a priori cualquier análisis de sensibilidad y de subgrupo. Finalmente, se recomienda documentar la estrategia utilizada para analizar el sesgo de publicación, si se hizo.
5. En el apartado de resultados debe presentarse el diagrama de flujo de ensayos clínicos (fig. 2), en el que se describe todo el proceso desde la identificación inicial de los ECA potencialmente relevantes hasta su selección definitiva. A su vez, deben detallarse los motivos para su exclusión. Es importante que el lector perciba que la selección de estudios en la revisión no ha sido un proceso arbitrario. A continuación deben presentarse las características de cada uno de los estudios, como la edad de los pacientes, el tamaño de la muestra, la intervención, la dosis, la duración y el período de seguimiento. Esta información permitirá al lector conocer hasta qué punto los estudios finalmente incluidos en la revisión sistemática son homogéneos desde el punto de vista clínico, lo que a su vez ayudará a valorar la pertinencia o no de un metaanálisis y su aplicabilidad.
El último apartado de los resultados es la síntesis cuantitativa de los datos. En primer lugar, debe informarse sobre el grado de acuerdo entre los autores de la revisión en la selección de los estudios y la valoración de su calidad. Un alto grado de acuerdo garantiza que los criterios se han aplicado de forma consistente. Posteriormente, deben presentarse de forma clara y ordenada los resultados para cada grupo de tratamiento en cada ECA y para cada variable de resultado relevante. Además, se debe proporcionar los datos necesarios para calcular la magnitud del efecto y los intervalos de confianza según un análisis por intención de tratar, por ejemplo mediante tablas 2 x 2, medias y desviaciones típicas, proporciones, etc. Sólo una presentación clara de los datos permite al lector valorar e interpretar adecuadamente los resultados. En ocasiones, el lector puede desear reanalizar los datos según un criterio distinto del de la revisión para lo que necesitará disponer de los datos originales, completos y presentados de forma ordenada.
6. Finalmente, en la discusión deben resumirse los resultados principales, y discutir las implicaciones para la práctica clínica a partir de la validez interna y externa de la revisión. Los resultados deben interpretarse en función de la totalidad de la información disponible. También deben describirse los sesgos potenciales que han podido incidir en el proceso de revisión y que podrían cuestionar las conclusiones o imponer mucha cautela en su interpretación. Finalmente, puesto que las revisiones sistemáticas permiten también delimitar las áreas de incertidumbre en las que no existe información o ésta es controvertida, permiten señalar futuras líneas de investigación necesarias para cubrir estas lagunas en el conocimiento.
Discusión
En el presente trabajo se han presentado y comentado brevemente las normas de publicación de los metaanálisis del grupo QUOROM, iniciativa similar a las relacionadas con la publicación de ECA (CONSORT3), con la evaluación de intervenciones mediante estudios no aleatorizados (TREND14), estudios sobre pruebas diagnósticas (STARD15) y metaanálisis de estudios observacionales (MOOSE16).
Algunos aspectos que han sido criticados de la versión inicial de QUOROM es que no especifique la afiliación o fuentes de financiación de los autores o la comparabilidad entre los grupos de tratamiento de los documentos originales17. Actualmente, estas normas de publicación están en revisión por sus autores y es de prever una nueva versión modificada en los próximos meses.
Aunque la aparición de las iniciativas mencionadas refleja la necesidad de mejorar la publicación de todo tipo de estudios en las revistas biomédicas, sólo CONSORT parece haber logrado un alto grado de aceptación por lo que ha sido incorporado por World Association of Medical Editors, International Committee of Medical Journals Editors (ICMJE) y Council of Science Editors18. No ha sido ésta todavía la suerte de QUOROM pues no se han realizado estudios sobre el impacto de QUOROM en cuanto a la mejoría de la calidad de los metaanálisis después de su publicación ni de su inclusión como criterio editorial de las revistas biomédicas.
Esta misma preocupación por disponer de revisiones sistemáticas y metaanálisis rigurosos que faciliten la toma de decisiones bien informadas la comparte la Colaboración Cochrane. Las revisiones Cochrane se publican y se actualizan periódicamente en la Cochrane Library y en la Biblioteca Cochrane Plus (en castellano), revistas electrónicas de actualización trimestral que contienen ya más de 2.400 revisiones sistemáticas (aparte de otros materiales). El proceso de elaboración y publicación de una revisión Cochrane es un proceso muy estructurado y estandarizado tal como queda reflejado en el Manual de Revisores Cochrane (accesible on line en: http://www.cochrane.es/Castellano/CC_Handbook). Entre otros, el Manual de Revisores Cochrane establece la estructura de una revisión sistemática Cochrane, tal como queda esquematizado en la tabla 2. Algunos estudios han comparado la calidad de las revisiones Cochrane con la de otras publicadas en revistas biomédicas con sistema de evaluación por pares, y concluyeron que las primeras suelen ser de mayor calidad en cuanto a su rigor y la claridad de su publicación19.
El esquema de una revisión Cochrane no es exactamente igual al que propone QUOROM, pues la publicación en la Cochrane Library y la Biblioteca Cochrane Plus no tiene las limitaciones de espacio habituales de las revisiones que se publican en revistas biomédicas, por lo que suelen ser mucho más exhaustivas. No obstante, ambos formatos comparten unos mismos criterios de rigor, transparencia y precisión y las iniciativas que las impulsan reflejan una misma preocupación y un mismo compromiso en garantizar la calidad y utilidad para el lector de las revisiones sistemáticas, a fin de que sean instrumentos válidos para la toma de decisiones.
Este artículo ha sido posible, en parte, gracias a la concesión de las siguientes becas:
Instituto de Salud Carlos III: Red temática de grupos de investigación «Desarrollo de metodologías para la aplicación y gestión del conocimiento en la práctica clínica» (Red Temática de Medicina Basada en la Evidencia) (G03/090).
Xarxa temàtica de «Medicina basada en l'evidència: la Col·laboració Cochrane Iberoamericana» (2003/XT/00087). Departament d'Universitats, Recerca i Societat de la Informació, Generalitat de Catalunya.
