Conceptos fundamentales de las revisiones sistemáticas/metaanálisis

Resumen

La revisión sistemática es la evaluación ordenada y explícita de la literatura a partir de una pregunta clara de investigación, junto a un análisis crítico de acuerdo a diferentes herramientas y un resumen cualitativo de la evidencia. Al existir datos claros y homogéneos es posible la realización de un análisis estadístico denominado metaanálisis. Las revisiones sistemáticas deben cubrir los siguientes aspectos: tener una pregunta de investigación clara y basada en la estrategia PICO, una estrategia de búsqueda clara y reproducible, la selección apropiada de los estudios junto a la extracción de sus datos, la evaluación de la calidad de la evidencia con alguna de las diferentes herramientas y, si existen datos robustos y homogéneos, se podrá realizar un metaanálisis.

Las revisiones sistemáticas de la literatura/metaanálisis son un apoyo fundamental para la toma de decisiones tanto en el área clínica como en otras áreas.

Abstract

The systematic review is the explicit assessment of the literature, derived from a clear research question, along with a critical analysis according to different tools and a qualitative summary of the evidence. If clear and homogeneous data are found then it is possible to perform a statistical analysis called meta-analysis. Systematic reviews should cover the following: Have a clear question based on the PICO strategy, a reproducible search strategy, appropriate selection of studies along with data extraction, assessment of the quality of evidence with some of the different tools and a meta-analysis if it is appropriate.

Systematic literature reviews/meta-analysis are a fundamental support for decision-making in the clinical and other areas.

Para entrar en materia

Desde hace más de 10 años, diferentes autores consideraron que los artículos producto de investigación crecían exponencialmente, predominantemente los experimentos clínicos, considerados como la mejor evidencia disponible para responder una pregunta de efectividad/intervención. Estos, en numerosas ocasiones, tenían una respuesta no acorde con otros estudios de similares características, de tal manera que el lector quedaba con dudas acerca de cómo podría utilizarlos en su práctica profesional^1,2.

Posteriormente se intentó recopilar la información a través de un tipo de estudio analítico denominado «revisión sistemática de la literatura» (RS), que comprende la evaluación exhaustiva, protocolizada, sistemática y explícita de la literatura a partir de una pregunta clara de investigación, una metodología explícita, un análisis crítico de acuerdo a diferentes herramientas y un resumen cualitativo de la evidencia. Cuando se encuentran datos duros, claros y homogéneos (principalmente, aunque se podría realizar con datos heterogéneos, como se verá más adelante) es posible la realización del análisis estadístico denominado «metaanálisis» (MA)^1,3.

Las RS/MA son investigaciones originales cuya unidad de análisis son los estudios o investigaciones primarias; son datos más que pacientes, y por este motivo también es considerada investigación secundaria, pero siempre debe ser considerada investigación original, ya que claramente utiliza el método científico para la resolución de una duda planteada^2,3. Las RS reúnen de una manera metódica toda la evidencia disponible con unos criterios de elegibilidad establecidos, con el objetivo claro de responder a una pregunta específica; sus métodos son explícitos, de tal manera que se minimizan los sesgos^1,4,5.

Frecuentemente la RS se confunde con el MA; sin embargo, se debe aclarar que el MA consiste en la aplicación de métodos estadísticos para resumir los efectos de las intervenciones^1,6,7. El MA permite obtener estimaciones con mayor poder y más precisas; además, permite explorar la consistencia y las diferencias entre los estudios¹.

Como todo proceso de investigación, se sugiere la realización de un protocolo claro y conciso⁸ en el que se plantea el fundamento de la revisión, la pregunta, los criterios de inclusión/exclusión, la estrategia de búsqueda junto a la metodología explícita y el plan de análisis. Este protocolo puede ser revisado por pares, como lo hacen la colaboración Cochrane o la colaboración Campbell, que son organizaciones sin ánimo de lucro que trabajan incansablemente para mejorar la calidad de las publicaciones en la síntesis de la evidencia^2,3,9. Este protocolo debería ser registrado ya sea en Cochrane, en Campbell o en la primera página de registro de RS/MA desarrollada por la Universidad de York (http://www.crd.york.ac.uk/prospero/) (PROSPERO), de tal manera que al realizar la publicación de la RS los pares puedan constatar que se realizó lo que estaba planificado. Adicionalmente se deben seguir las recomendaciones para el buen reporte de las RS (PRISMA)¹⁰; esta puede ser encontrada en http://www.equator-network.org.

Tipos de revisiones sistemáticas

Las RS de estudios de intervención es el tipo más utilizado y más avanzado en la actualidad. Sin embargo, se han desarrollado técnicas para la síntesis de la evidencia de los diferentes tipos de estudio^1,11.

A continuación se describen algunos de los diferentes tipos de RS.

Intervención

Aquel que permite una evaluación de una pregunta de efectividad que involucra estudios experimentales o en algunas circunstancias cuasi experimentos.

Métodos diagnósticos

Aquel que resume la evidencia para responder a una pregunta de métodos diagnósticos; por tanto, incluirá estudios de tipo corte transversal, casos y controles, cohortes, en general observacionales, que son los que utilizan los métodos diagnósticos para determinar las características operativas de un método (sensibilidad, especificidad, valores predictivos y razones de probabilidad).

Factores de riesgo o pronóstico

Aquel que resume la evidencia para responder una pregunta de riesgo, y que utilizará estudios de tipo observacional analítico y algunos experimentales.

Efectos adversos

Aquel que resume la evidencia disponible para determinar la frecuencia de los efectos adversos y compara su presencia en ambos grupos (intervención y control); esto implica incluir tanto estudios experimentales como observacionales.

Revisión de revisiones

Aquel que permite la síntesis de la evidencia basada en múltiples RS.

En red

Aquel que permite la comparación de múltiples intervenciones a partir de diferentes estudios, tanto de manera directa como indirecta¹².

La realización de revisiones sistemáticas/metaanálisis paso a paso

Para la realización de una correcta RS se requiere cumplir con los siguientes pasos^1-3:

• •

  Pregunta de investigación; ha de ser clara y basada en la estrategia PICO (Población, Intervención, Control, Desenlace).

• •

  Estrategia de búsqueda clara y reproducible (no limitada a una base de datos ni a un idioma).

• •

  Localizar y seleccionar los estudios.

• •

  Extracción de datos.

• •

  Evaluación de calidad de evidencia (herramienta de riesgo de sesgo, GRADE, otras).

• •

  Análisis y presentación de los resultados.

• •

  Metaanálisis (efectos fijos y efectos aleatorios, metarregresión, evaluación de la heterogeneidad y sensibilidad).

Desarrollar una excelente pregunta de investigación

En la literatura y en la práctica profesional existe una gran cantidad de información que en la mayoría de oportunidades genera una cantidad de preguntas que difícilmente podrán ser respondidas, dado que frecuentemente no son claras y están mal enfocadas, de tal manera que para la realización de una RS se debe formular una pregunta concisa, clara y enfocada que comprenda los 4 elementos fundamentales de la sigla PICO (Población, Intervención, Comparador y Desenlace)^1,2,13. Si se quiere ser más específico, podrían incluirse temas como el tipo de estudio (S) y el tiempo al cual se quiere obtener el desenlace (T), conlo que la sigla sería PICOST.

Estrategia y búsqueda de la literatura

Existen múltiples bases de datos que reúnen la información. Entre las más importantes y nombradas están Medline, Embase y Central, y en estas se condensan la mayoría de los artículos, usualmente la mejor evidencia disponible^1,14,15. Sin embargo, existen otros sitios de origen de la información¹⁴, como por ejemplo National Guideline Clearinghouse, The Cochrane Collaboration, The Campbell Collaboration, Clinical Evidence, ACP Journal Club y Database of Abstracts of Reviews of Effects (DARE), entre otras¹⁶.

Se debe definir una estrategia de búsqueda clara, sensible y a la vez específica para la pregunta de investigación^17-19. A continuación se describen algunos pasos generales para desarrollarla^2,19:

• •

  Determinar una pregunta clara (PICO).

• •

  Definir los términos MeSH, Emtree y libres (de acuerdo con cada base de datos) para cada uno de los ítems de PICO.

• •

  Identificar sinónimos y diferentes formas de escritura y mala escritura de los términos.

• •

  Combinar lógicamente cada término: las palabras dentro de cada ítem (PICO) deben combinarse con el operador bowleano OR, y entre ítems deben combinarse con el operador AND.

• •

  Ejecutar la estrategia.

La estrategia de búsqueda no es un elemento que desde el primer momento queda definido; hay que hacer múltiples intentos y asesorarse muy bien con personas expertas en el tema, como por ejemplo los bibliotecarios en caso de ser nuevo en este aspecto.

Cabe aclarar que la búsqueda de la literatura no solo se enfoca en la literatura publicada, sino que, por el contrario, debe incluir todos los artículos y/o datos que existen relacionados con la pregunta en cuestión. Se deben incluir literatura no publicada (también existen bases de datos; p.ej., OpenGray), resúmenes, conferencias de congresos, listas de referencias, tesis y preguntar a expertos en el tema, entre otros².

Selección de estudios

Al menos 2 investigadores deben identificar y seleccionar de manera independiente y ciega los títulos y resúmenes obtenidos en las búsquedas electrónicas, y con ellos se creará un conjunto de estudios elegibles. En caso de diferencias entre los evaluadores, se debe llegar a consenso; si este no es posible, se requerirá un tercer evaluador. Posteriormente se obtendrán los artículos completos y, de manera independiente, se evaluará el cumplimiento de los criterios de inclusión (en general de la pregunta de investigación PICO). Se deben listar los estudios excluidos y las razones de dicha exclusión^1,2,11.

Codificación de la información

Al menos 2 de los investigadores extraerán los datos de manera independiente, y para ello se usará un formato estándar^1,2, en el que se condensarán las siguientes variables: detalles del estudio, de los participantes, de la intervención, exposición o método diagnóstico, del comparador, los desenlaces y algunas notas necesarias para tener una idea general del estudio.

Los desacuerdos entre los 2 autores al evaluar la elegibilidad, la calidad y los datos extraídos serán resueltos por medio de una discusión hasta llegar a un consenso. En aquellos casos donde persista el desacuerdo, un tercer autor evaluará y generará su concepto. En caso de información poco clara o faltante, se debe establecer contacto con los autores para obtener la información faltante¹.

En el caso específico de los datos a extraer, para las variables dicotómicas se extraerá el número total de participantes y el número que presentó el evento de interés. Para las variables continuas se extraerán datos sobre el número total de participantes, la media, su desviación estándar (SD), y se incluirá el dato de las pérdidas en el seguimiento¹.

Evaluación de la evidencia

Existen múltiples herramientas para evaluar la evidencia: la escala de Alejandro Jadad, la guía para la evaluación de los estudios de JAMA, la reciente herramienta de riesgo de sesgo de Cochrane o la herramienta GRADE para evaluar la calidad de la evidencia e incluso para generar recomendaciones. Todas y cada una de ellas sirven para un tipo diferente de estudio; por ejemplo, algunas son para experimentos, otras para estudios observacionales, otras para métodos diagnósticos y otras, como GRADE, son herramientas muy bien fundamentadas que evalúan la calidad y además ayudan a generar recomendaciones^20,21.

En cada una de ellas, en general, se identifican 3 aspectos básicos a evaluar²²: la validez interna (metodología), los resultados (magnitud, dirección y precisión) y la validez externa (aplicación de los resultados en los pacientes)³.

Se cuenta con una diversidad de herramientas para la toma de decisiones basada en evidencia, así que hay que entrenarse en ellas, siempre teniendo presente que cada estudio responde a una pregunta de investigación (PICO: Paciente, Intervención, Control, Desenlace); por ejemplo, los estudios observacionales descriptivos responden a preguntas de frecuencia, los estudios analíticos responden a preguntas de riesgo y pronóstico, y los estudios experimentales responden a preguntas de intervención²³.

Evaluación del riesgo de sesgo en experimentos

En general, los experimentos son evaluados con la herramienta de riesgo de sesgo de la Colaboración Cochrane¹. Esta debe ser realizada por 2 investigadores de manera independiente y ciega, basándose en un formato que incluirá las siguientes variables, clasificando como alto riesgo, bajo riesgo o riesgo no claro (figs. 1 y 2)²⁴.

• •

  La adecuada generación de la aleatorización y secuencia de ocultamiento (para la evaluación del sesgo de selección).

• •

  El cegamiento de los participantes del estudio y/o proveedores de cuidado (sesgo de realización).

• •

  El cegamiento de los evaluadores de resultado (sesgo de detección).

• •

  Las pérdidas durante el seguimiento y el manejo de estas en el análisis de datos (sesgo de deserción o desgaste).

• •

  El reporte de los resultados (sesgo de reporte).

Figura 1.

Resumen de evaluación del riesgo de sesgo para los estudios incluidos.

Figura 2.

Evaluación global del riesgo de sesgo.

Evaluación de la calidad de los estudios no experimentales

La calidad de los estudios no experimentales pude realizarse de diferentes métodos. Sin embargo, algunos autores sugieren realizarla con la escala de Newcastle-Ottawa^1,25 o la herramienta ACROBAT-NRSI, desarrollada por la Colaboración Cochrane. Incluso existen guías para mejorar la escritura y la publicación de los artículos, y algunos autores lo han extrapolado a la evaluación de la calidad de evidencia, pero esto debe ser tomado con precaución, pues en la mayoría de las ocasiones que esté bien escrito no significa de buena calidad²⁶. Estas herramientas son: STROBE (estudios observacionales), STARD (estudios de métodos diagnósticos), CONSORT (estudios experimentales) y PRISMA (RS/MA)^15,27.

Análisis de los resultados

Existen múltiples programas estadísticos en el mercado. Entre los más nombrados está Review Manager (RevMan 5.2.1^®), que es un software estadístico creado por la Colaboración Cochrane para la realización de RS y la generación de MA^1,28,29; tiene la ventaja de permitir el desarrollo completo de la RS, así como el MA, además del desarrollo de diagramas agradables a la vista y de buena calidad; interactúa con diferentes programas, como GRADEpro para la generación de las tablas de resumen y evaluación de la evidencia (GRADE). Adicionalmente los manuales de la Colaboración Cochrane, así como el RevMan, se encuentran disponibles de manera gratuita en su página Web.

Entre otros programas se encuentra Stata^®, un programa estadístico supremamente poderoso, al cual le agregaron algunos plug-ins para realizar análisis de efectos fijos, aleatorios, metarregresión, entre otros elementos. Los programas R^®, Comprehensive Meta-Analysis^® (CMA), WinBugs^®, OpenMetaAnalyst^®, Metadisc^®, entre otros, son utilizados con excelentes resultados^3,11.

Al tener los resultados, los datos dicotómicos serán presentados y comparados usando riesgos relativos (RR), odds ratios (OR), reducción absoluta del riesgo (RAR) con su correspondiente intervalo de confianza, y los datos continuos se presentarán con medias aritméticas y desviaciones estándar, y será combinada la diferencia entre las medias de los estudios experimentales para calcular la diferencia ponderada (o la diferencia estandarizada de medias, si se han utilizado diferentes escalas de medición)¹.

Previamente se consideraba que solo se debía considerar realizar un MA si existía homogeneidad estadística, de tal manera que se utilizaba un modelo de efectos fijos; sin embargo, en la actualidad se considera que aun existiendo heterogeneidad estadística, podría considerarse un metaanálisis; se debe tener cuidado en la heterogeneidad clínica o, en otras palabras, en la variabilidad existente entre los diferentes estudios en relación con su población, sus intervenciones, etc.^1,11.

Otros elementos a tener en cuenta en el análisis de resultados

Heterogeneidad

La heterogeneidad permite evaluar que tan disímiles son los estudios incluidos en la RS. Para esto existen 3 distinciones: a) heterogeneidad clínica, que se refiere a las diferencias en los participantes, las intervenciones y los resultados; b) heterogeneidad metodológica, que consiste en las diferencias entre el diseño del estudio y el riesgo de sesgo, y c) heterogeneidad estadística, cuando hay diferencias en el efecto de la intervención. Las pruebas estadísticas utilizadas usualmente tienen baja potencia, y mucho más cuando hay pocos estudios¹. Este apartado se evalúa con el chi-cuadrado (con un nivel alfa del 10-20%), y con el I², que describe el porcentaje de variabilidad de las estimaciones del efecto que se deben a la heterogeneidad. Valores del 25, 50 y 75% en la prueba I² corresponden a niveles bajos, medios y altos de heterogeneidad, respectivamente^1,30. Se sugiere como aceptable un valor de I² menor al 50% para realizar un MA.

Modelo de efectos fijos

Se trata de una prueba estadística que asume que las diferencias entre los estudios son solamente debidas al azar. En este modelo pueden utilizarse estimaciones como Mantel-Haenszel (preferido), inverso de la varianza o Peto^1,11,29.

Modelo de efectos aleatorios

Se trata de un método estadístico que toma como hipótesis que la variación entre los estudios no es solamente debida al azar, sino que existen otras razones por las cuales puede presentarse la heterogeneidad. Frecuentemente denominado DerSimonian and Laird, utiliza el método del inverso de la varianza y Mantel-Haenszel²⁹. Cuando los estudios son homogéneos, el método de efectos fijos y el de efectos aleatorios ofrecen resultados similares; sin embargo, cuando existe heterogeneidad, el intervalo de confianza se hará mayor con el método de los efectos aleatorios^1,11.

Metarregresión

La metarregresión es un modelo estadístico similar a la regresión simple o múltiple; es una extensión del análisis de subgrupos que, sin embargo, permite investigar el efecto de características categóricas y continuas de manera simultánea³¹. No se debe considerar si hay menos de 10 estudios, al igual que los diagramas de embudo^1,31.

Diagramas de embudo (Funnel Plot)

Se trata de un diagrama de puntos que relaciona cada estudio con la medida de su tamaño del efecto (eje X) en relación con su tamaño de muestra o error estándar (eje Y). Este tipo de gráfico de utiliza para intentar controlar el sesgo de publicación, dado que si se encuentra una gráfica asimétrica se sugiere que hubo una inclusión preferencial de estudios publicados, con resultados positivos, con gran tamaño de muestra; de esta manera las conclusiones de la revisión deben tomarse cuidadosamente³². Adicionalmente, cabe anotar que existen pruebas estadísticas, tal como la prueba de Egger and Begg^33,34, para determinar el sesgo de publicación.

Diagrama de bosque (Forrest Plot)

Se trata de una gráfica que relaciona los hallazgos de cada estudio con la medida de resumen obtenida. En general se presenta información en relación con las variables de comparación, el desenlace, los estudios, la incidencia en el grupo intervención, la incidencia en el grupo control, el peso relativo, el riesgo relativo o la odds ratio, así como su correspondiente intervalo de confianza (estos 2 últimos tanto escritos como gráficamente), y finalmente una medida de resumen junto a pruebas de heterogeneidad³² (figs. 3 y 4)^24,35.

Figura 3.

Diagrama de bosque (Forrest Plot) para estudios de métodos diagnósticos.

Figura 4.

Diagrama de bosque (Forrest Plot) para estudios de intervención.

Para concluir

Las RS/MA han tenido un crecimiento exponencial en las últimas décadas, dado que son un apoyo fundamental para la toma de decisiones tanto en el área clínica como en otras áreas; permiten de una manera sencilla y metódica solucionar problemas que se dan en el quehacer diario.

Conflicto de intereses

El autor declara que no tiene conflicto de intereses.