Curso de introducción a la investigación clínica. Capítulo 9: Investigación secundaria: la revisión sistemática y el metaanálisis

La revisión sistemática y el metaanálisis forman parte de la investigación secundaria, la cual parte del estudio de las pruebas disponibles sobre una determinada intervención sanitaria, con el objeto de responder a cuestiones concretas, siguiendo una metodología explícita y rigurosa. El primer paso en su elaboración es la formulación de la pregunta de investigación, que definirá los criterios de inclusión de los estudios de nuestra revisión: metodología del estudio, participantes, intervenciones, comparaciones a estudiar y medidas de resultado. Estas características marcarán el protocolo de estudio y su correcta definición facilitará el resto del proceso. La siguiente etapa consiste en la búsqueda de estudios en la literatura científica sobre el tema a tratar, y la lectura crítica de los mismos para descartar ­en ocasiones simplemente con la lectura del título o el abstract y en otras revisando el artículo completo­ aquellos que no reúnen nuestros criterios de selección y quedarnos con los que finalmente serán incluidos. Estos estudios constituirán nuestra revisión, de ellos se extraerán los datos necesarios y se evaluarán tanto cualitativa como cuantitativamente. En aquellos casos en los que exista homogeneidad entre los estudios incluidos, y al menos dos de ellos presenten datos razonablemente combinables, se realizará un análisis cuantitativo denominado "metaanálisis", generalmente mediante la ayuda de programas estadísticos informatizados que facilitan este trabajo, y que permiten visualizar los resultados gráficamente en los denominados forest plot. La última fase de una revisión, al igual que en el resto de estudios epidemiológicos, consiste en interpretar los resultados obtenidos y extraer las correspondientes conclusiones, que en este tipo de estudios tendrán repercusiones tanto para la investigación, como para la práctica clínica.

The systematic review and meta-analysis form a part of secondary research which begins with the study of the evidence available on a certain health care intervention in order to respond to specific questions by means of an explicit and rigorous methodology. The first step in its elaboration is the writing of the research question that will define the inclusion criteria of the studies of our review: study methodology, participants, interventions, comparisons to be studied and measurements of the results. These characteristics will define the study protocol and their correct definition will facilitate the rest of the procedure. The following stage consists in the search for studies in the scientific literature on the subject in question and the critical reading of them to rule out, sometimes only by reading the title or abstract and others by reading the complete article, those that do not fulfill our selection criteria. Finally, those remaining will be included in the study. These studies will make up our review and will be used to obtain the necessary data and to evaluate them both qualitatively and quantitatively. In those cases where there is homogeneity between the studies included and where at least two of them have reasonably combinable data, a quantitative analysis called meta-analysis will be conducted. This is generally done with the help of computerized statistical programs that aid this work and that make it possible to visualize the results graphically in the so-called forest plot. The last phase of the review, as in the rest of the epidemiological studies, consists in interpreting the results obtained and in drawing the corresponding conclusions. In this type of studies, they will have repercussions in both the research and clinical practice.

INTRODUCCIÓN

Durante los 8 capítulos anteriores de este Curso de introducción a la investigación en Atención Primaria, hemos trabajado en la realización de estudios primarios. Sin embargo, en este capítulo se va a prestar atención a una nueva forma de aportar conocimiento científico a partir de los datos de otras investigaciones ya realizadas. Esto es lo que se conoce como investigación secundaria, que parte del estudio de las pruebas disponibles en ese momento sobre una intervención sanitaria, con el objetivo de responder principalmente a cuestiones sobre su eficacia, efectividad y seguridad, mediante una metodología explícita y rigurosa (sistemática)¹.

A finales del siglo pasado el exponencial aumento de la publicación científica y el fácil acceso a la misma por parte de los profesionales ­y también por usuarios de servicios de salud­ conllevó una serie de problemas centrados en la calidad y heterogeneidad de dicha información. Usar parte de esa información, como ayuda a la hora de tomar una decisión clínica concreta, debe traer asociado la necesidad de leer e interpretar todos los artículos publicados hasta esa fecha sobre el tema que se pretende abordar. De lo contrario, no podríamos contestar preguntas como: ¿cuál es el artículo sobre el que debo basar mi decisión? ¿Con qué criterios selecciono un artículo u otro? ¿Qué información estoy perdiendo al no leer todos los artículos? ¿Quién me asegura que los artículos elegidos son los adecuados? Sin embargo, actualmente es inviable la lectura de todos los artículos relacionados con una intervención sanitaria antes de poder tomar una decisión clínica. Como ejemplo sólo hay que buscar en PubMed la literatura relacionada con las palabras smoking cessation and therapy; en total aparecerán 8.609 trabajos publicados sobre este tema. Si por el contrario definiésemos más la búsqueda nos surgirían dudas sobre los estudios que podríamos estar perdiendo por el camino. Además, también sería conveniente buscar en otras bases de datos generales, como EMBASE, y siguiendo con este ejemplo añadir algunas específicas de psicología o salud mental.

Sin embargo, también ese aumento de la información científica y su fácil acceso puede ser la solución a las cuestiones planteadas en el párrafo anterior.

¿Qué es una revisión sistemática de la evidencia científica?

La finalidad de una revisión sistemática es contestar una pregunta clínica a partir de la valoración e interpretación ­cuantitativa y cualitativa­ de todas las pruebas (evidencias) actualmente disponibles¹. A diferencia de las revisiones narrativas, donde es el propio autor quien selecciona sin ningún criterio previamente establecido los artículos que incluirá y revisará, en una revisión sistemática se establece a priori un protocolo explícito y "sistemático", con el objetivo de no poder intervenir a posteriori sobre los resultados obtenidos². También este protocolo debe permitir poder replicar la revisión a cuantos investigadores les parezca oportuno.

REALIZACIÓN DE UNA REVISIÓN SISTEMÁTICA

Formulación de la pregunta de investigación

El primer paso y más importante es determinar qué pregunta o cuestión clínica nos interesa contestar¹. Por ejemplo, preguntarnos el efecto que tiene el ejercicio físico en la prevención de la obesidad infantil, o el efecto de reuniones educativas grupales en el control de la diabetes tipo 2, o la eficacia y seguridad de cualquier fármaco en el tratamiento de una determinada enfermedad, y así un largo etcétera. Aunque las revisiones sistemáticas también pueden contestar preguntas sobre pruebas diagnósticas y sobre factores de riesgo y protección, la mayor parte de las que se publican intentan contestar preguntas sobre intervenciones (terapéuticas, rehabilitadoras, preventivas, de gestión, etc.). Esto es debido al estricto criterio de inclusión de estudios que tienen estas revisiones, o por decirlo de otro modo, la utilización de ensayos controlados y aleatorios como fuente de datos primarios ­como estudios a incluir dentro de una revisión­. La parte cuantitativa de una revisión sistemática, denominada metaanálisis³, tratará de ponderar estadísticamente todos los estudios incluidos en la revisión, por lo tanto si estos estudios difieren entre sí en una o varias de sus características principales (especialmente la muestra seleccionada), terminaremos mezclando "peras con manzanas", e interpretando erróneamente los datos obtenidos. Por este motivo, los ensayos controlados aleatorios, al tener un nexo de unión común, la aleatorización, supondremos que las características generales de cada estudio se habrán repartido en las mismas proporciones para los grupos de intervención y control; pero siempre y cuando las características más específicas, como la definición de la intervención que evalúan, el tiempo de tratamiento o las dosis empleadas sean homogéneas en todos los estudios analizados. Como los ensayos clínicos aleatorios evalúan principalmente intervenciones, las revisiones sistemáticas también se realizan sobre intervenciones.

La pregunta de investigación debe definir el protocolo de trabajo de la revisión sistemática. Por lo tanto, al realizar nuestra pregunta tendremos que decidir:

­ Qué tipo de estudios vamos a incluir: por ejemplo, ensayos controlados aleatorios doble-ciego.

­ Qué tipo de intervención: por ejemplo, determinar la eficacia y seguridad de una intervención farmacológica específica para el abandono del hábito de fumar.

­ Qué tipo de comparaciones: por ejemplo, comparándola con placebo y con otras intervenciones que demostrasen con anterioridad que son eficaces.

­ Qué tipo de participantes: por ejemplo, fumadores mayores de edad con más de 5 años de hábito y con una valoración ≥ 5 en el test de Richmond⁴.

­ Qué tipo de resultados (medidas de resultado): por ejemplo, porcentaje de sujetos libres del hábito al año de seguimiento.

Búsqueda de estudios

Una vez concretada la pregunta el siguiente paso es realizar una búsqueda sistemática por las diferentes bases de datos, con el propósito de encontrar todos los estudios que cumplan nuestros criterios de inclusión ­formulados en nuestra pregunta¹­. A tal fin, diseñaremos una estrategia de búsqueda para las bases de datos electrónicas PubMed, EMBASE y todas aquellas a las que tengamos acceso. También buscaremos en la sección bibliográfica de todos los artículos que recuperemos de esas bases de datos, así como en internet, consultando bases de datos de estudios en curso (clinical-trials.gov, current controlled trials), las páginas web de sociedades y congresos (en busca de abstracts) y contactando directamente por correo electrónico con investigadores expertos en la materia de nuestra pregunta y con responsables de investigación de compañías farmacéuticas.

Para diseñar las estrategias de búsqueda electrónica lo habitual es contar con un documentalista especializado en revisiones sistemáticas. Esto es debido a la complejidad que entraña la unión de infinidad de términos específicos. En nuestro ejemplo a los términos habituales de las intervenciones a comparar habría que añadir los relacionados con la investigación experimental: RANDOMIZED CONTROLLED TRIAL.pt. CONTROLLED CLINICAL TRIAL.pt. RANDOMIZED CONTROLLED TRIALS.sh. RANDOM ALLOCATION.sh. DOUBLE BLIND METHOD.sh.SINGLE-BLIND METHOD.sh. ANIMAL.sh. not HUMAN.sh. CLINICAL TRIAL.pt. exp CLINICAL TRIALS. PLACEBOS.sh...

Selección de los estudios

Después de obtener los resultados de las búsquedas debemos cribar, a partir de los abstract, los estudios que potencialmente cumplen criterios de inclusión y los que claramente no los cumplen². Estos últimos se excluirán directamente, mientras que se pedirán los fulltext de los primeros. También se pedirán los artículos completos de los estudios que, a partir de la lectura del resumen, no podamos determinar su inclusión o exclusión de la revisión sistemática. Por poner algunos ejemplos, desde mi equipo se revisaron unos 2.500 abstract ­120 se pidieron en fulltext­ para terminar seleccionando, a partir de nuestro criterio de inclusión, 28 estudios que evaluaban antipsicóticos atípicos frente a típicos en el tratamiento de la esquizofrenia. Para una revisión sobre el uso terapéutico de cannabis en dolor crónico se revisaron 210 abstracts, se pidieron 82 artículos fulltext y finalmente se seleccionaron 13 estudios.

Por los datos mostrados en estos ejemplos, siempre que se plantee la necesidad de una revisión sistemática es conveniente tener muy claro aspectos como la financiación específica que se necesita para recopilar una gran cantidad de artículos y las vías de acceso a ellos.

Extracción de datos

Una vez obtenidos los artículos se determina si éstos cumplen los criterios de inclusión o no. Este trabajo se debe realizar separadamente por dos miembros del equipo de investigadores, utilizando a un tercer investigador cuando no exista concordancia sobre la inclusión o no de un determinado estudio.

El siguiente paso es la extracción de datos de los estudios incluidos. La lógica de este proceso se basa en la simplificación de la información que contienen los artículos. Se extrae lo necesario exportándolo a unas hojas de recogida de información, con las que se trabajará a partir de ahora, mientras que se archivan los textos completos de los artículos. Las hojas de extracción de datos pueden realizarse tanto en formato papel como electrónico, y deben contener los puntos esenciales esgrimidos en el protocolo y los específicos para el análisis de datos y la evaluación de la calidad de los estudios incluidos.

Calidad de los estudios incluidos

Antes de pasar al análisis estadístico de los estudios seleccionados es necesario determinar la calidad individual de cada estudio. Como los que se incluyen en una revisión sistemática son principalmente ensayos clínicos aleatorios, la calidad de éstos viene marcada por: a) la selección de pacientes a los diferentes grupos de tratamiento y control; b) la realización de las intervenciones; c) las medidas de resultado utilizadas; d) el seguimiento a los pacientes y d) el denominado sesgo de publicación.

Como en el capítulo dedicado a los ensayos clínicos se vieron los 4 primeros puntos, aquí nos centraremos en el último, en el sesgo de publicación^1,2,5. La definición de este sesgo hace referencia al hecho de que normalmente se publican más los estudios con resultados positivos que los que muestran resultados negativos (o sin diferencias significativas entre los grupos estudiados). Sin embargo, dentro de una revisión sistemática nos tenemos que preguntar si hemos encontrado todos los estudios con nuestro criterio de inclusión o, por el contrario, no hemos sido capaces de encontrar estudios con resultados negativos ­si es que existen­. Este hecho es de suma importancia, ya que si sólo utilizamos estudios con resultado positivo, pero obviamos los negativos, estaremos sobreestimando la intervención evaluada. Para poder controlar este posible sesgo en una revisión sistemática se deben realizar algunas pruebas estadísticas, donde la más conocida es el denominado "gráfico de embudo" o funnel plot⁵. Este gráfico va a ordenar los estudios a partir de la precisión de su medida, y podremos comprobar si existen estudios con poca precisión y resultados extremos, tanto a favor de la intervención experimental como en contra. Si sólo observamos resultados extremos de estudios con poca precisión (normalmente con escasa muestra de sujetos) a favor de la intervención experimental, pero no a favor de la intervención control, podríamos suponer que éstos (los estudios con resultado negativo) existen pero no han sido publicados. Cuando las muestras son pequeñas el error aleatorio del estudio es alto y, por lo tanto, los resultados deberían ir tanto a favor como en contra (por azar). Se muestra un ejemplo de este gráfico en la figura 1.

Figura 1. Representación gráfica de un funnel plot o gráfico de embudo. Estudio real para el análisis del sesgo de publicación del metaanálisis sobre la eficacia de una determinada intervención farmacológica. La zona señalada identifica la ausencia de estudios incluidos con resultados en esa dirección.

Análisis estadísticos: metaanálisis

La parte cuantitativa de una revisión sistemática se denomina metaanálisis^3,6. Para poder realizarlo se necesitan al menos dos estudios en un mismo análisis. Sin embargo, en muchas revisiones sistemáticas la heterogeneidad de los estudios incluidos (en población, dosis, tiempo de tratamiento, etc.) hacen inviable poder aportar una medida cuantitativa común, por lo que podemos tener una revisión sistemática sin ningún estimador analítico conjunto (sin metaanálisis); lo que nunca tendremos es un metaanálisis sin revisión sistemática previa. Es lógico pensar que si se analizan únicamente los estudios que convienen al investigador, los resultados siempre irán a su favor. Por este motivo, los estudios analizados tienen que provenir de una búsqueda "sistemática" previa y de un estudio de su calidad y heterogeneidad.

Cuando se realiza un metaanálisis al estimador resultante lo denominamos tamaño del efecto conjunto (overall effect size) y se obtiene a partir de la diferencia de medias entre las intervenciones a comparar. Si la medida es dicotómica, el effect size será principalmente un estimador conjunto de la odds ratio, riesgo relativo o la diferencia de riesgo^6,7. Al unir diferentes estudios analíticamente se ganará precisión en la medida aumentando la potencia individual de cada estudio. Sin embargo, antes de poder sumar los estudios debemos realizar uno de homogeneidad, tanto clínica como estadística. En el ámbito clínico debemos decidir qué estudios unir a partir de variables, como el tiempo de tratamiento o seguimiento de los ensayos. No es lo mismo un estudio a corto plazo que a medio o largo plazo. Lo mismo ocurre con las dosis administradas. En este último caso se pueden agrupar los análisis en, por ejemplo, estudios con dosis medias y estudios con dosis altas. Aquí, el equipo de investigadores deberá decidir los puntos de corte adecuados.

La heterogeneidad estadística⁶ viene determinada por un análisis de la variabilidad inter-estudio. En un metaanálisis se debe prestar atención a las diferentes variaciones en los resultados individuales de los estudios. Estas variaciones deben estar basadas únicamente en el azar. A partir de la variabilidad individual de cada estudio (que normalmente está muy relacionada con el tamaño de muestra) y que determina la precisión de su medida se realiza una prueba Q para determinar si los diferentes resultados encontrados entre los estudios son dependientes de la precisión de los mismos (sólo el azar hace variar los resultados de un estudio a otro) o, por el contrario, existe alguna variable entre los estudios que está creando confusión en los resultados. En este caso, cuando encontramos heterogeneidad, no podemos ofrecer resultados analíticos, ya que no sabemos la causa de la variación ­la causa del effect size­ y por lo tanto no podríamos interpretar el resultado obtenido. En estos casos, por un lado tendríamos que utilizar un modelo de análisis denominado aleatorio ­que tiene en cuenta la variabilidad inter-estudio­ y por otro, realizar análisis de subgrupos de estudios si la medida es dicotómica (a partir de la variable que creemos que está modificando el resultado: dosis, población, etc.) o realizar un análisis de regresión (meta-regresión) si la medida es continua (tiempo de tratamiento, etc.). En la literatura existen varios ejemplos de meta-regresiones que lograron determinar la causa de la heterogeneidad y aportaron un importante conocimiento clínico sobre las intervenciones que estudiaron: la eficacia diferencial de una vacuna a partir de la distancia al ecuador que existe en los países de aplicación⁸, o la realizada por nuestro equipo sobre la efectividad a corto plazo de las benzodiazepinas en el trastorno de ansiedad generalizada, con relación al año de publicación de los ensayos clínicos⁹.

Dentro de un metaanálisis cada estudio tiene un peso que viene determinado por su variabilidad. Así, cuanto más preciso en su medida es el estudio más peso tiene en el global del metaanálisis. Esta ponderación se realiza normalmente por el inverso de la varianza de cada estudio. Existen diferentes programas estadísticos con función para metaanálisis que simplifican considerablemente el tiempo que se precisa para realizar los análisis cuantitativos. Algunas de las técnicas estadísticas más utilizadas en metaanálisis aparecen esquematizadas en la tabla 1. A nivel gráfico⁷, las figuras que presentan los análisis se denominan forest plot y suelen presentar los efectos individuales de los estudios y el peso de cada uno de éstos sobre el estimador global; el efecto conjunto, o effect size junto con su intervalo de confianza; el test de homogeneidad; el modelo utilizado (fijo o aleatorio) y el intervalo de confianza elegido para realizar el análisis, tal como muestra la figura 2.

Figura 2. Representación gráfica de los resultados de un metaanálisis (forest plot). Representación gráfica de los resultados de un metaanálisis sobre la eficacia de una intervención sanitaria. Se representan los valores de la diferencia de medias estandarizada (SMD) con su correspondiente intervalo de confianza (IC) para cada estudio individual y el valor global para el metaanálisis. La línea vertical representa el valor del efecto nulo. A su izquierda se representan los estudios cuyos resultados están a favor del grupo de intervención activa, y a la derecha aquellos cuyos resultados están a favor del grupo control.

Conclusiones e interpretación de los resultados

Por último, una revisión sistemática debe ser capaz de aportar una serie de conclusiones o implicaciones tanto para la práctica clínica como para la futura investigación sobre la intervención estudiada¹⁰. En las conclusiones de una revisión sistemática se debe comenzar con una frase que conteste la pregunta inicialmente planteada: "esta revisión sistemática encuentra evidencia/no encuentra evidencia de...", para continuar con una interpretación de la calidad de los estudios y de los estimadores estadísticos encontrados. A partir de aquí, la sección de conclusiones o discusión de una revisión sistemática se asemeja a las conclusiones y discusión de cualquier otro artículo clínico.

Las diferentes etapas en la elaboración de una revisión sistemática aparecen esquematizadas en la figura 3.

Figura 3. Etapas en la elaboración de una revisión sistemática.

---

Correspondencia: J.L.R. Martín.

Jefe del Área de Investigación Clínica. Fundación para la Investigación Sanitaria en Castilla la Mancha (FISCAM). Edificio Bulevar.

C/ Berna, nº 2, Local 0-2.

45003 Toledo. España.

Correo electrónico: [e-mail]

Recibido el 05-11-07; aceptado para su publicación 05-11-07.