La revisión sistemática (RS) de la literatura es la evaluación sistemática y explícita de la literatura, a partir de una pregunta clara de investigación, junto a un análisis crítico de acuerdo a diferentes herramientas y un resumen cualitativo de la evidencia. Al existir datos duros, claros y homogéneos es posible la realización de un análisis estadístico denominado “meta-análisis” (MA). Las RS deben presentar los siguientes aspectos: una pregunta de investigación clara y basada en la estrategia “Población, Intervención, Control, Desenlace” (PICO), una estrategia de búsqueda clara y reproducible, la selección apropiada de los estudios junto a la extracción de sus datos, la evaluación de la calidad de la evidencia con alguna de las diferentes herramientas y, si existen datos duros y homogéneos, se podrá realizar un meta-análisis.
Las RS de la literatura/MA son un apoyo fundamental para la toma de decisiones tanto en el área clínica como en la educativa; además para el desarrollo de políticas públicas en todas las áreas de conocimiento.
The systematic review of the literature is the explicit and assessment of the literature, derived from a clear research question, along with a critical analysis according to different tools and a qualitative summary of the evidence. If clear and homogeneous data are found then it is possible to perform a statistical analysis called “meta-analysis”. Systematic reviews should cover the following: Have a clear question based on the PICO strategy, a reproducible search strategy, appropriate selection of studies along with data extraction, assessment of the quality of evidence with some of the different tools and a meta-analysis if it is appropriate.
Systematic literature reviews/meta-analyzes are a fundamental support for decision-making in the clinical area and in education, in addition to the development of public policies in all areas of knowledge.
El crecimiento de la literatura mundial en los últimos años ha sido exponencial, predominantemente los experimentos y las revisiones sistemáticas (RS), considerados la mejor evidencia disponible.1,2
Las RS son estudios analíticos que comprenden la evaluación exhaustiva, protocolizada, sistemática y explícita de la literatura, a partir de una pregunta clara de investigación, una metodología explícita, un análisis crítico de acuerdo a diferentes herramientas y un resumen cualitativo de la evidencia. Cuando al finalizar la RS se encuentran datos duros, claros y homogéneos (principalmente, aunque se podría realizar con datos heterogéneos, se verá más adelante), es posible la realización del análisis estadístico denominado “meta-análisis” (MA).1,3
Las RS de la literatura/MA son investigaciones originales cuya unidad de análisis son los estudios o investigaciones primarias, son datos más que pacientes, por este motivo también son contempladas como investigación secundaria, pero siempre debe ser consideradas investigación original, ya que claramente utilizan el método científico para la resolución de una duda planteada.2,3 Las RS reúnen de una manera metódica toda la evidencia disponible con unos criterios de elegibilidad establecidos, con el objetivo claro de responder a una pregunta específica; sus métodos son explícitos, de tal manera que se minimizan los sesgos.1,4,5
Frecuentemente, la RS se confunde con el MA, sin embargo, se debe aclarar que el MA consiste en la aplicación de métodos estadísticos para resumir los efectos de las intervenciones.1,6
Como todo proceso de investigación, se sugiere la realización de un protocolo claro y conciso7 en el que se plantea el fundamento de la revisión, la pregunta, los criterios de inclusión/exclusión, la estrategia de búsqueda junto a la metodología explícita y el plan de análisis.2,3,8 Este protocolo debería ser registrado ya sea en Cochrane, Campbell o en la primera página de registro de RS/MA desarrollada por la Universidad de York (http://www.crd.york.ac.uk/prospero/), de tal manera que al realizar la publicación de la RS, los pares puedan constatar que se realizó lo que estaba planificado.
Tipos de revisiones sistemáticasLas RS de estudios de intervención es el tipo más utilizado y avanzado en la actualidad, no obstante, se han desarrollado técnicas para la evaluación de la evidencia de los diferentes tipos de estudio, de tal manera que se puede sintetizar para responder a todo tipo de preguntas de investigación: intervención/efectividad, métodos diagnósticos, factores de riesgo o pronóstico, efectos adversos, revisión de revisiones y en MA en red.1,9
En educación hay ciertas particularidades interesantes: generalmente las intervenciones educativas son basadas en la opinión de expertos, revisiones narrativas o experiencias personales,10 sin embargo, durante los últimas décadas, diferentes iniciativas se han desarrollado para implementar una educación médica basada en evidencia.10,11 Se considera que se requiere una orientación clara de nuestras decisiones educativas utilizando la mejor evidencia disponible, de tal manera que los estudiantes obtengan lo sobresaliente del ámbito educativo.11
En 1998 en Praga, se generó un plan de acción con visión futurista, en el que se generó la Best Evidence Medical Education (BEME) Collaboration cuyo objetivo fundamental es la realización de revisiones sistemáticas en educación para la salud.11–13 La BEME es la aplicación de los métodos educativos basados en la mejor evidencia disponible,10 su impacto ha sido demostrado en diferentes publicaciones, pero existen elementos importantes a discutir, por ejemplo:11
- 1.
El impacto de las intervenciones en educación es generalmente sutil y no siempre aparente, sin embargo, generalmente es a largo plazo.
- 2.
La poca importancia que se le ofrece a la práctica y las intervenciones educativas.
- 3.
Los productos de investigación educativa no están fácilmente al alcance de los profesionales médicos.
- 4.
No hay costumbre acerca de la investigación cualitativa o mixta en la educación médica.
La educación basada en evidencia permite a los profesores adoptar dos conceptos importantes:10
- 1.
Lectura crítica de la literatura disponible y categorización del poder de la evidencia.
- 2.
Identificar los baches existentes y sugerir estudios para hacer intervenciones educativas basadas en evidencia.14
En educación, las RS son un elemento emergente y de crecimiento progresivo, dado que hay mayor producción de experimentos con asignación aleatoria que van a ser la base de las RS en esta área.11 Algunos elementos importantes de las RS en educación se describen a continuación de acuerdo a Sánchez-Mendiola (2012), Wolf (2000)15 y Wolf, Shea & Albanese (2001):16
- •
Es un proceso un poco más complejo.
- •
Los registros y bases de datos de estudios originales, así como las bases de datos primarias y secundarias son muy útiles.
- •
Múltiples audiencias con diferentes necesidades de evidencia.
- •
La implementación de la evidencia puede ser difícil.
- •
La evidencia publicada usualmente es insuficiente para tomar decisiones, lo importante es el contexto y la crítica.
- •
Mejoran la calidad de las investigaciones primarias y sugieren los sitios donde están las brechas del conocimiento.
- •
Existen diferentes tipos de estudio (no sólo experimentales) que nos permiten resolver preguntas de investigación en educación.
- •
El rigor metodológico en educación debe aceptar la investigación cualitativa o mixta dado que las intervenciones educativas no son fácilmente definibles y replicables, a diferencia de la investigación en otros ámbitos clínicos.17
Una síntesis de evidencia en educación debe representar críticamente la variedad de la literatura que existe en el tema, identificar los vacíos en el conocimiento y generar una guía para nuevo conocimiento.18
El punto más importante de una RS es precisamente este último elemento, su proceso sistemático, de otra manera, todo será sesgado y por ende, de acuerdo al concepto del autor;18 debe existir debate dado que son diferentes conceptos, pero siempre fundamentado en la mejor evidencia disponible.
Realización de la RS/MA paso a pasoPara la ejecución de una correcta RS se requiere cumplir con los siguientes pasos:1–3
- •
Pregunta de investigación, ha de ser clara y basada en la estrategia “Población, Intervención, Control, Desenlace” (PICO).
- •
Estrategia de búsqueda clara y reproducible (no limitada a una base de datos, ni a un idioma).
- •
Localización y selección de los estudios.
- •
Extracción de datos.
- •
Evaluación de calidad de evidencia (herramienta de riesgo de sesgo, GRADE, otras).
- •
Análisis y presentación de los resultados.
- •
MA (efectos fijos y efectos aleatorios, meta-regresión, evaluación de la heterogeneidad y sensibilidad).
En la literatura y en la práctica profesional existe una gran cantidad de información que en la mayoría de oportunidades, genera una cantidad de preguntas que difícilmente podrán ser respondidas dado que frecuentemente no son claras y están mal enfocadas, de tal manera que para la realización de una RS, se debe formular una pregunta, concisa, clara, y enfocada.1, 2, 19 Esta se debe enfocar en 4 elementos básicos denominados por la sigla PICO:
- •
Población o problema.
- •
Intervención.
- •
Comparador.
- •
Outcome o desenlace.
Si se quiere ser más específico, podría incluirse temas como el tipo de estudio (S) y el tiempo al cual se quiere obtener el desenlace (T), por tanto la sigla sería PICOST.
Estrategia y búsqueda de la literaturaExisten múltiples bases de datos que reúnen la información, entre las más importantes y nombradas están: MEDLINE, EMBASE, CENTRAL, en éstas se condensan la mayoría de los artículos, usualmente la mejor evidencia disponible.1, 20, 21 No obstante, existen otros sitios de origen de la información,20 como por ejemplo: National Guideline Clearinghouse, The Cochrane Collaboration, The Campbell Collaboration, Clinical Evidence, ACP Journal Club y Database of Abstracts of Reviews of Effects (DARE).
Las bases de datos médicas o educativas (por ejemplo, MEDLINE o Education Resource Information Centre, ERIC), tienen adecuados encabezamientos por materias, sin embargo la indexación no es completa ni adecuada para los artículos de investigación en educación en salud.22 Generalmente, las bases de datos en las que se sugiere buscar, además de las ya nombradas son: ERIC, British Education Index (BEI), PsycINFO (Psiquiatría y Psicología), Research and Development Resource Base (RDRB) www.cme.uto-ronto.ca/rdrb, Topics in Medical Education (TIMELIT) www.timelit.org, entre otros elementos importantes en todo proceso de síntesis de evidencia como son: expertos en el área, búsqueda manual de referencias y búsqueda de literatura gris.22, 23
Por otro lado, se debe definir una estrategia de búsqueda clara, sensible y a la vez específica para la pregunta de investigación.24–26 A continuación, se describirán algunos pasos generales para desarrollarla:2, 26
- •
Determinar una pregunta clara (PICO).
- •
Definir los términos MeSH, Emtree y libres (de acuerdo a cada base de datos) para cada uno de los ítems de PICO.
- •
Identificar sinónimos y diferentes formas de escritura y mal escritura de los términos.
- •
Combinar lógicamente cada término: las palabras dentro de cada ítem (PICO) deben combinarse con el operador booleano “OR” y entre ítems deben combinarse con el operador “AND”.
- •
Ejecutar la estrategia.
La estrategia de búsqueda no es un elemento que desde el primer momento queda definido, hay que hacer múltiples intentos y asesorarse muy bien con personas expertas en el tema, como por ejemplo los bibliotecarios en caso de ser nuevo en este aspecto.
Selección de estudiosSe sugiere que al menos dos de los investigadores identifiquen y seleccionen de manera independiente y ciega los títulos y resúmenes obtenidos en las búsquedas electrónicas, con ellos se creará un conjunto de estudios elegibles. Posteriormente, se obtendrán los artículos completos y de manera independiente (al menos dos investigadores), se evaluará el cumplimiento de los criterios de inclusión basados en PICO. Se debe listar los estudios excluidos y las razones de dicha exclusión.1, 2, 9
Codificación de la informaciónAl menos dos de los investigadores extraerán los datos de manera independiente, para ello se usará un formato estándar,1, 2 en el que se condensarán las siguientes variables: detalles del estudio, de los participantes, de la intervención, exposición o método diagnóstico, del comparador, los desenlaces y algunas notas necesarias para tener una idea general del estudio.
Los desacuerdos entre los dos autores, al evaluar la elegibilidad, la calidad y los datos extraídos, serán resueltos por medio de una discusión hasta llegar a un consenso. En aquellos casos donde persista el desacuerdo, un tercer autor evaluará y generará su concepto. En caso de información poco clara o faltante, se debe establecer contacto con los autores para obtener la información faltante.1
La evaluación de la evidenciaMúltiples son las herramientas que se han generado para evaluar la evidencia, la escala de Alejandro Jadad, la guía para la evaluación de los estudios de JAMA, la reciente herramienta de riesgo de sesgo de Cochrane o la herramienta GRADE para evaluar la calidad de la evidencia e incluso para generar recomendaciones. Todas y cada una de ellas sirven para un tipo diferente de estudio, por ejemplo algunas son para experimentos, otras para estudios observacionales, algunas para métodos diagnósticos y otras como GRADE son herramientas muy bien fundamentadas que evalúan la calidad y ayudan a generar recomendaciones,27, 28 no obstante, ellas están diseñadas para estudios clínicos.
Los experimentos controlados y aleatorizados continúan siendo la mejor evidencia disponible, sin embargo son poco utilizados en educación médica, de tal manera que es difícil hacer RS de este tipo de estudios. En educación médica se cuenta con estudios observacionales y cuasiexperimentales importantes, rigurosos y robustos que ayudan a sacar conclusiones e identificar los vacíos de conocimientos en esta área.23
Esto nos introduce al punto fundamental de la evaluación de la calidad de los artículos, en la que se encuentran diferentes herramientas de evaluación de artículos, sin embargo en educación médica sugieren realizar las preguntas relacionadas con cada uno de los aspectos en el desarrollo del artículo, que se presentan en la Tabla 1.23
Guías y recomendaciones para la evaluación crítica de los reportes de intervenciones en educación médica.
| Ítem | Preguntas a evaluar |
| Pregunta de investigación | ¿Es fácilmente identificable el propósito del estudio? |
| Razonamiento (antecedentes) | ¿El razonamiento ha sido claramente establecido basado en la literatura? |
| Objetivos | ¿Los objetivos están claramente establecidos? |
| ¿Los objetivos son congruentes con los antecedentes, la intervención y la evaluación? | |
| Diseño del estudio | ¿Es apropiado para responder la pregunta? |
| ¿Hay un grupo de comparación similar? | |
| ¿Hay sesgo de selección en el grupo comparador? | |
| ¿Los evaluadores están ciegos a la asignación de los grupos? | |
| ¿El diseño está descrito en suficiente detalle como para ser replicado? | |
| ¿Se evaluaron los efectos a corto y largo plazo? | |
| ¿Se controlaron las variables de confusión? | |
| ¿Se determinó tamaño de muestra y poder del estudio? | |
| Intervención | ¿Los métodos de enseñanza y contenido son descritos en suficiente detalle como para replicarlo? |
| ¿Se describe la ubicación del experimento? | |
| ¿Se describen las características de los estudiantes? | |
| ¿Se describen los recursos requeridos? | |
| Evaluación | ¿Los desenlaces son acordes a los objetivos de aprendizaje y la pregunta de investigación? |
| ¿Se describe la validez y confianza de los instrumentos reportados? | |
| ¿Se evaluó la validez y confianza inter e intraobservador y la validez de contenido y predictiva? | |
| ¿Se describe la recolección de los datos suficientemente como para replicarlo? | |
| ¿Se describen las pruebas estadísticas? | |
| ¿Las pruebas estadísticas son apropiadas para el diseño? | |
| ¿Los valores de p y medidas de dispersión son reportadas? | |
| Resultados | ¿Se evaluó la significancia y el tamaño del efecto en educación? |
| ¿Las conclusiones son justificadas por los resultados? | |
| ¿Se describen las fortalezas y limitaciones del estudio? | |
| ¿Se describe la contribución a la literatura? |
Diferentes programas estadísticos ayudarán en el análisis de los datos obtenidos de la RS, entre los más nombrados están: Review Manager (RevMan®), que es un software estadístico creado por la Colaboración Cochrane para la realización de RS y la generación de MA,1 éste tiene la ventaja que permite el desarrollo completo de la RS así como el MA, y además el desarrollo de diagramas agradables a la vista y de buena calidad, interactúa con diferentes programas como GRADEpro para la generación de las tablas de resumen y evaluación de la evidencia (GRADE). Entre otros se encuentran: Stata®, un programa estadístico supremamente poderoso, al cual le agregaron algunos plug-ins para realizar análisis de efectos fijos, aleatorios, meta-regresión, entre otros elementos. Los programas R®, Comprehensive Meta-análisis® (CMA), WinBugs®, entre otros, todos utilizados con excelentes desenlaces.3, 9
Al tener los resultados, los datos dicotómicos serán presentados y comparados usando riesgos relativos (RR) u Odds Ratios (OR) con su correspondiente intervalo de confianza (IC); y los datos continuos, se presentarán con medias aritméticas y desviaciones estándar (DE), será combinada la diferencia entre las medias de los estudios experimentales, para calcular la diferencia ponderada (o la estandarizada de medias, si diversas escalas de medición han sido utilizadas).1
Previamente se consideraba que sólo si existía homogeneidad estadística se debía considerar realizar un MA, de tal manera que se utilizaba un modelo de efectos fijos, sin embargo en la actualidad se considera que aún existiendo heterogeneidad estadística, podría considerarse un MA; se debe tener cuidado con la variabilidad existente entre los diferentes estudios en relación a su población, sus intervenciones, etc.1, 9
Finalmente, al sintetizar la evidencia es importante resaltar que en educación médica se encontrarán estudios muy heterogéneos, de tal manera que será muy complejo y no recomendado la utilización de métodos estadísticos, de tal manera que se sugiere una síntesis cualitativa de la evidencia.23 Se recomienda entonces, una descripción narrativa, tal vez organizarla en grupos, de tal manera que el lector pueda revisar las similitudes y diferencias entre los estudios. Uno de los ejemplos más aceptados es el deTaylor R,29 quien clasifica en amplias categorías incluyendo: conocimiento, actitudes, destrezas y comportamiento.
De acuerdo a Reed (2005), se podrían utilizar las tablas para mostrar: qué funciona (teorías, objetivos de aprendizaje, intervenciones y métodos de enseñanza), a quiénes (grupo blanco de estudiantes), bajo cuáles circunstancias (intervención, situación, localización, duración y frecuencia) y para qué fin (desenlaces deseables).23
Análisis estadístico: MALas pruebas estadísticas no pueden compensar por la carencia de sentido común, ni la adecuada utilización ni interpretación de los métodos.30 De tal manera que su uso debe ser medido y aplicado con el mejor criterio posible.
El MA puede ofrecer el estimado del efecto, la mejor medida de resumen, sin embargo no puede mejorar los problemas (sesgos) que tengan los estudios primarios,30, 31 de tal manera que si las deficiencias son importantes, se sugiere sólo hacer una síntesis cualitativa de la evidencia sin utilizar técnicas estadísticas.
En la actualidad, el MA y todas las técnicas de síntesis de evidencia son bienvenidas y utilizadas en educación médica, pero más aún serán utilizadas en un futuro dado que la evidencia en esta área continua en expansión y se incrementa la producción de estudios experimentales, que podrían ser susceptibles de un resumen cuantitativo de la evidencia.30
Los modelos usualmente utilizados para el MA son:
- •
Modelo de efectos fijos: se trata de una prueba estadística que asume que las diferencias entre los estudios son solamente debidas al azar. En este modelo pueden usarse estimaciones como: Mantel-Haenszel (preferido), inverso de la varianza o Peto.1, 9, 32
- •
Efectos aleatorios: se trata de un método estadístico que toma como hipótesis que la variación entre los estudios no es solamente debida al azar, sino que existen otras razones por las cuales puede presentarse la heterogeneidad. Frecuentemente denominado DerSimonian and Laird: utiliza el método del inverso de la varianza y Mantel-Haenszel.32
Cuando los estudios son homogéneos, el método de efectos fijos y el de efectos aleatorios, ofrecen resultados similares, sin embargo cuando existe heterogeneidad, el IC se hará mayor con el método de los efectos aleatorios.1, 9
ConclusionesLas RS de la literatura/MA han tenido un crecimiento exponencial en los últimas décadas, dado que son un apoyo fundamental para la toma de decisiones tanto en el área clínica como en la educativa; ellas permiten de una manera sencilla y metódica, solucionar problemas que se dan en el quehacer diario. La síntesis de evidencia es también una herramienta fundamental para el desarrollo de políticas públicas en todas las áreas de conocimiento.
Ninguno.
Los autores declaran no tener ningún conflicto de interés.
Ninguna.