Validez de las revisiones sistemáticas: sesgo por inclusión y presentación selectiva de resultados en ensayos aleatorizados de intervenciones en salud

Antecedentes

Una revisión sistemática resume los resultados de los estudios de investigación en salud cuidadosamente diseñados (ensayos clínicos aleatorizados [ECA]) y proporciona un alto nivel de evidencia sobre la efectividad de las intervenciones ( ). Se considera una piedra angular de la práctica basada en la evidencia. Los hallazgos aportan a los profesionales información actualizada y facilitan la toma de decisiones, identifican vacíos de conocimiento y proporcionan recomendaciones para futuras investigaciones ¹. Sin embargo, prácticas como la publicación selectiva de estudios y la comunicación de un subconjunto de resultados pueden afectar a la validez de las revisiones sistemáticas. En una revisión sistemática de Dwan et al.² se pone de manifiesto una fuerte evidencia entre los resultados estadísticamente significativos y su publicación: los estudios que presentan resultados positivos o estadísticamente significativos tienen más probabilidades de ser publicados y los resultados que son estadísticamente significativos tienen mayores probabilidades de darse a conocer completamente. Los informes selectivos pueden incluir la notificación de resultados discrepantes (p.ej., añadir un nuevo resultado u omitir un resultado definido en el protocolo). Pueden surgir preocupaciones por el sesgo y la presentación errónea de las pruebas disponibles. Las guías disponibles para la presentación de informes de resultados en revisiones sistemáticas y metaanálisis PRISMA y Cochrane proporcionan recomendaciones específicas para ello, como la recomendación de PRISMA de indicar claramente en el resumen el protocolo definido, teniendo en cuenta la importancia de cada resultado notificado, independientemente de si los resultados son clínicamente relevantes o estadísticamente significativos³. Además, por cada metaanálisis realizado deben incluirse los intervalos de confianza y las medidas de consistencia⁴.

Desde la perspectiva enfermera, los sesgos de inclusión selectiva y notificación de los resultados tienen importantes repercusiones. Esto se vuelve incluso más crítico para las enfermeras que trabajan a pie de cama que confían en la mejor y más actualizada evidencia para tomar decisiones clínicas en tiempo real.

Objetivo(s)

Resumir las características y sintetizar los resultados de estudios empíricos que: a) han investigado la prevalencia de inclusión o notificación selectiva en revisiones sistemáticas de ECA; b) han investigado los factores asociados con la prevalencia, y c) han cuantificado el sesgo de resultados.

Intervención / métodos

Los autores se centraron en cinco tipos de inclusión selectiva y la presentación de informes de resultados y análisis en esta revisión.

Entre ellos figuraban los siguientes:

• 1)

  Inclusión selectiva de resultados de ECA en revisiones sistemáticas.

• 2)

  Discrepancias entre el registro de las revisiones sistemáticas registradas y las publicadas.

• 3)

  Discrepancias entre los protocolos de revisión sistemática y las revisiones sistemáticas publicadas.

• 4)

  Discrepancias entre el texto completo y los resúmenes en revisiones sistemáticas (es decir, resumen, resumen en lenguaje sencillo, o cuadro de «Resumen de hallazgos»).

• 5)

  Presentación de informes parciales selectivos en revisiones sistemáticas.

Para cada uno de los cinco tipos de métodos se incluyeron tres resultados primarios y cuatro secundarios.

Resultados primarios:

• 1)

  Prevalencia general de inclusión o notificación selectiva.

• 2)

  Si la prevalencia global de inclusión o notificación selectiva está asociada con la significación estadística de la estimación del efecto.

• 3)

  Si la prevalencia global de inclusión o notificación selectiva está asociada con la dirección de la estimación del efecto.

Resultados secundarios:

• 1)

  Prevalencia de ejemplos específicos de inclusión o notificación selectiva.

• 2)

  Si la prevalencia de cada ejemplo específico de inclusión o notificación selectiva está asociada a la significación estadística de la estimación del efecto.

• 3)

  Si la prevalencia de cada ejemplo específico de inclusión o notificación selectiva está asociada a la dirección de la estimación del efecto.

• 4)

  Si la prevalencia global o la prevalencia de ejemplos específicos de inclusión o notificación selectiva está asociada con otros factores investigados por los autores del estudio.

Resultados

Según un metaanálisis de cuatro estudios, el 38% (IC 95%: 23-54%) de las revisiones sistemáticas añadieron, omitieron, mejoraron o bajaron de categoría al menos un resultado entre el protocolo y la revisión sistemática publicada. La asociación entre la significación estadística y la notificación discrepante de los resultados fue incierta.

Dos estudios encontraron que las razones de los informes de resultados discrepantes se comunicaron con poca frecuencia en las revisiones sistemáticas publicadas. Un estudio encontró que el 32% (IC 95%: 21-45%) de las revisiones sistemáticas no informaron de todos los resultados primarios en el resumen. Otro estudio encontró que los resultados primarios estadísticamente significativos tenían más probabilidad de ser publicados completamente en el resumen de una revisión sistemática que los resultados primarios no significativos (RR: 2,66; IC 95%: 1,81-3,90).

Conclusión

Como se muestra en las conclusiones de la revisión, es bastante común la notificación de resultados discrepantes entre el protocolo y la revisión sistemática publicada. Los autores recomiendan informar claramente de las modificaciones de los resultados realizadas una vez que el estudio ha comenzado, junto con su justificación. También recomiendan que se informen las estimaciones del efecto y los intervalos de confianza de todos los resultados de la revisión sistemática, independientemente de los resultados.

Por último, los autores piden más investigación de alta calidad, en particular sobre la prevalencia de la inclusión selectiva de resultados en revisiones sistemáticas. En el año 2009 se produjeron algunas iniciativas, como la publicación de la declaración de PRISMA, que podrían haber influido en la disminución de la prevalencia de la notificación selectiva de resultados. El informe completo de los resultados en los resúmenes de revisiones sistemáticas se asocia con la significación estadística de los resultados. Sin embargo, la asociación entre la significación estadística y la notificación de resultados discordante es incierta⁵.

Implicaciones para la práctica

La práctica basada en la evidencia empodera a las enfermeras y amplía sus habilidades (amsn.org)⁶. Sin embargo, la inclusión y la notificación selectiva de resultados y conclusiones en las revisiones sistemáticas pueden tener importantes repercusiones en la práctica enfermera.

Los resultados de las revisiones sistemáticas se utilizan como base en la elaboración de guías para la práctica: por ejemplo, la Revisión Cochrane sobre la indicación de sustitución de un catéter venoso periférico que está relacionado directamente con la práctica enfermera⁷.

Los resultados de interés estaban relacionados con la bacteriemia relacionada con el catéter, flebitis y otros problemas asociados con catéteres periféricos, como la infección local y la obstrucción. Los hallazgos no mostraron diferencias entre los grupos en ninguno de estos resultados. Las organizaciones sanitarias pueden utilizar estos resultados como base para hacer cambios en la frecuencia y en la indicación de reemplazar estos catéteres. Si se ha producido una publicación selectiva o discrepante de los resultados es posible que se puedan perder datos clave que pueden influir en la decisión de mantener o cambiar la práctica de cuidados de catéteres.

Los autores de la revisión recomiendan estudios futuros sobre este tema. Esta revisión también plantea la necesidad de formar a las enfermeras en la evaluación de revisiones sistemáticas y metodología de investigación, incluida la evaluación de los estudios para detectar las deficiencias metodológicas y los errores en el informe de resultados y conclusiones.

La misión de Cochrane Nursing (CN) es apoyar el trabajo de Cochrane, incrementando el uso de su biblioteca, y proporcionar una base de evidencia internacional para las enfermeras y los profesionales de la salud involucrados en la atención, la dirección o la investigación de los cuidados enfermeros. La CN produce columnas Cochrane Corner (resúmenes de revisiones Cochrane recientes y relevantes para la atención enfermera) que se publican regularmente en las revistas colaboradoras del grupo relacionadas con la atención enfermera. Los autores originales y las citas completas de las revisiones Cochrane se especifican en cada columna. Estos resúmenes publicados llegan a un grupo mucho más amplio de enfermeras y agencias de salud relacionadas internacionalmente y permiten el acceso directo a resultados de evidencia altamente relevantes al que los trabajadores de salud a pie de cama tienen difícil acceso. La información sobre los procesos desarrollados por este grupo puede consultarse en: http://cncf.cochrane.org/evidence-transfer-program-review-summaries.