La calidad de los estudios es el talón de Aquiles de una revisión sistemática; las conclusiones obtenidas a partir de estudios realizados con escaso rigor científico no pueden tener el mismo valor que las que se apoyan en estudios correctamente realizados1,2. La calidad de un estudio integra múltiples componentes, desde la justificación hasta las conclusiones, pasando, por supuesto, por el desarrollo metodológico.

Los componentes evaluados con mayor frecuencia son las medidas empleadas para minimizar el sesgo y garantizar la adecuación del diseño del estudio, su realización y análisis. Generalmente se establece un umbral específico para definir el tipo de diseño más débil que se aceptará en el proceso de evaluación, garantizando así un nivel mínimo de calidad para todos los estudios incluidos en la revisión sistemática. Una vez seleccionados los estudios que cumplen los criterios de inclusión, incluyendo una calidad aceptable en el diseño, se analizará en profundidad la calidad de cada uno de ellos. El uso de listas de comprobación facilita la evaluación de la calidad de los estudios o, dicho de otra forma, la evaluación del riesgo de sesgo. El objetivo es evaluar las características del estudio en cuanto a su diseño, ejecución y análisis, determinar el riesgo de sesgo y obtener un parámetro que califique o cuantifique la calidad de la evidencia de una manera más precisa. En la tabla 1 se incluye un breve glosario en el que se definen los términos específicos relacionados con la evaluación de calidad de los estudios incluidos en una revisión sistemática.

La evaluación de la calidad metodológica se basa en la valoración de las características del diseño, su ejecución y análisis. Se utilizan listas de comprobación y existen multitud de herramientas publicadas para ello o, en definitiva, para la evaluación del riesgo de sesgo, en las que se pueden identificar los elementos anteriores. Parte de las listas de comprobación disponibles establecen una escala numérica con el objetivo de asignar una puntuación cuantitativa de la calidad de cada estudio; otras clasifican los estudios en subgrupos según su calidad sea «alta», «media» o «baja», de acuerdo con el grado en el que se cumplen los criterios de calidad. Algunas de estas listas de comprobación carecen del rigor científico necesario. Por este motivo, es preciso examinar si todos los elementos de las listas publicadas son pertinentes o si se consideran otros que, al ser relevantes para la revisión en curso, los investigadores consideran que deberían incluirse. De hecho, es probable que los valores numéricos asignados a cada elemento, o la arbitrariedad de los criterios que establecen la dicotomía «alta o baja» para evaluar la calidad, no se ajusten a las necesidades del proyecto. En algunos casos, es posible encontrar listas que no necesitan modificación alguna, puesto que evalúan con precisión la calidad de los estudios de una materia concreta. Sin duda, esto ayudará a mejorar la comparabilidad con otros estudios sobre el mismo tema. No obstante, teniendo en cuenta la complejidad de la evaluación, con frecuencia es preferible, e incluso altamente recomendable, adaptar las listas existentes a las características de la revisión, considerando la naturaleza de la pregunta formulada al inicio.

¿Cómo se pueden reconocer los elementos adecuados para la evaluación? Hay que tener en cuenta que los estudios pertinentes son susceptibles de presentar sesgos específicos, relacionados con el modo en el que se obtuvieron y analizaron los datos. En estos casos será necesario plantearse la posibilidad de modificar una lista de comprobación genérica para incluir los elementos adicionales que se consideren apropiados y excluir aquellos que sean prescindibles. Suele resultar útil consultar las guías publicadas acerca de cómo valorar críticamente las publicaciones en materia de salud (tabla 2).

La mayor parte de las listas de comprobación consideran varios sesgos genéricos3-5. En este subapartado se tratarán 4tipos de sesgos que tienen un impacto sobre la validez de un estudio: sesgo de selección, sesgo de ejecución, sesgo de clasificación o sesgo de información (diagnóstico) y sesgo de deserción (pérdidas) (fig. 1).

Figura 1.

Flujo de un estudio con los sesgos principales.

(0.43MB).

Para garantizar la validez de un estudio que mide la eficacia de una intervención, es imprescindible, en primer lugar, que los grupos de comparación sean razonablemente iguales al inicio del estudio. Si los grupos de comparación presentan una distribución desigual de las características relacionadas con el pronóstico, no se podrá saber si el efecto detectado sobre el desenlace puede atribuirse o no a la intervención, podría deberse exclusivamente a las diferencias iniciales en el pronóstico. Técnicamente, esto se debe a la presencia de sesgos de confusión introducidos por una mala selección de los participantes. El sesgo de selección surge, en los estudios observacionales, al reclutar los participantes, y en los estudios experimentales, en el momento de asignar los participantes a los grupos de estudio. La valoración de este sesgo requiere comprobar si se han tomado las medidas necesarias para minimizarlo o, si es posible, evitarlo. Al realizar una revisión sistemática, se tiende a preferir los estudios experimentales con asignación aleatoria de los participantes. La aleatorización es el mecanismo preferido para controlar los sesgos de confusión, incluso los introducidos por variables desconocidas, o no medidas, relacionadas con el pronóstico.

Una vez asignados los participantes, las intervenciones o las exposiciones que no formen parte de la investigación pueden introducir nuevos sesgos, llamados sesgos de ejecución o de cointervención. Para detectarlos, es necesario evaluar si los planes de tratamiento estaban correctamente estandarizados y si los participantes y los investigadores ignoran el grupo (experimental o control) al que están asignados.

El sesgo de clasificación está presente, sobre todo cuando los desenlaces evaluados se miden de forma subjetiva y si los participantes y los evaluadores que determinan la presencia o no del desenlace conocen el grupo de asignación. Por otra parte, si los estudios seleccionados valoran diferentes desenlaces, hay que estar atento a la prioridad de cada uno de ellos6,7. En ocasiones, tanto autores como editores se decantan por la publicación de resultados estadísticamente significativos en lugar de respetar el orden de importancia de los posibles desenlaces descrito en el protocolo. Estas desviaciones del protocolo son indicios de estudios de baja calidad, que solo se pueden evaluar cuando el protocolo está previamente registrado. Esta es una de las razones para que tanto el registro prospectivo como la publicación del protocolo se consideren de gran utilidad para evaluar la calidad de una investigación.

Las pérdidas o abandonos del estudio implican que los grupos dejan de ser comparables. Se conoce como sesgo de deserción. Recoger los datos de todos los participantes permite realizar un análisis por intención de tratar (ITT, por sus siglas en inglés), que ayuda a controlar el efecto del sesgo de deserción. Los desenlaces que presentan los participantes se analizan según el grupo al que fueron asignados, sin tener en cuenta si siguieron o no la intervención hasta el final, cambiaron de grupo o abandonaron el estudio antes de completarlo. Si los estudios seleccionados no analizan sus datos de esta forma, es posible realizar un análisis complementario siempre que los autores proporcionen una descripción de los abandonos y pérdidas con información suficiente para estimar los desenlaces que se presentaron entre ellos, cualquiera que sea el motivo por el que salieron del estudio. Sin esta información no sería posible realizar este tipo de análisis, pero siempre se puede hacer un análisis de sensibilidad mediante el que se valora como cambiarían los resultados atribuyendo el mejor o peor efecto posible a las observaciones ausentes. La figura 2 contiene un ejemplo de evaluación de calidad de los estudios incluidos en una revisión sistemática8.

Figura 2.

Tabulación y construcción de un diagrama para presentar los componentes de calidad de los estudios incluidos en una revisión sistemática.

(0.44MB).

En el pasado se consideraron aceptables exclusivamente las revisiones sistemáticas de ensayos aleatorizados controlados. Sin embargo, son muchas las ocasiones en las que no se dispone de este tipo de estudios, bien porque no serían factibles o bien porque hasta la fecha no se han realizado. En estos casos puede ser muy útil la revisión sistemática de estudios observacionales, pero también se pueden incluir diferentes diseños cuando la pregunta de investigación así lo requiere. Por ejemplo, si el objetivo se centra solo en la evaluación de la eficacia de una intervención será preferible centrarse en ensayos aleatorizados y controlados, pero si al mismo tiempo se pretende evaluar los efectos adversos de dicha intervención, habrá que incluir estudios de cohortes e incluso estudios de casos y controles cuando se trata de efectos adversos poco frecuentes. La evaluación de la calidad de estos estudios requerirá diferentes listas de comprobación, adaptadas a las peculiaridades, y en particular al riesgo de sesgo específico de cada uno de los diseños incluidos.

Dadas las diferencias en la precisión con la que se presenta la información en los diferentes estudios, el protocolo de la revisión debería describir con claridad cómo se va a evaluar la calidad. Esto implica la creación de formularios de extracción de datos con una codificación coherente de las respuestas. A ser posible, los formularios deberían pasar por una fase piloto ejecutada de forma independiente por varios revisores. Contrastando los datos recogidos por cada uno de ellos se puede estimar la fiabilidad del proceso de evaluación de la calidad en una muestra de estudios, antes de aplicar dicho formulario a la totalidad de ellos. Para que esto sea posible, lo idóneo es realizar el proyecto en colaboración con otros coautores.

Existen diversas formas de presentar la información acerca de cómo los estudios incluidos en la revisión se adecuan a los componentes de calidad incluidos en la lista de comprobación. La elaboración de una tabla en la que se recoja la información aportada por cada uno de los estudios es la más clara. Ordenar los estudios de acuerdo con su calidad resulta más complejo. La manera más sencilla es realizar una clasificación en función del número de componentes que cumplan. Los problemas surgen cuando los estudios cumplen con el mismo número de componentes, pero las deficiencias se encuentran en distintas áreas. En estos casos, los estudios cuyas deficiencias sugieran un mayor potencial de sesgo deben ocupar un grado más bajo en la clasificación. Es importante tener en cuenta que no existe ningún criterio universal a la hora de clasificar los estudios, la relevancia de los distintos componentes de calidad puede diferir entre tema y tema. Por ejemplo, el enmascaramiento es esencial en estudios con desenlaces subjetivos, pero no tanto en los que se basan en desenlaces objetivos. Es por eso que, en cada revisión, los investigadores deben ser capaces de decidir cómo clasificar los estudios, según su calidad, en un contexto propio.

Ante la diversidad de los estudios hallados en el segundo paso de una revisión sistemática, es vital utilizar una lista de comprobación de la calidad de los estudios adecuada a cada proyecto. Asimismo, es fundamental la identificación de los sesgos más probables en cada uno de los diseños incluidos, esto va a suponer una gran ventaja para evaluar posteriormente su calidad. Se recomienda tabular los datos extraídos en la evaluación de calidad con el objetivo de poder clasificar con rigor los estudios en función del grado de cumplimiento de los componentes de calidad definidos a priori.

Los autores no han recibido ningún tipo de financiación para la elaboración de este documento.

Todos los autores declaran no tener ningún conflicto de intereses relacionado con este manuscrito.