Si realizamos un estudio para saber si una nueva técnica quirúrgica es mejor que otra, tenemos que saber si las diferencias observadas entre ambas técnicas son debidas al azar o debidas a cuestiones de diseño y desarrollo del estudio para poder descartar explicaciones alternativas de los efectos observados. O al revés, si no observamos diferencias, estar seguros de que en realidad no existen porque realmente no hay una relación causal. Porque ante los resultados de un estudio nos tenemos que preguntar si son correctos, sin errores ni sesgos, si pueden ser atribuidos al azar y si son aplicables a otros contextos1.
Se definen dos tipos de validez de un estudio: validez interna y validez externa.
La validez interna valora el grado en que los resultados obtenidos en un estudio concreto son correctos para las persones estudiadas en este estudio. Nos determina si el resultado observado se puede atribuir a la nueva técnica quirúrgica evaluada. Hay dos errores principales que podrían amenazar la validez interna de un estudio. Son los sesgos (también llamados errores sistemáticos) y los errores aleatorios.
La validez externa (o generalización) valora el grado en que las conclusiones extraídas de un estudio se pueden extrapolar o generalizar más allá de la muestra de población estudiada. Depende del tamaño y características de la muestra y del contexto en el que se quiere aplicar.
La falta de validez interna influye negativamente en la calidad de la evidencia que puede derivarse de un estudio. Un estudio con validez interna pude o no tener validez externa, pero un estudio sin validez interna no puede tener validez externa.
Errores que limitan la validez internaErrores sistemáticosEl error sistemático es un error que consistentemente tiene lugar en cada medición. No es debido al azar ni depende del tamaño muestral. Aparece cuando se introduce un error en el diseño del trabajo, ya sea en la selección de los individuos, en la información recogida o en su análisis e interpretación. Los sesgos sistemáticos pueden dar lugar a una sobreestimación o subestimación del verdadero efecto de una intervención o tratamiento en estudio2.
Una de las clasificaciones más extendidas propone agrupar los sesgos en tres categorías generales: selección, información y confusión3.
Sesgo de selección: la muestra no representa la población diana que se quiere estudiar. Se presentan, principalmente, en los estudios de casos y controles y en los estudios retrospectivos de cohortes. Sin embargo, las pérdidas durante el seguimiento de los participantes en estos estudios también pueden dar lugar a un sesgo de selección en las cohortes prospectivas. Por otro lado, los ensayos clínicos controlados y aleatorizados (ECCA) también son susceptibles de sesgo de selección, dependiendo del momento en que se informa e invita al paciente, si antes o después de la aleatorización y de las posibilidades de dar el consentimiento informado4,5. No tener en cuenta a los pacientes que no dan el consentimiento y que forman parte de la tasa de no respuesta es otra causa de sesgo de selección. También lo es no tener en cuenta características que puedan estar asociadas al pronóstico. La aleatorización puede minimizar este problema.
Sesgo de información: errores no debidos al azar de mediación de la información. Ocurre cuando la información necesaria se recoge de forma sistemáticamente diferente entre los grupos de estudio. En esta categoría encontramos los sesgos del entrevistador, del entrevistado, de memoria, etc. Todos los diseños de estudio son susceptibles del sesgo de información.
Podemos introducir sesgos, por ejemplo, al prestar más atención a los pacientes operados con una nueva técnica y que esto derive en tener menos complicaciones o menos graves porque se detecten antes. O, contrariamente, que al estar más observados se detecten y registren más complicaciones. Si la manera de obtener o interpretar la información difiere en función del grupo de pacientes, especialmente si quien obtiene o quien da la información conoce las hipótesis y objetivos del estudio, hay posibilidad de sesgo de información. Un paciente que conoce el tratamiento que recibe puede estar más atento a efectos secundarios y reportarlos en mayor medida.
En parte estos sesgos se pueden evitar con buenos protocolos que definan de forma exhaustiva qué información hay que registrar y cómo, incluyendo técnicas de enmascaramiento, y aplicándolos exactamente igual para todos los participantes.
Sin embargo, los estudios en cirugía tienen dificultades añadidas propias de la disciplina6, como son la selección de un grupo control (a menudo se recorre a grupos históricos difícilmente comparables), la dificultad de dar placebo, la dificultad de realizar ensayos doble ciego, el efecto del cuidador o cuidados perioperatorios, la experiencia del cirujano, etc., entre otros7. Aunque existen estrategias para minimizar estos sesgos, como realizar operaciones simuladas, evaluación ciega de resultados o el uso de un segundo equipo quirúrgico, no siempre son posibles, por lo que debe buscarse un equilibrio entre el riesgo de sesgo y la factibilidad de realizar el estudio en las mejores condiciones posibles2.
ConfusiónLa confusión se produce cuando la asociación observada se debe, al menos en parte, a otras diferencias entre los grupos estudiados, distintas a la exposición o intervención bajo estudio, que afectan de forma independiente al riesgo de presentar el desenlace de interés. Se puede limitar durante el diseño del estudio utilizando técnicas que eviten desequilibrios entre los grupos estudiados en aquellas variables que pueden ser confusoras. El emparejamiento, la restricción y especialmente la aleatorización son herramientas para prevenir la confusión en el diseño de un estudio. Y el análisis estratificado y el análisis multivariante permiten controlarlo en el análisis.
Errores aleatorios y fiabilidadEl error aleatorio se debe a que se trabaja con muestras de individuos y no con toda la población. Procede de la variabilidad inherente al muestreo y depende del tamaño de la muestra: cuando este aumenta, el error disminuye. La estadística permite cuantificar el error aleatorio y hablamos de potencia estadística.
Validez externaLa validez externa se refiere a la medida en que los resultados de los ensayos o estudios observacionales proporcionan una base correcta para la generalización a otras poblaciones o a otras circunstancias clínicas. La validez interna es un requisito previo para la validez externa. Los resultados de un estudio válido internamente pueden no ser aplicables en otras poblaciones, bien porque la muestra no es representativa debido a sesgos o restricciones en criterios de inclusión, bien porque las condiciones metodológicas de estudio no pueden replicarse fácilmente en la práctica habitual o por otros factores como la relación médico-paciente, la información que este tiene sobre el tratamiento que está recibiendo o por sus valores y preferencias. Además, las personas (pacientes e investigadores) reaccionan de modo diferente cuando observan o son observados en el contexto de un estudio que cuando se encuentran en condiciones normales8,9. Otros problemas que limitan la generalización de resultados son los debidos a factores que afectan a la interpretación e incorporación de la evidencia en la toma de decisiones, tal como han descrito García-Alamino y López Cano en su carta metodológica (publicación pendiente en Cirugía Española).
ConclusionesLa evaluación de la validez interna implica descartar fuentes de sesgo y errores aleatorios y tiene que ver con la calidad metodológica. La validez externa se ocupa de valorar la aplicabilidad de los resultados a la población del mundo real, e incluye aspectos metodológicos, pero también del entorno o contexto. Para mejorar la calidad de los estudios se han elaborado guías de comprobación (reporting guidelines), entre las que destacan: declaración CONSORT (para ensayos clínicos), PRISMA (para revisiones sistemáticas), QUADAS y START (para pruebas diagnósticas) y STROBE (para investigación observacional). Existen nuevas propuestas, algunas en fase de validación, adaptadas a ámbitos específicos de investigación, incluyendo la cirugía.
