En una reciente evaluación del aprendizaje en entornos de simulación1, mediante un diseño pretest-postest, sus resultados respaldan el efecto adaptativo de la exposición a escenarios de simulación clínica. Sin embargo, su diseño analítico únicamente enfatizó la significación estadística como evidencia de sus conclusiones, y esta puede ponerse en cuestionamiento. Efectivamente, en diseños pretest-postest, la prueba t de Student para muestras dependientes es la opción más habitual2, pero su resultado solo se centra en la prueba de significación respecto a la hipótesis nula. Este resultado no es suficiente para comprender y describir apropiadamente el cambio de los puntajes, pues es más importante obtener una medida de la magnitud de la diferencia3–5. Esta es una medida directa del parámetro que se investiga (en este caso, la diferencia entre puntajes), mientras que la significación estadística (p<0.05) se relaciona con la fortaleza de rechazar de la hipótesis nula3,5.
Para reanalizar los resultados de Fernández-Ayus1, se usaron dos indicadores: la diferencia estandarizada dav6, definida como la diferencia entre las medias en el pretest y postest (Mpre y Mpost, respectivamente), y dividido sobre el promedio de la desviación estándar de cada grupo (DEpre y DEpost); y la respuesta media estandarizada (standardized mean response –SRM7–)2,7–9. La información para calcular este indicador se halla en la tabla 2 del artículo de Fernández-Ayus. Otros enfoques requieren la correlación entre los puntajes pretest y postest2,7–9 y pueden dar información más precisa; pero los resultados correlacionales no se reportan en Fernández-Ayus, y por lo tanto no pueden calcularse. Los resultados de este reanálisis aparecen en nuestra tabla 1.
Magnitud del efecto en las diferencias pretest-postest
Se calcularon dos métodos (dav y SRM) pues sus estimaciones pueden discrepar de acuerdo a su formulación estadística2. Se observa que, en las diferencias identificadas como estadísticamente significativas (antes-después, caso 1 de su tabla 1 y 2; Fernández-Ayus), la magnitud de la diferencia entre ambos puede considerarse moderada10,11. Este grado de diferencia entre las dos condiciones no parecen impresionantes, si se compara con la idea que puede transmitir la afirmación que las diferencias son «significativas», y con la eficacia ideal de un tratamiento. En el contexto del estudio realizado, no obstante, la magnitud de las diferencias debe ser evaluada por la magnitud modal de estas diferencias que se reportan en similares diseños, objetivos y participantes de investigación. Es posible que esta diferencia hallada sea grande en este específico contexto, pero en cualquier situación, esta será mejor evaluada con la magnitud práctica de las diferencias y no con la significación estadística.
Responsabilidades éticasProtección de personas y animalesLos autores declaran que para esta investigación no se han realizado experimentos en seres humanos ni en animales.
Confidencialidad de los datosLos autores declaran que han seguido los protocolos de su centro de trabajo sobre la publicación de datos de pacientes.
Derecho a la privacidad y consentimiento informadoLos autores declaran que en este artículo no aparecen datos de pacientes.
La revisión por pares es responsabilidad de la Universidad Nacional Autónoma de México.