«Si no puedes medirlo, no puedes mejorarlo» «A veces las mentes más brillantes e inteligentes no brillan en los exámenes estandarizados, porque no tienen mentes estandarizadas» «En Dios confío, todos los demás deben traer datos»
Como profesores de medicina frecuentemente aplicamos exámenes sorpresa a nuestros estudiantes, generalmente de «bajas consecuencias» (cuentan, pero no mucho, para la calificación final), con el argumento de que siempre tienen que estudiar para la clase o revisar los temas relativos a los pacientes hospitalizados en su servicio. Lo hacemos como un pequeño incentivo para que estudien, darnos cuenta de «cómo van» y si realmente saben lo que se supone que saben para el nivel educativo en el que se encuentran. Este tipo de exámenes, si bien son hechos con la mejor de las intenciones (contrario a lo que piensan algunos estudiantes, los profesores que desean hacerlos sufrir y sentir inferiores son una minoría), adolecen de múltiples defectos desde el punto de vista técnico de evaluación educativa. Los médicos habitualmente no revisamos libros de texto de evaluación, artículos originales de investigación de dicha disciplina, ni consultamos con profesionales de medición educativa para hacer nuestros exámenes «caseros» en la escuela de medicina o en el hospital, por lo que si realizáramos un análisis de la evidencia de validez y confiabilidad de dichas pruebas, es muy probable (como se ha demostrado en la literatura) que la confiabilidad sea baja o moderada, y que la validez de las inferencias que hacemos de los resultados sea por lo menos cuestionable.
Nos hemos acostumbramos a realizar y aplicar exámenes de calidad relativamente baja o moderada, que perpetúan la percepción de que la evaluación es algo que no requiere gran sapiencia. ¿Cuándo fue la última vez que usted fue examinado?, conforme progresamos en edad y experiencia los médicos nos resistimos a ser evaluados de nuevo con exámenes, ya que hemos sido «vacunados» con decenas de instrumentos de todo tipo a lo largo de nuestra formación. El último examen que presenté como sustentante fue el de la Educational Commission for Foreign Medical Graduates (ECFMG) de los Estados Unidos de América en 1992, para realizar estudios de posgrado en ese país. Las memorias no son muy gratas: tuve que estudiar todos los temas de medicina general otra vez (a pesar de que en esa época ya era pediatra); pagar una tarifa exorbitante en dólares por el derecho a presentar el examen; comprar varios libros en inglés para prepararme; practicar con recursos de exámenes de opción múltiple para acostumbrarme al formato del examen; contestar el examen en condiciones de seguridad extrema y viajar mentalmente al pasado para sentirme de nuevo vulnerable como «alumno» durante la aplicación; salir del examen con una sensación de incertidumbre, sin estar seguro de cómo me había ido; esperar varias semanas con ansiedad los resultados. Afortunadamente recibí con alegría un reporte positivo de mi desempeño, pero no me quedé con ganas de presentar otro examen si estaba en mí decidirlo.
A este tipo de exámenes se les ha llamado en inglés «high-stakes», en el sentido de que el sustentante «se juega todo» al presentar el examen (ya que el término «stakes» en inglés se refiere a las apuestas, al juego de azar, al concurso). Si no se aprueba hay una consecuencia muy importante para el que lo contesta, como en los exámenes de fin de curso. En español se han usado los términos «examen de alto impacto» o de «altas consecuencias», por el importante efecto y costo que tiene para las personas el acreditar o no un resultado suficiente. Desde su inicio han generado una controversia impresionante en todos los ámbitos, incluyendo el educativo. En este número incluimos una revisión de las implicaciones educativas de este tipo de exámenes, haciendo un esfuerzo por identificar estudios publicados con metodología de investigación apropiada para obtener conclusiones firmes. En las publicaciones anglosajonas hay una gran cantidad de documentos, la mayoría opiniones y críticas del tema. En los países hispanoparlantes hay menor cantidad de artículos, pero de igual manera casi todos son opiniones, anécdotas o críticas, que reflejan el punto de vista de quien las escribe aportando pocos datos originales analizados con metodología rigurosa.
La escasez de evidencia científica publicada sobre el tema de los exámenes de alto impacto se puede deber a varias razones, una de ellas es la dificultad de obtener evidencia de las consecuencias de las evaluaciones. Consecuencia implica relación causa-efecto, y la mayoría de los estudios realizados sobre el tema de los exámenes de altas consecuencias no se han realizado con una metodología que permita a los académicos obtener inferencias sólidas (habitualmente son encuestas de profesores o directivos), por lo que siempre se cuestionarán las conclusiones en términos de causalidad. Por otra parte, es difícil pedirle a las escuelas y a los directivos de las universidades (y hospitales en el caso de medicina) que permitan hacer estudios experimentales de evaluación en sus instituciones, con el riesgo de recibir reportes negativos. Además es complicado definir las variables dependientes y los criterios de medición en estudios sobre exámenes, y no es fácil obtener financiamiento intra y extramuros para realizar investigación sobre estos temas en nuestro medio.
Como pocas cosas en educación, las opiniones sobre exámenes estandarizados de alto impacto reflejan una polarización intensa entre académicos y docentes en la práctica, desde el extremo de decir que son la única manera de obtener la verdad y mejorar la calidad de la educación (como indica la cita de Lord Kelvin al inicio de esta editorial), hasta el otro de afirmar que son la peor maldición que ha caído sobre la educación de nuestros estudiantes (congruente con la cita de Diane Ravitch). Si los resultados de estos exámenes van ligados a incentivos económicos o laborales puede distorsionarse el proceso educativo, por lo que hay que actuar con profesionalismo y prudencia en su planeación, diseño, implementación, análisis y reporte. Parte del problema es la limitada cultura sobre evaluación educativa de la sociedad en general, y la falta de incentivos para realizar estos procesos con excelencia en el trabajo del día a día en hospitales y universidades. Esperamos que el artículo de revisión sea de utilidad para nuestros lectores, y provoque reflexiones y líneas de investigación sobre el tema en nuestro medio.
En este primer número de 2017 incluimos 7 artículos originales de diversas partes del mundo, México, Australia, y Chile: un trabajo sobre las preferencias de carrera de estudiantes que eligen rotaciones rurales; la calidad de reanimación cardiopulmonar en médicos residentes, que revela la imperiosa necesidad de mejorar el adiestramiento en esta área crítica de la atención médica hospitalaria; la actividad física y su relación con la adaptación escolar en la escuela de medicina, es paradójico que la población de estudiantes universitarios que menos ejercicio hace es con frecuencia la de la carrera de medicina; una experiencia interesante del uso de estudiantes como tutores pares de sesiones de aprendizaje basado en problemas, ya que una de las grandes limitaciones para la diseminación de esta estrategia educativa en nuestro medio es la escasez y disponibilidad limitada de profesores capacitados; un trabajo sobre obtención de validez y confiabilidad de unos instrumentos para evaluar la calidad de vida en médicos residentes mexicanos; un estudio sobre la ansiedad en estudiantes de medicina antes de iniciar el internado médico de pregrado; y por último, un estudio de desarrollo y obtención de evidencia de validez de un instrumento para evaluar reactivos de opción múltiple en medicina, relevante para el artículo de revisión de este número sobre exámenes de alto impacto. Hagamos caso a la cita de Deming, y traigamos datos a la mesa de la educación médica a través de trabajos de investigación bien hechos con relevancia local.
La revisión por pares es responsabilidad de la Universidad Nacional Autónoma de México.