Uno de los principales retos en educación médica se encuentra en ofrecer una evaluación confiable, precisa, objetiva y auténtica. Particularmente la evaluación de competencias interpersonales, la presencia de múltiples evaluadores favorece la percepción de estos principios por parte del estudiante evaluado. El objetivo de esta investigación fue diseñar un modelo de evaluación innovador, que integre como elementos distintivos el uso de tecnología inmersiva, una estandarización de instrumentos de evaluación, integración de múltiples evaluadores y la posibilidad realizar una valoración remota en tiempo real o diferido.
Material y métodosSe realizó un estudio cuantitativo, descriptivo y transversal con una muestra de 51 estudiantes del segundo año de la carrera de medicina de una universidad mexicana. Participaron en la simulación de un caso clínico con un paciente estandarizado, siendo evaluados de forma presencial y remota por 15 profesores de 3 diferentes universidades. Se utilizó estadística descriptiva para valorar las tendencias por cada elemento incluido.
ResultadosLos resultados más favorables se encuentran en el momento del inicio del encuentro con una media de 1,364, siendo más alto particularmente en los elementos de formalidad, con media de 1,636 y modales con media de 1,400. El desempeño menos favorable se encontró durante el encuentro, con media de 0,856, siendo de especial interés el demostrado durante la exploración con media de 0,818.
DiscusiónEl uso de tecnologías inmersivas permite hacer una evaluación confiable, precisa, objetiva y auténtica a través de la estandarización de instrumentos de evaluación, con la posibilidad de integrar múltiples evaluadores de forma presencial y a distancia. Esta iniciativa permitió una colaboración interinstitucional para el análisis de los estándares del currículo, a través de distintas regiones geográficas y culturas.
One of the main challenges in medical education is to offer an assessment that is reliable, accurate, objective, and authentic. Particularly in interpersonal skills, and having multiple observers, it benefits the student's perception of these principles. The aim of this project was to design and implement an assessment model that integrates the distinctive elements of the use of immersive technology, standardisation of evaluation tools, multiple observers, and remote assessment.
Material and methodsA quantitative, descriptive and cross-sectional study was conducted with a sample of 51 second year medical students from a Mexican university. They participated in the simulation of a clinical case with a standardised patient, being assessed by 15 teachers from 3 different universities. Descriptive statistics were used to assess trends for each measurement included in the study.
ResultsThe best results were obtained at the beginning of the medical encounter, with a mean of 1.364. The elements that were particularly high were formality with a mean of 1.636, and manners with 0.856. The least favourable results were obtained during the encounter, the one obtained in the physical examination being of particular interest, with a mean of 0.818.
DiscussionThe use of immersive technologies helps to provide a reliable, accurate, objective, and authentic evaluation through the standardisation of the evaluation tools, with the possibility of the integration of multi-assessors on site, or remotely. This initiative led to an inter-institutional collaboration for the analysis of curriculum standards across different geographic regions and cultures.
La enseñanza en el entorno clínico requiere un enfoque integral centrado en el paciente, donde el estudiante debe demostrar el proceso cognitivo de identificar signos y síntomas, el trato digno y humano del paciente y su familia, y la selección de un tratamiento efectivo. Evidenciar esta capacidad de los alumnos para desempeñarse como médicos competentes al egresar de sus programas profesionales representa un verdadero reto, y en ocasiones se convierte en una tarea altamente compleja para las universidades y hospitales. El método tradicional de evaluación en la adquisición de habilidades clínicas cuenta con 3 propósitos: dirigir y motivar el aprendizaje futuro1, clasificar médicos competentes para garantizar a la sociedad la seguridad del paciente y la calidad de la atención clínica y definir estrategias de aprendizaje para entrenamiento avanzado2, por lo que la recolección sistemática de evidencias del progreso de los estudiantes es una tarea crucial. Algunos de los métodos más usados para la evaluación contemplan la evaluación a través de exámenes escritos, el desarrollo de un proyecto mediante la técnica de aprendizaje basado en problemas o la demostración de destrezas técnicas; sin embargo, una de las habilidades más difíciles de evaluar en estos formatos son las competencias interpersonales, como es la empatía, el profesionalismo y la relación médico paciente. Por este motivo se incorporan formatos que utilizan la simulación clínica como una herramienta donde el alumno puede demostrar el dominio de esta competencia.
Uno de los principales retos en educación médica se encuentra en ofrecer una evaluación confiable, precisa, objetiva y auténtica, que clasifique el desempeño del alumno en diferentes niveles de competencia, acorde con su nivel de desarrollo profesional3. De acuerdo con Valdez, López y Ríos3, una evaluación confiable se refiere a que el instrumento está recolectando evidencia del desarrollo de la competencia para el cual fue diseñado; precisa se refiere a que exista una liga entre la instrucción y la evaluación; objetiva a que no se tienen influencias de sesgos, prejuicios o tratos diferenciados y auténtica se refiere a que está asociada a los dominios de la vida real, durante la ejecución y en la evaluación.
VirtualidadLas tecnologías inmersivas son aquellas que generan una imagen tridimensional, la cual da la sensación al usuario de estar dentro de un medioambiente o una imagen; estas son conocidas como realidad virtual (RV) y aumentada, las cuales representan una creciente área de investigación dentro del campo médico. La RV ha sido aplicada en diferentes escenarios clínicos, como simuladores quirúrgicos, tratamiento de fobias, autismo, manejo del dolor, telemedicina y cirugías. Múltiples estudios y ensayos clínicos han demostrado que el entrenamiento con simuladores de RV mejora significativamente el rendimiento de las habilidades clínicas en el entorno clínico4. La incorporación de estas tecnologías emergentes acentúa la importancia de aportar cohesión y profundidad sin precedentes a la formación médica. Su uso, además, cumple el objetivo de ofrecer una oportunidad de entrenamiento en un ambiente seguro y controlado, donde el estudiante puede repetir la práctica hasta el dominio de una habilidad. Más allá de la memorización del material, esto favorece que la curiosidad sea el catalizador de su experiencia educativa.
Estas tecnologías representan una incorporación importante al proceso enseñanza-aprendizaje, ya que permiten la visualización tridimensional de conceptos abstractos y de difícil comprensión5. La oportunidad de utilizar lentes o visores para presenciar escenas, objetos y eventos, como si el usuario estuviera participando inmerso en la experiencia, es uno de los atractivos de esta herramienta. Algunos productos disponibles en el mercado son utilizados para el entrenamiento de habilidades complejas de endoscopia o laparoscopia, telemedicina y la comprensión de conceptos abstractos de anatomía6. La integración de estos ambientes se describe, de acuerdo al modo en que surge la interacción, como inmersivos y no inmersivos. La primera se refiere a aquellos donde el participante está completamente sumergido a través de la interacción de dispositivos especializados como los visores y los sensores hápticos. La no inmersiva se refiere a la interacción mediante dispositivos comunes que forman parte de un ordenador, como el ratón o el teclado.
ObjetivoEl propósito de esta investigación fue diseñar un modelo innovador de evaluación que integre como elementos distintivos: uso de tecnología inmersiva, estandarización de instrumentos de evaluación, múltiples evaluadores y que permitiera hacer una valoración remota, a fin de garantizar que sea confiable, precisa, objetiva y auténtica.
Material y métodosDiseñoSe realizó un estudio cuantitativo, descriptivo y transversal. Es un estudio cuantitativo al aproximarse con un enfoque positivista, para estructurar un fenómeno en variables medibles. El acercamiento descriptivo permite realizar una observación a fin de registrar los acontecimientos de forma sistemática, asignando valores a cada uno de los elementos teóricos del modelo. Es de carácter transversal al presentar la información en un momento determinado, en este caso en un encuentro clínico simulado.
MuestraSe contó con una muestra de 51 estudiantes del segundo año de la carrera de medicina de una universidad mexicana. Participaron en la simulación de un caso clínico con paciente estandarizado, siendo evaluados de forma presencial y remota por 15 profesores de 3 diferentes universidades. El tener múltiples evaluadores de diferentes universidades permite reducir la subjetividad en los resultados, además de que el valorador no es parte del proceso enseñanza-aprendizaje, no tiene una relación previa con el estudiante. Los profesores se conectaron en un horario definido para participar de manera sincrónica, no solamente en la evaluación sino en la retroalimentación del desempeño del estudiante. Esta valoración en línea en tiempo real representó un reto logístico para los requerimientos mínimos de la operación; sin embargo, agregó realismo y autenticidad a la experiencia. Este modelo se presenta en la figura 1.
Instrumentos
Los instrumentos de evaluación definen criterios observables claros para la valoración de la competencia, con el fin de que los alumnos perciban una evaluación justa, válida y confiable7. Para esta experiencia se integró un instrumento en función de los momentos del encuentro clínico de Gazitúa8: inicio, durante y final. En estos se definieron 7 elementos evaluables: formalidad, actitudes, desempeño y modales para la parte de inicio; interrogatorio y exploración, durante; y conclusión para la parte final. Esta rúbrica cataloga en 3 niveles de desempeño: 1) insuficiente; 2) necesita mejorar; y 3)competente. Se utilizó estadística descriptiva para valorar las tendencias por cada uno de los elementos, los cuales se presentan en la tabla 1.
Instrumento para la evaluación del encuentro clínico
| Momentos del encuentro | Actividad o conducta observable | |
|---|---|---|
| Inicio | Formalidad | Porta la vestimenta (ropa formal, bata y estetoscopio) |
| Actitudes | Demuestra actitud de servicio | |
| Demuestra seguridad en sí mismo y serenidad | ||
| Brinda su atención constante al paciente | ||
| Desempeño | En general el desempeño del médico fue bueno | |
| Modales | Establece y mantiene contacto visual | |
| Prepara material para la consulta (interrogatorio y exploración) | ||
| Sale al encuentro del paciente a la puerta del consultorio | ||
| Saluda al paciente | ||
| Se presenta con el paciente | ||
| Durante | Interrogatorio | Solicita a familiares del paciente a que abandonen la sala antes de realizar el interrogatorio |
| Pregunta su nombre al paciente | ||
| Pregunta el motivo de consulta | ||
| Explica al paciente el objetivo del interrogatorio | ||
| Realiza preguntas abiertas que invitan al diálogo al paciente | ||
| Realiza anotaciones en la historia médica del paciente | ||
| Exploración | Realiza lavado de manos antes de exploración | |
| Respeta medidas de protección (seguridad de la atención) | ||
| Explica la razón de la exploración, así como el procedimiento de cómo, dónde y con qué | ||
| Cuida el pudor del paciente | ||
| Descubre solamente la zona que va a explorar | ||
| Realiza lavado de manos después de la exploración | ||
| Final | Conclusión | Llega a un diagnóstico basado en síndromes y semiología |
| Explica el diagnóstico al paciente | ||
| Explica el plan de manejo inicial | ||
| Se despide del paciente | ||
| Acompaña al paciente y/o familiares a la salida del consultorio |
Este estudio se realizó en 3 fases: diseño, implementación y evaluación de la implementación. La fase de diseño contempló el planteamiento de una configuración que permitiera realizar la valoración con el uso de tecnología inmersiva y la estandarización de instrumentos de evaluación. La relación entre los principios de evaluación y los elementos distintivos se presenta en la tabla 2. El uso de tecnología inmersiva integra la gama de productos Google en un dispositivo móvil, y los lentes de realidad virtual para ver un caso clínico sin la necesidad de estar presente. Esto les permite sentirse en el centro del caso clínico que se está llevando a cabo, y poder ser parte de esta experiencia.
La fase de implementación de esta experiencia contempló el involucramiento de múltiples evaluadores y la valoración a distancia. Esta se realizó en el mes de junio de 2017, con 51 estudiantes del cuarto semestre de la licenciatura en medicina general de una universidad privada mexicana que participaron en el curso de clínica propedéutica. La práctica utilizada en el entorno simulado comprendió el manejo de un caso de vías aéreas superiores con un paciente estandarizado. El caso es de un varón de 35 años, profesor universitario, el cual acude al facultativo ya que presenta disnea progresiva desde hace 3 días con accesos de tos por las noches, la cual llega a impedirle el sueño e incluso limita la actividad física.
La evaluación a distancia se realizó en un formato de vídeo en vivo (livestream) a fin de permitir la valoración y crítica por profesores, e incluso por otros estudiantes en tiempo real. Esto se logró mediante el empleo de 3 cámaras web conectadas a un ordenador portátil, el cual mediante el software OBS con el fin de realizar una transmisión de vídeo en 3 secciones, permite que mediante la plataforma de YouTube se generen imágenes de vídeo en realidad virtual y una visión en 360°.
Para la fase de evaluación de la implementación se contempla el análisis de cada elemento distintivo y su impacto en los principios de la evaluación. Se utilizó estadística descriptiva para valorar las tendencias por cada elemento incluido.
ResultadosEl mejor desempeño se encontró en el componente de inicio del encuentro, específicamente en la formalidad, la cual obtuvo una media de 1,64. Esto se refiere a la descripción de cómo acuden vestidos y los modales que demuestran al presentarse con el paciente, por ejemplo, al solicitar su nombre. El desempeño menos favorable se observó en los criterios de la exploración, con una media de 0,81. En el piloto el estudiante no explica su actuación ni cada una de las maniobras al paciente, y demuestra desconocimiento sobre las pruebas de laboratorio y gabinete. Las tendencias obtenidas en el instrumento se presentan en la tabla 3.
Resultados de la valoración general de estudiante
| Momentos del encuentro | Elementos | Media | Desviación estándar |
|---|---|---|---|
| Inicio | Formalidad | 1,636 | 0,505 |
| Actitudes | 1,333 | 0,692 | |
| Desempeño | 1,000 | 0,894 | |
| Modales | 1,400 | 0,735 | |
| Total | 1,364 | 0,726 | |
| Durante | Interrogatorio | 0,894 | 0,862 |
| Exploración | 0,818 | 0,858 | |
| Total | 0,856 | 0,857 | |
| Final | Conclusión | 1,109 | 0,896 |
| Total | 1,109 | 0,896 |
El uso de tecnología de RV permitió que el profesor experimentara de manera simulada estar presente durante el proceso de evaluación. Aún existen algunos elementos técnicos que requieren mejorarse en el proceso, como: la calidad del audio y de los visores 3D. Sobre el instrumento de evaluación, los participantes sugieren incluir elementos de las metas internacionales de seguridad del paciente, específicamente aquellas destinadas a la comunicación efectiva y la reducción del riesgo de infecciones mediante el lavado de manos9. En relación con los múltiples evaluadores un reto fue integrar horarios para que todos participaran en la retroalimentación, por lo que algunos la otorgaron posterior al encuentro. Sobre la evaluación remota el propósito era experimentar alternativas para la evaluación. Esta implementación propone una alternativa factible para hacer frente a la falta de recursos humanos para la evaluación, a fin de apoyarse para hacer una valoración práctica de las competencias de los estudiantes.
Se pretende repetir este estudio, con mejor calidad de imagen y audio, aunado a tener a disposición un mayor ancho de banda de red, con el fin de facilitar que el caso sea valorado por más profesores. Se incluirá también a posgrado, por ejemplo con residentes en actividad quirúrgica.
Estas iniciativas replantean el rol de la tecnología en el proceso enseñanza-aprendizaje, pasando de una moda que se ha permeado inevitablemente del contexto social y cultural, a una herramienta que apoya el currículo mediante la creación de experiencias de aprendizaje vivenciales. Mayor investigación es necesaria para estudiar el impacto de los dispositivos móviles y de metodologías innovadoras en el aprendizaje mediante la recolección de información que permita documentar la evolución del desempeño del estudiante, la aceptación de estas tendencias por el cuerpo docente y el alcance que tiene en la mejora de la atención clínica.
Conflicto de interesesLos autores declaran no tener ningún conflicto de intereses.
El trabajo será presentado como ponencia de investigación en el iv Congreso Internacional de Innovación Educativa en Ciudad de México, México.
