Introducción: debido al aumento del empleo de la telesimulación en la formación de los profesionales de la salud, contar con instrumentos para valorar su efectividad es una necesidad imperante.
Objetivo: describir las evidencias de validez del instrumento Simulation Effectiveness Tool - Modified (SET-M) para su uso en actividades de telesimulación dirigidas a estudiantes de tercer año de la Licenciatura de Médico Cirujano de la Universidad Nacional Autónoma de México.
Métodos: mediante un estudio prospectivo, se realizó la traducción y traducción inversa del instrumento, se realizó una validación de contenido, análisis factorial exploratorio y confirmatorio, así como análisis de confiabilidad.
Resultados: se encontraron 3 factores similares a la versión en inglés, brasileña y turca, alfa de Cronbach general 0,930. La media de adecuación muestral de Kaiser-Meyer-Olkin fue de 0,953 y la prueba de esfericidad de Bartlett arrojó valores significativos al 0,001.
Conclusión: la versión en español de SET-M cuenta con suficientes evidencias de validez para ser utilizada en la evaluación de la efectividad de la telesimulación desde la percepción de los participantes en nuestro contexto.
Introduction: Due to the increase in the use of telesimulation in the training of health professionals, having instruments to assess its effectiveness is a pressing need.
Objective: To describe the validity evidence of the Simulation Effectiveness Tool - Modified (SET-M) for its use in telesimulation activities aimed at third-year students of the degree of medical surgeon of the National Autonomous University of Mexico.
Methods: Through a prospective study, the translation and reverse translation of the instrument was performed, content validation, exploratory and confirmatory factor analysis, and reliability analysis were performed.
Results: Three factors similar to the English, Brazilian, and Turkish versions were found, overall Cronbach's alpha 0.930. The Kaiser-Meyer-Olkin sample adequacy mean was 0.953, and Bartlett's sphericity test yielded significant values at 0.001
Conclusion: The Spanish version of SET-M has sufficient evidence of validity to be used in evaluating the effectiveness of telesimulation from the perception of the participants in this context.
En la educación médica, la simulación es una herramienta que favorece el desarrollo de habilidades y destrezas en los estudiantes antes de enfrentarse a un paciente real, ya que permite situarlos en un contexto que imita la realidad1. Las experiencias simuladas o reales promueven el aprendizaje por medio de la reflexión y el debriefing que sigue a cada una de ellas, porque favorece que los estudiantes pueden evaluar, redefinir y mejorar los modelos mentales que los llevaron a actuar de una determinada manera, generando un aprendizaje significativo2. Con el uso de las telecomunicaciones, los beneficios de la simulación se extienden fuera de los centros de simulación, permitiendo proveer educación, entrenamiento o evaluación a estudiantes que se encuentran en lugares remotos3. La telesimulación es una herramienta efectiva cuando existen limitaciones de tiempo-espacio para el desarrollo de actividades con simulación, permitiendo el desarrollo de habilidades cognitivas y psicomotoras en tiempo real, promovidas por la reflexión guiada proporcionada por el instructor mediante el debriefing virtual.
La telesimulación es una técnica innovadora que recientemente ha adquirido gran relevancia en la educación con simulación clínica debido al distanciamiento social4. Esta estrategia acerca a los estudiantes a la práctica clínica en un ambiente seguro, lo que la convierte en una herramienta fundamental en la educación del personal de la salud5. La evaluación continua permite la mejora y la adaptación de todas las técnicas educativas. Evaluar la efectividad de la telesimulación permitirá mejorar esta metodología, asegurando que los estudiantes reciban una educación de calidad y favoreciendo el desarrollo de competencias como el razonamiento clínico6. Sin embargo, la evaluación de esta técnica educativa resulta complicada debido a los diferentes componentes que la constituyen.
Una actividad de aprendizaje basada en simulación clínica debe contemplar 3 etapas: el prebriefing, donde se expondrán a los participantes los recursos a utilizar y se comenzará a generar un contenedor seguro para el aprendizaje; el escenario de simulación, donde los participantes pondrán en práctica sus habilidades en un entorno controlado; y finalmente, el debriefing, el cual es una discusión reflexiva guiada por el facilitador sobre las acciones realizadas en el escenario7. Cada uno de estos elementos es de suma importancia para el logro de los objetivos de la simulación. Se han propuesto diversos instrumentos para valorar el cumplimiento de los puntos críticos de cada etapa; sin embargo, existen pocos instrumentos que valoren la efectividad de la simulación desde la percepción del participante. En el caso de la telesimulación, las etapas son las mismas y hasta el momento existen pocos instrumentos que midan la efectividad de las 3 etapas. El instrumento Simulation Effectiveness Tool - Modified (SET-M), desarrollado en el 2012 y actualizado en el 2013 bajo los estándares de INACSL8 propone la valoración de 4 subescalas de la actividad como lo son el prebriefing, el aprendizaje, la confianza y el debriefing, por medio de 19 ítems, con evidencias de validez para un entorno presencial, por lo que resulta imperante considerar un instrumento para valorar una telesimulación, recogiendo las evidencias de validez necesarias.
Se ha estudiado la aceptabilidad de la telesimulación por estudiantes de pregrado de Medicina6. Sin embargo, hasta el conocimiento de los autores, no se ha descrito un instrumento en el idioma español para valorar la calidad de la telesimulación. El uso rutinario de un instrumento que valore las actividades de telesimulación podría ayudar a mantener la calidad de la estrategia educativa. El objetivo de este artículo es describir las evidencias de validez del instrumento SET-M para su uso en actividades de telesimulación dirigidas a estudiantes de tercer año de la Licenciatura de Médico Cirujano de la Universidad Nacional Autónoma de México.
Material y métodosSe realizó un estudio prospectivo para obtener las diferentes fuentes de validez de la traducción al español del instrumento SET-M8. Se solicitó al autor del instrumento en su idioma original el permiso para su traducción. El proceso de traducción siguió la guía descrita por la corporación RAND9. Se aplicó el instrumento durante las 5 telesimulaciones del plan curricular de la asignatura de Integración Clínico-Básica I. Los criterios de inclusión fueron: haber participado en las 5 telesimulaciones correspondientes a la carrera de Médico Cirujano de la Universidad Nacional Autónoma de México que cursan la materia de Integración Clínico-Básica I durante el primer semestre del 2021. El instrumento se envió por medio de Google Forms™ en donde las respuestas fueron recabadas de forma anónima; en la primera hoja se solicitó el consentimiento informado previo a contestar el instrumento.
Los facilitadores son médicos del último año de la carrera, adscritos al centro de simulación de pregrado. Ellos se capacitaron en 2 aspectos, el primero como pacientes estandarizados y el segundo para proveer debriefing durante la telesimulación. La primera capacitación se centró en el método Stanislavsky para la interpretación de personaje, tuvo una duración de 30 horas de práctica entre pares con retroalimentación inmediata por parte de los autores de este artículo, además antes de cada una de las simulaciones se realizó una capacitación con los 10 pasos de Gliva-McConvey10. La segunda capacitación consistió en 3 fases: 1) el conocimiento teórico de los elementos que componen el debriefing, 2) mostrar cómo se realiza un debriefing y 3) práctica entre pares con realimentación posterior, el debriefing duró 40 horas y se utilizó el instrumento DASH11 como estándar de calidad. Durante las prácticas de telesimulación, los facilitadores tuvieron la función de pacientes estandarizados y una vez concluido el escenario de telesimulación dirigieron el debriefing de la sesión.
Las telesimulaciones se llevaron a cabo en la plataforma Zoom©, donde en cada simulación había un paciente estandarizado para 3 estudiantes, los estudiantes se informaban previamente sobre las características de la actividad, al ingresar a la actividad se realizó un prebriefing de 15 minutos con los participantes, posteriormente se realizó la actividad de simulación durante 25 minutos, y al final se realizó un debriefing formativo con buen juicio de 30 minutos.
Se efectuaron análisis descriptivos e inferenciales para conocer las características psicométricas del instrumento. Para este fin, se hizo análisis de discriminación de cada uno de los reactivos empleando la prueba t de Student; la consistencia interna de la prueba se utilizó el alfa de Cronbach y para identificar la estructura interna de la prueba se empleó un análisis factorial exploratorio. Los datos se analizaron con el paquete estadístico JASP 0.15.0.0.
ResultadosSe obtuvo una muestra no probabilística de 2,479 resultados, de los cuales el 68% fueron contestados por mujeres y el 32% por hombres, con una media de edad de 22 años, con una edad mínima de 21 y una máxima de 58 años. En la tabla 1 se muestra la distribución de los participantes divididos por caso y sexo. En la tabla 2 se encuentran los resultados del análisis de la estructura interna como fuente de evidencia de validez. El análisis de componentes principales con rotación Varimax, extrajo 3 factores mostrados en la tabla 3, los cuales aportan una variancia explicada de 64%. Sobre la base de su contenido, los factores fueron designados como: prebriefing, aprendizaje y confianza, y debriefing. En la tabla 4 se muestra la traducción del instrumento.
Distribución de personas participantes por escenario y sexo
| Escenario | Participantes por sexo (%)a | Total (%)a | |
|---|---|---|---|
| Hombre | Mujer | ||
| COVID-19 | 214 (29,4) | 461 (63,4) | 675 (92,8) |
| Síndrome metabólico | 16 (2,2) | 319 (43,8) | 465 (63,9) |
| Dolor torácico | 145 (19,9) | 282 (38,7) | 427 (58,7) |
| Hiperplasia prostática benigna | 196 (18,7) | 418 (57,4) | 614 (84,4) |
| Malas noticias | 92 (12,6) | 206 (28,3) | 298 (40,9) |
Indicadores del análisis de la estructura interna como fuente de evidencia de validez
| Supuestos del modelo | Esperado | Obtenido |
|---|---|---|
| La prueba de esfericidad de Barlett obtuvo | < 0,001 | < 0,001 |
| Prueba de Kaiser-Meyer-Olkin | > 0,70 | 0,953 |
| Dimensiones del constructo | 4 | 3 |
| Varianza explicada por el modelo | > 60% | 64% |
| Cargas obtenidas para mantener el factor | > 0,50 | > 0,555 |
| Coeficiente de alfa de Cronbach | > 0,70 | 0,930 |
Análisis de los componentes principales
| Número de la pregunta | Prebriefing | Aprendizaje/confianza | Debriefing | Singularidad |
|---|---|---|---|---|
| 1 | 0,853 | 0,225 | ||
| 2 | 0,838 | 0,199 | ||
| 3 | 0,671 | 0,476 | ||
| 4 | 0,555 | 0,548 | ||
| 5 | 0,745 | 0,394 | ||
| 6 | 0,732 | 0,436 | ||
| 7 | 0,565 | 0,545 | ||
| 8 | 0,598 | 0,498 | ||
| 9 | 0,713 | 0,403 | ||
| 10 | 0,724 | 0,400 | ||
| 11 | 0,727 | 0,406 | ||
| 12 | 0,723 | 0,400 | ||
| 13 | 0,727 | 0,373 | ||
| 14 | 0,656 | 0,427 | ||
| 15 | 0,822 | 0,242 | ||
| 16 | 0,807 | 0,268 | ||
| 17 | 0,847 | 0,207 | ||
| 18 | 0,862 | 0,185 | ||
| 19 | 0,860 | 0,195 |
Instrumento de Efectividad de Simulación - Modificada (SET-M)
| Prebriefing |
|
|
| Escenario |
|
|
|
|
|
|
|
|
|
|
|
|
| Debriefing |
|
|
|
|
|
Las respuestas a cada pregunta pueden ser (3) fuertemente de acuerdo, (2) un poco de acuerdo y (1) en desacuerdo.
Se presentan la traducción al español y las evidencias de validez del instrumento SET-M. En cuanto a la validación del contenido, la traducción al español y la traducción inversa se realizaron bajo los criterios de RAND9, el cual es un proceso similar al realizado por SET-M (versión en turco)12. La traducción de la versión brasileña se llevó a cabo mediante los pasos propuestos por ISPOR TCA13. La traducción a distintos idiomas debe ser guiada por una metodología específica. La validez de contenido es relevante en el proceso educativo, ya que ayuda a una mejor interpretación de los resultados de una prueba10.
El análisis de componentes principales mostró 3 factores a diferencia del instrumento original, donde se mostraron 4 factores8. Las cargas de los factores combinaron los componentes que explican el aprendizaje y la confianza. Esto puede ser explicado por la traducción o el contexto donde fue aplicada la telesimulación. En el caso de la prueba de esfericidad de Barlett, el resultado para las 3 versiones es < 0,001, lo que demuestra que la matriz no era una matriz de identidad. En la prueba de Kaiser-Meyer-Olkin, en la versión en español se obtuvo 0,953, en la versión turca 0,919 y en la versión original 0,936, lo que nos permite aseverar que la muestra se encuentra en un nivel adecuado para el análisis. En cuanto a la consistencia interna del instrumento, se utilizó el coeficiente de alfa de Cronbach 0,932 para la versión en español, 0,7 para la versión brasileña, 0,92 para la versión turca y 0,936 para la versión original. Estos resultados proveen mayores evidencias de validez para el instrumento, no solo para ser utilizado en el contexto de México, si no para traducirlo a otros idiomas.
Cabe resaltar que, en la versión original, en la versión brasileña y en la versión turca los participantes fueron personal de enfermería. En la versión original modificada se discute la relevancia del ítem 7, correspondiente a la medicación, ya que debido a que algunas simulaciones pueden o no involucrar la administración de un medicamento, lo que puede modificar las evidencias de validez8. En la versión original modificada se cambiaron algunos ítems para que este instrumento fuera utilizado por cualquier área de la salud. Para la versión en español se decidió traducir como tratamiento, lo que involucra las medicaciones y aspectos relacionados con el cuidado y el manejo del paciente.
En otras investigaciones se evaluó la percepción de la efectividad de la simulación con este instrumento en 2 diferentes tipos de simulación a distancia6; sin embargo, en ese estudio no se presentan las evidencias de validez suficientes. Al contar con una traducción similar, con resultados favorables, apoya la propuesta del uso de este instrumento en diferentes contextos.
Otro aspecto relevante en este estudio es que se utilizó para simulación a distancia, a diferencia de las 2 versiones anteriores, donde se utilizó en simulación presencial. Aunque es necesario realizar otro estudio donde se evalúe el instrumento en una situación presencial, también es necesario reconocer que en la actualidad no existen herramientas para poder evaluar este tipo de simulación a distancia.
En cuanto a los resultados en el presente estudio, en las dimensiones obtuvimos una carga de factores alta en el prebriefing, esto determina un paso importante, ya que es donde se comienza a generar un ambiente seguro de aprendizaje y donde el participante comprenderá lo que vivirá en la simulación14. En las dimensiones del aprendizaje y confianza, y debriefing se obtuvieron puntajes medios-altos de carga de factores. Estas dimensiones son atributos de gran importancia para lograr los objetivos de la simulación15. Asimismo, estos valores permiten describir los procesos de simulación como una simulación efectiva desde el punto de vista de los participantes.
La simulación como proceso de enseñanza aprendizaje tiene diferentes aristas que es necesario evaluar, sobre todo la percepción de parte del participante, ya que como adultos requieren mayor motivación para el aprendizaje y para que éste sea efectivo.
El presente estudio contó con algunas limitaciones. En primer lugar, la evaluación se llevó a cabo en simulación a distancia y no presencial, como lo describe el instrumento original. También se realizó en estudiantes de pregrado de Medicina y el instrumento se describe para trabajadores de la salud. Es necesario realizar otras pruebas de reproducibilidad antes de utilizar este instrumento en su versión en español en otros contextos.
Las evidencias de validez descritas en este artículo muestran que el instrumento se puede utilizar en actividades de telesimulación en pregrado. Un proceso riguroso para obtener evidencias de validez es necesario para que el instrumento pueda ser empleado en contextos diversos. Si bien es necesario recordar que ningún instrumento es más válido que otro, utilizar un instrumento de evaluación con evidencias de validez suficientes permite tener un mejor entrenamiento y evaluación, asímismo permite la mejora de los procesos.
Responsabilidades éticasEste trabajo fue aprobado por el comité de ética del Departamento de Integración de Ciencias Médicas de la Universidad Nacional Autónoma de México.
FinanciaciónLa presente investigación no recibió apoyo económico de ninguna agencia pública o privada y no se encuentra en proceso de evaluación por ninguna otra revista.
Conflictos de interésLos autores de este manuscrito declaramos que no tenemos conflictos de interés.
AgradecimientosAgradecemos a la doctora Kim Leighton, autora original del instrumento Simulation Effectiveness Tool – Modified, por su valioso apoyo en la revisión de la traducción inversa.
