el uso de la enseñanza basada en la simulación para el entrenamiento de habilidades técnicas continúa siendo preponderante en Latinoamérica. Las recomendaciones internacionales señalan la importancia de la evaluación de la calidad de la simulación en salud mediante instrumentos validados. Este trabajo tiene como objetivo la construcción y validación de un instrumento de evaluación de la enseñanza basada en la simulación en salud para el entrenamiento de habilidades técnicas en Argentina.
Métodosse realizó un estudio observacional y de corte transversal. Participaron 197 estudiantes de Licenciatura en Enfermería de una universidad de gestión privada de Argentina. La construcción de la herramienta incluyó la revisión de la literatura, la definición del constructo y la generación de los ítems con sus categorías de respuesta. Para la validez de contenido participó un grupo de expertos. Finalmente, se estudió la validez del constructo y la consistencia interna de la herramienta.
Resultadosel Kaiser-Meyer-Olkin fue 0,811 y la prueba de esfericidad de Bartlett fue significativa (x2 = 1183,287; <0,001). El análisis factorial exploratorio determinó la existencia de 2 factores. El modelo explicó el 54,66% de la variancia acumulada. El instrumento presentó una excelente consistencia interna con un coeficiente omega de McDonald de 0,817 y un alfa de Cronbach de 0,823.
Conclusiónel instrumento desarrollado presenta adecuadas propiedades psicométricas en estudiantes de Enfermería de Argentina. Resulta un aporte significativo para la evaluación de la enseñanza basada en la simulación para el entrenamiento de habilidades técnicas.
The use of simulation-based education for technical skills training continues to be predominant in Latin America. International recommendations point out the importance of evaluating the quality of clinical simulation using validated instruments. This work aims to construct and validate an instrument to evaluate clinical simulation-based education when teaching technical skills in Argentina.
MethodsAn observational, cross-sectional study was carried out with the participation of 197 nursing students from a private university in Argentina. The construction of the tool included a review of the literature, a definition of the construct, and the generation of items with their response categories. A group of experts participated for content validity. Finally, the construct validity and internal consistency of the tool were studied.
ResultsThe Kaiser-Meyer-Olkin was 0.811 and Bartlett sphericity test was significant (x2 = 1183,287; <0.001). The exploratory factor analysis determined the existence of two factors. The model explained 54,66% of the accumulated variance. The instrument presented excellent internal consistency with a McDonald's omega coefficient of 0,817 and a Cronbach's alpha of 0,823.
ConclusiónThe developed tool presents adequate psychometric properties in nursing students from Argentina. It is a significant contribution to the evaluation of simulation-based education (SBE) for the training of technical skills.
La enseñanza basada en la simulación (EBS) consiste en actividades estructuradas que representan situaciones reales o potenciales y permiten el entrenamiento de competencias técnicas y no técnicas en un entorno seguro y controlado1.
En los últimos años, esta estrategia educativa ha tenido un enorme crecimiento en el ámbito de las ciencias de la salud con el propósito de promover la seguridad del paciente. En este sentido, expertos internacionales señalan que el entrenamiento en las habilidades técnicas y no técnicas resultan aspectos prioritarios en la búsqueda de un sistema sanitario seguro2.
Actualmente, existen estándares internacionales para promover el logro de los resultados esperados en la EBS3,4. Entre las recomendaciones de la comunidad global se encuentra la evaluación de esta estrategia educativa mediante el uso de instrumentos validados con el objetivo de determinar su calidad y la efectividad3.
En los últimos años, se han desarrollado y validado numerosas herramientas para evaluar diferentes aspectos de la EBS5. Algunos se detienen en el facilitador o persona que orienta, guía y apoya a los participantes durante la EBS, como el Debriefing Assessment for Simulation in Healthcare (DASH), que busca evaluar aspectos vinculados al debriefing para la simulación en salud6, y la Facilitator Competency Rubric (FCR), que evalúa las competencias del facilitador en simulación en salud para la enseñanza con escenarios o casos clínicos7. Otros instrumentos buscan evaluar diferentes características de los participantes, como la Sweeney-Clark Simulation Evaluation Rubric8, que evalúa el desempeño, o la Lasater Clinical Judgement Rubric (LCJR)9, que pretende conocer el juicio clínico, y la Creighton Simulation Evaluation Instrument (C-SEI)5,10, que busca medir la adquisición de competencias específicas en estudiantes de Enfermería. La Simulation Effectiveness Tool Modified (SET-M)6,11 desarrollada inicialmente en el año 2012, se propone medir la efectividad de la simulación para alcanzar las necesidades de aprendizaje de los participantes. En definitiva, todas estas herramientas se utilizan para la evaluación de distintos aspectos de la EBS mediante escenarios o casos clínicos.
Por otra parte, la evidencia señala que la mayoría de las actividades de simulación que se realiza en Latinoamérica12 tiene como objetivo el entrenamiento de habilidades técnicas. Esta realidad supone, al mismo tiempo, el desafío de contar con instrumentos de evaluación adecuados para esta modalidad de EBS, de tal forma que se pueda dar cuenta, de manera objetiva, de la calidad de la simulación que se implementa.
Sin embargo, no se han encontrado hasta el momento instrumentos que permitan evaluar la enseñanza basada en simulación para habilidades técnicas o procedimentales.
El objetivo de este estudio fue describir el proceso de construcción y validación de un instrumento para evaluar la EBS para el entrenamiento de habilidades técnicas en Argentina desde la perspectiva de los participantes.
Material y métodosSe trata de un estudio cuantitativo de corte transversal para la construcción y validación de un instrumento.
Procedimiento para la construcción del instrumentoPara la construcción y validación del instrumento se siguieron los siguientes pasos: revisión de la literatura, definición del constructo, generación de ítems y categorías de respuesta, estudio de la validez de contenido, validez del constructo y consistencia interna13.
Revisión de la literaturaPara la construcción del instrumento se tuvieron en cuenta las recomendaciones de la comunidad global sobre simulación en ciencias de la salud, se revisó y analizó la literatura disponible sobre el tema en PubMed, Ebsco Host, Scopus, Scielo y BVS, entre mayo y julio de 2023. La búsqueda se realizó mediante la utilización de las siguientes palabras clave DeCS/MeSH en español e inglés: entrenamiento simulado/simulation training, tecnología educacional/educational technology, simulación de paciente/patient simulation. Para obtener mejores resultados de la búsqueda se combinaron los términos con los operadores booleanos AND, OR, NOT; y se incluyeron únicamente las publicaciones entre 2013 y 2023.
Definición del constructoPosteriormente se definió el constructo «evaluación de la EBS para el entrenamiento de habilidades técnicas» como la valoración que realizan los participantes al finalizar una experiencia de simulación para el entrenamiento de habilidades técnicas, según las recomendaciones internacionales.
Generación de ítems y categorías de respuestaDado que la SET-M permite conocer la efectividad de la simulación luego de un escenario o caso clínico, se decidió tomarla como referencia para el diseño del nuevo instrumento. Así, se construyó el «instrumento de evaluación de la EBS para el entrenamiento de habilidades técnicas (ESIMHAT)».
Se incluyeron reactivos vinculados al prebriefing, al rol del facilitador durante la experiencia de simulación y a los resultados en el participante. Además, se establecieron 4 categorías de respuesta tipo Likert: muy de acuerdo (4), de acuerdo (3), poco de acuerdo (2) y nada de acuerdo (1).
Validez de contenidoPara analizar la validez de contenido, la herramienta fue revisada por 7 expertos nacionales en simulación en salud que fueron seleccionados por su experiencia y trayectoria en el área. Todos los expertos son miembros de la Sociedad Argentina de Simulación Clínica y Seguridad del Paciente (SASIM), así como de la Red Nacional de Simulación Clínica (ReNaSic).
Cada experto fue contactado por correo electrónico e invitado a ponderar la relevancia y la claridad de cada uno de los ítems de la herramienta, utilizando una escala de tipo Likert de 4 puntos (1 = nada relevante/nada claro, 2 = poco relevante/poco claro, 3 = relevante/claro, 4 = muy relevante/muy claro). El proceso de validación de contenido por parte del grupo de expertos tuvo una duración de 4 semanas. Además, los expertos realizaron sugerencias sobre la redacción de los ítems.
Para la evaluación individual de los ítems se utilizó la Razón de Validez de Contenido (RVC, Coefficient Validity Ratio en inglés) propuesto por Lawshe y posteriormente se calculó el Índice de Validez de Contenido (IVC, Content Validity Index en inglés) para el instrumento en su conjunto14. Dado que la ESIMHAT fue analizada por 7 expertos, se tomó como válido un IVC mínimo de 0,83, como sugiere la literatura15.
La versión final del instrumento estuvo conformada por 13 ítems en total, con 4 categorías de respuestas tipo Likert, a las que se les asignó un puntaje: Muy de acuerdo (4), De acuerdo (3), Poco de acuerdo (2), Nada de acuerdo (1). Así, la evaluación de la EBS para el entrenamiento de habilidades técnicas podría tener un resultado o puntaje total entre 13 y 52 puntos. Según este puntaje, la experiencia de simulación podrá clasificarse como: inadecuada (puntaje total menor a 20 puntos); regular (20–30 puntos); buena (31–41 puntos) y muy buena (42–52 puntos).
ParticipantesLos participantes fueron estudiantes de Licenciatura en Enfermería que participan de actividades de simulación en salud para la enseñanza de habilidades técnicas en una universidad privada de Argentina. Los criterios de inclusión que se definieron fueron: ser alumno de una carrera de grado de dicha institución, haber participado previamente de al menos 5 actividades de simulación para el entrenamiento de habilidades técnicas en el último año y acceder a participar del estudio.
Participaron de la validación del instrumento 197 estudiantes de Licenciatura en Enfermería, de sexo femenino (90,4%), con una edad promedio de 22 años (DS ± 4,61). La mayoría de los participantes se encontraba en 3.er año de la carrera (37,1%). Las habilidades técnicas abordadas fueron: higiene y bienestar, control de signos vitales, colocación de sonda vesical en pacientes pediátricos y curación de heridas, entre otros (tabla 1).
Características de los participantes del estudio de validación
| Características | Recuento | Porcentaje | |
|---|---|---|---|
| Edad | Entre 17 y 20 años | 81 | 41,12 |
| Entre 21 y 24 años | 78 | 39,59 | |
| Entre 25 y 28 años | 24 | 12,18 | |
| Entre 29 y 32 años | 6 | 3,05 | |
| Más de 32 años | 8 | 4,06 | |
| Sexo | Femenino | 178 | 90,66 |
| Masculino | 18 | 9,14 | |
| Año de carrera | 1.° año | 66 | 33,50 |
| 2.° año | 18 | 9,14 | |
| 3.° año | 73 | 37,06 | |
| 4.° año | 40 | 20,30 | |
| Contenido de actividades de EBS evaluadas | Higiene y bienestar | 27 | 13,71 |
| Control de signos vitales | 13 | 6,60 | |
| Colocación de sonda vesical en pediatría | 12 | 6,09 | |
| RCP pediátrico | 12 | 6,09 | |
| Curación de heridas | 12 | 6,09 | |
| Higiene perineal | 12 | 6,09 | |
| Valoración respiratoria | 11 | 5,58 | |
| Valoración cardiovascular | 11 | 5,58 | |
| Vendajes | 11 | 5,58 | |
| Acceso venoso periférico | 11 | 5,58 | |
| Lavado de cabello y boca | 11 | 5,58 | |
| Valoración abdominal | 9 | 4,57 | |
| Manejo de drenajes | 9 | 4,57 | |
| Atención prehospitalaria | 9 | 4,57 | |
| Curación de traqueostomía | 8 | 4,06 | |
| Elementos de protección personal | 7 | 3,55 | |
| RCP adultos | 7 | 3,55 | |
| Manejo de material estéril | 5 | 2,54 | |
EBS: enseñanza basada en simulación; RCP: reanimación cardiopulmonar.
Se contactó de manera presencial a los estudiantes de Licenciatura de Enfermería de la institución para invitarlos a participar del estudio de validación del instrumento. La participación fue voluntaria y anónima. Para participar del estudio se solicitó a los participantes que firmaran un consentimiento informado. Este estudio tuvo la aprobación del Comité de Evaluación Institucional (CIE N° P23–038).
Procedimiento para la recolección de datosLas actividades de simulación para el entrenamiento de habilidades técnicas se desarrollan en la institución, en grupos de 8 a 12 participantes, bajo la guía de un profesor o facilitador. Como es habitual en la institución, una vez finalizada la actividad, los participantes completan una encuesta de satisfacción sobre la misma mediante un código QR.
Para la recolección de datos se realizó un muestreo no probabilístico por conveniencia. Se solicitó completar el instrumento a validar a todos los participantes de actividades de simulación para el entrenamiento de habilidades técnicas, que cumplieran con los criterios de inclusión y hayan manifestado su interés en participar del estudio, firmando el consentimiento informado.
Los participantes del estudio completaron el instrumento de forma digital, a través del código QR preparado para tal fin, luego de participar de la simulación en salud para la enseñanza de habilidades técnicas en la institución. Así, quienes cumplían con los criterios de inclusión y hubieran firmado el consentimiento informado, utilizaron el instrumento a validar. Quienes no cumplían con los criterios de inclusión utilizaron el instrumento de satisfacción vigente hasta el momento. En cualquiera de los 2 casos, los participantes contaron con tiempo suficiente para realizar la evaluación de la actividad de simulación según correspondiera.
Análisis de los datosPara conocer la validez del constructo se realizó análisis factorial exploratorio (AFE) utilizando máxima verosimilitud. Se calculó el Kaiser-Meyer-Olkin (KMO) y la prueba de esfericidad de Bartlett. Para conocer la consistencia interna del instrumento, se utilizó el coeficiente alfa de Cronbach y el omega McDonald. Para el análisis de los datos se utilizó el programa SPSS versión 27 y JASP versión 0.14.1.
ResultadosA continuación, se presentan los resultados sobre la validez de contenido, validez del constructo y la consistencia interna del instrumento.
Validez de contenidoSe analizó la validez de contenido del instrumento a partir del juicio experto de 7 profesionales de la salud, quienes indicaron sobre la claridad y relevancia de los ítems. La versión final del instrumento que fue validada estuvo conformada por los 13 ítems iniciales y tuvo un Índice de Validez de Contenido (IVC) de 1, tanto para la relevancia como para la claridad de los ítems.
Validez del constructoSe realizó análisis factorial exploratorio (AFE) para el análisis de la validez del constructo. Se aplicó el método de estimación de máxima verosimilitud. Se obtuvo el KMO = 0,811 y la prueba de esfericidad de Bartlett, que fue significativa (x2 = 1183,287; <0,001).
Se realizó un análisis de paralelo con el objetivo de determinar la existencia de factores o dimensiones en el instrumento. Los resultados indicaron la existencia de 2 componentes o dimensiones como se puede confirmar en el gráfico de sedimentación (fig. 1). Al factor 1 se le denominó «Reflexión» y al factor 2, «Preparación». El método de rotación utilizado fue Oblimin.
Por otro lado, todos los ítems presentaron un peso mayor a 0,30 como se observa en la tabla 2. El modelo explicó el 54,66% de la variancia acumulada.
Matriz de estructura a partir del análisis factorial
| Ítems | Factor 1 | Factor 2 | Uniqueness |
|---|---|---|---|
| 1 | 0,447 | 0,821 | |
| 2 | 0,638 | 0,613 | |
| 3 | 0,708 | 0,425 | |
| 4 | 0,889 | 0,274 | |
| 5 | 0,499 | 0,583 | |
| 6 | 0,481 | 0,645 | |
| 7 | 0,523 | 0,489 | |
| 8 | 0,542 | 0,561 | |
| 9 | 0,567 | 0,474 | |
| 10 | 0748 | 0,456 | |
| 11 | 0,643 | 0,607 | |
| 12 | 0,772 | 0,444 | |
| 13 | 0,702 | 0,550 |
Se utilizó Oblimin como método de rotación.
Se analizó la consistencia interna de cada factor y del total de los ítems del instrumento. El factor 1 denominado «Reflexión» obtuvo un coeficiente omega McDonald de 0,844 (IC 95%: 0,810-0,877) y un alfa de Cronbach de 0,838 (IC 95%: 0,802-0,869). El factor 2 denominado «Preparación» presentó un coeficiente omega McDonald de 0,740 (IC 95%: 0,682-0,798) y un valor de alfa de Cronbach de 0,748 (IC 95% 0,692-0,796). Para la escala total se obtuvo un coeficiente omega McDonald de 0,817 (IC 95%: 0,778-0,856) y un valor de alfa de Cronbach de 0,823 (IC 95% 0,782-0,857). Finalmente, en la tabla 3, se presenta la versión final de la ESIMHAT.
Versión final del Instrumento de Evaluación de la Enseñanza Basada en Simulación para el entrenamiento de habilidades técnicas (ESIMHAT)
| Muy de acuerdo (4) | De acuerdo (3) | Poco de acuerdo (2) | Nada de acuerdo (1) | |
|---|---|---|---|---|
| 1. Las actividades preparatorias (lecturas, videos, guías, protocolos, etc.) me ayudaron para mejorar mi desempeño en la simulación | ||||
| 2. La información que me brindaron inmediatamente antes de comenzar la simulación me ayudó a sentirme más seguro/a durante la actividad | ||||
| 3. La simulación tuvo objetivos claros y concretos | ||||
| 4. La simulación tuvo objetivos alcanzables para mi nivel académico | ||||
| 5. Durante la simulación tuve claro mi rol, el de mis compañeros/as y el del facilitador/a | ||||
| 6. La simulación transcurrió en un clima de confianza y respeto | ||||
| 7. El/La facilitador/a respondió a mis dudas sobre la habilidad técnica en todo momento | ||||
| 8. Tener la posibilidad de practicar con un simulador o paciente simulado contribuyó a mi aprendizaje | ||||
| 9. El feedback que recibí por parte del facilitador/a incluyó aspectos positivos sobre mi aprendizaje | ||||
| 10. El feedback que recibí por parte del facilitador/a incluyó aspectos de mejora sobre mi desempeño | ||||
| 11. Me siento más seguro/a para realizar la habilidad técnica que practiqué en simulación en un paciente real | ||||
| 12. Tengo más confianza para realizar la habilidad técnica que practiqué en simulación en un paciente real | ||||
| 13. La simulación me brindó una oportunidad para prepararme mejor para la práctica clínica |
Evaluar la calidad de la EBS mediante instrumentos validados es una recomendación internacional3. El propósito del estudio consistió en describir el proceso de construcción y validación de un instrumento de evaluación de la EBS para el entrenamiento de habilidades técnicas en Argentina, desde la perspectiva de los participantes. La ESIMHAT resultó ser un instrumento válido para evaluar esta modalidad de simulación en una muestra de estudiantes de Licenciatura en Enfermería. El valor científico del estudio radica en que la ESIMHAT resulta un gran aporte para la comunidad de simulacionistas de habla hispana, debido a que la mayor proporción de actividades de EBS de América Latina, corresponde a las destinadas al entrenamiento de habilidades clínicas y procedimentales12.
Si bien, existen numerosos instrumentos de evaluación de la simulación, la mayoría se centra en el desempeño del facilitador como el DASH6 y la Facilitator Competency Rubric (FCR)7, o en los resultados de aprendizaje de los participantes como la Sweeney-Clark Simulation Evaluation Rubric8, la Lasater Clinical Judgement Rubric (LCJR)9 y la Creighton Simulation Evaluation Instrument (C-SEI)5,10; por lo que ninguno evalúa la calidad de la EBS para el entrenamiento de habilidades técnicas. La SET-M6,11 evalúa la efectividad de la simulación cuando esta se utiliza con escenarios clínicos y ha servido de orientación para la construcción de la ESIMHAT, que busca conocer la calidad de la EBS desde la perspectiva del participante en el entrenamiento de habilidades procedimentales.
El AFE de la ESIMHAT reportó la existencia de 2 factores: «Preparación» y «Reflexión». La agrupación de los ítems en 2 factores podría atribuirse a que en la EBS, para el entrenamiento de habilidades técnicas, el desarrollo de la actividad y la retroalimentación o reflexión suelen ocurrir en un continuo, dada la dinámica de la enseñanza de habilidades técnicas. Además, todos los ítems presentaron muy buenas cargas factoriales; lo que resulta coherente con los componentes de la EBS señaladas en los estándares de buenas prácticas. Por otro lado, se estudió la confiabilidad de cada uno de los factores y del total de los ítems del instrumento medida como consistencia interna, obteniéndose adecuados resultados en la muestra estudiada. Estos resultados resaltan la aptitud del instrumento convirtiéndolo en una herramienta útil y necesaria para evaluar la calidad de la simulación que se implementa16, como sugieren los estándares de buenas prácticas.
Este estudio presenta algunas limitaciones. El número de participantes resultó suficiente para analizar la validez de constructo a través del AFE. Sería necesario en futuros estudios contar con una muestra mayor a 200 participantes para poder realizar estudios factoriales confirmatorios. Por otro lado, sería interesante estudiar la validación de la ESIMHAT en otros países de la región para realizar posibles comparaciones.
En conclusión, la herramienta presentada posee adecuadas propiedades psicométricas de validez de contenido, de constructo y de consistencia interna en estudiantes de Licenciatura en Enfermería de Argentina, lo que la convierte en un instrumento válido y confiable para la evaluación de la simulación para la enseñanza de habilidades técnicas desde la perspectiva de los participantes. Además, en la medida en que es un instrumento basado en los estándares de buenas prácticas de simulación en salud3,4,17–21, su uso podrá promover la implementación de la EBS según las recomendaciones internacionales.
Responsabilidades éticasEl trabajo fue aprobado por el Comité Institucional de Evaluación (CIE N°P23–038). Tanto los participantes como el grupo de expertos firmaron el formulario de consentimiento informado.
FinanciaciónLas autoras refieren no haber recibido apoyo financiero para la realización de este estudio.
Conflicto de interesesLas autoras refieren no tener ningún tipo de conflicto de intereses con el contenido del artículo.
AgradecimientosLas autoras agradecen a la Mag. M. Victoria Brunelli y a la Dra. Belén Mesurado por sus sugerencias y aportes a la redacción del trabajo.
