Experiencia del estudiantado de 2.° grado de Enfermería durante la realización de una evaluación clínica objetiva estructurada (ECOE)

Resumen

Introducción

la evaluación clínica objetiva estructurada (ECOE) en enfermería se hace imprescindible para conocer el nivel competencial de los alumnos, así como analizar su experiencia en esta prueba evaluativa. El objetivo de este estudio fue describir la experiencia del estudiantado de 2.° grado de Enfermería durante la realización de una prueba piloto de ECOE.

Método

estudio descriptivo con la participación de 84 estudiantes (74,3%) que realizaron una prueba piloto de ECOE. Al finalizar la ECOE, mediante una encuesta ad-hoc, se recogieron los datos sobre la experiencia de los estudiantes. Para cada pregunta se calcularon los porcentajes de respuestas y sus intervalos de confianza en 95%.

Resultados

el 62,70% (54,25-71,19) mostró una opinión favorable de su experiencia. El 73,80% (66,67-80,98) opinaron que las estaciones eran representativas del rol enfermero. Respecto la dificultad en la resolución, un 42,20% (36,29-48,16) manifestó haber tenido dificultades. A nivel técnico, un 61% (55,27-66,71) dijo haber comprendido bien los enunciados de las situaciones a resolver y un 63,70% (50,02-69,39) opinó que los 10 minutos de tiempo le fue suficiente. Un 46,20% (40,88-51,96) del estudiantado refirió sentir estrés durante la ECOE. Respecto los docentes implicados en su evaluación, un 79% (72,53-85,49) consideró que su función fue correcta.

Conclusiones

la realización de una prueba piloto permite recoger la experiencia del estudiantado para considerarla en siguientes ediciones, así como testar su nivel, adquirido en las diferentes áreas de competencia.

Abstract

Introduction

The objective structured clinical evaluation (OSCE) in nursing is essential to know the competence level of students, as well as to analyse their experience of this evaluative test. The aim of this study was to describe the experience of 2nd degree nursing students during the performance of a pilot OSCE test.

Method

Descriptive study with the participation of 84 students (74.3%) who took the OSCE pilot test. When OSCE was overed, an ad-hoc survey was used to collect data on the students' experience. For each question, the percentages of responses and their 95% confidence intervals were calculated.

Results

62.70% (54.25-71.19) showed a favourable opinion of their experience. The 73.80% (66.67-80.98) thought that the stations were representative of the nursing role. Regarding the difficulty of resolution, 42.20% (36.29-48.16) reported having difficulties. At the technical level, 61% (55.27-66.71) said that they understood well the statements of the situations to be solved, and 63.70% (50.02-69.39) thought that the 10 minutes of time was sufficient. A 46.20% (40.88-51.96) of the students reported feeling stress during the OSCE. Regarding the teachers involved in their evaluation, 79% (72.53-85.49) thought that their role was correct.

Conclusions

The realization of a pilot test allows to collect the students' experience to be considered in future editions, as well as to test their acquired level in the different areas of competence.

Introducción

Una ECOE es un sistema de evaluación superior que permite la evaluación de un conjunto de habilidades, conocimientos y actitudes mediante una observación directa¹ que se ha convertido en una estrategia en la educación sanitaria, especialmente en enfermería, en cursos iniciales del grado^2–4. La ECOE ofrece una visión innovadora de la evaluación de competencias y del uso de la simulación en el aprendizaje del estudiantado⁵. El realismo de las situaciones clínicas de la ECOE hace que sea un ensayo para la práctica clínica real y facilita la transición de la formación académica a la práctica profesional^5,6. La simulación clínica ofrece la posibilidad de aprendizaje y evaluación en la adquisición de habilidades, conocimientos y actitudes. En enfermería, hay una tendencia creciente en utilizar este método, para ayudar al estudiantado a adquirir competencias prácticas⁷.

Una ECOE está formada por distintas estaciones que representan situaciones de la vida real, cada estación está constituida para evaluar habilidades concretas en un tiempo determinado^8,9. Estas estaciones se presentan de una forma seriada y permite determinar qué competencias ha asimilado el estudiantado y su aplicación en la práctica¹⁰. En este tipo de evaluación se tiene en cuenta el estado cognitivo, el emocional y el mental del participante¹¹, además de trabajar el pensamiento crítico y promover las habilidades comunicativas del estudiantado novel¹². Los participantes en la ECOE manifiestan que es un buen aprendizaje y una valiosa experiencia práctica¹³, aunque genere estrés e insatisfacción en algunos participantes; identifican el tiempo para completar la acción y la observación directa mientras son evaluados, como algunas de las causas que les generan estrés¹⁴. Por lo que, implementar la ECOE en cursos intermedios, a modo de entrenamiento para los estudiantes, impacta favorablemente en sus experiencias y niveles de estrés durante las pruebas¹⁰.

En este estudio se planteó describir la experiencia del estudiantado de 2.° grado de Enfermería durante la realización de una prueba piloto de ECOE.

Métodos

Diseño de estudio y muestreo

Estudio descriptivo transversal para conocer la vivencia del estudiantado de 2.° curso del Grado de Enfermería mediante una encuesta ad-hoc sobre su experiencia, en una prueba piloto de una ECOE de 5 estaciones. La población de estudio fue el estudiantado matriculado en el 2.° curso del Grado de Enfermería en el curso 2020-2021. Se excluyeron a los estudiantes que no habían realizado las simulaciones clínicas y/o las prácticas asistenciales durante curso académico, al considerarlo un elemento formativo básico para el afrontamiento de la prueba. Se realizó un muestreo de conveniencia obteniendo una participación final del 74,3% de estudiantes.

Procedimiento

En el marco de un proyecto educativo transversal piloto, se crearon 5 estaciones, de 10 minutos cada una, en las que se determinaron áreas de evaluación competencial con base en la seguridad del paciente y ética, habilidad técnica, detección de problemas, habilidades comunicativas y educación sanitaria; así como, a la planificación de los cuidados y diagnósticos enfermeros (tabla 1). Tanto los escenarios como la logística se probaron, previamente, con profesores, actores y exalumnos con el fin de ajustar su contenido. Esta prueba se llevó a cabo en el centro de simulación de la institución y se utilizó el programa informático SIMCAPTURE®.

Tabla 1.

Relación de las estaciones con la temática de cada estación y las áreas de evaluación distribuidas por puntos

			Área de Evaluación
Estación/Temática	Objetivos	Ámbito	Seguridad paciente	Habilidad técnica	Detección problemas	Comunicación	Registro	Formulación diagnósticos	Educación Sanitaria	Total
Estación 1Paciente con dolor torácico	Realizar la exploración completa de un paciente con dolor torácico. Identificar si el electrocardiograma era normal o no. Comunicar los datos al médico	Habitación hospital	10	25	25	30	10			100
Estación 2Paciente con herida posquirúrgica fémur	Realizar la primera cura, no estéril y oclusiva, de una herida quirúrgica limpia. Registrar la tarea en las observaciones de enfermería	Habitación hospital	20	55		15	10			100
Estación 3Inserción via periférica	Insertar una via periférica según procedimiento. Registrar tarea en las observaciones de enfermería	Sala polivalente	7,5	85			7,5			100
Estación 4Educación Sanitaria en un problema de salud	Realizar educación sanitaria en la alteración de salud prevalente. Utilizar el díptico específico facilitado	Consulta atención primaria	10			50			40	100
Estación 5Formulación de diagnósticos enfermeros	Formular un diagnóstico de independencia, un diagnóstico de autonomía y un problema de colaboración	Sala polivalente						100		100
TOTAL			47,5	165	25	95	27,5	100	40	500

Por último, se diseñó una encuesta ad-hoc que permitiera conocer la experiencia del estudiantado una vez finalizada la prueba.

La ECOE duró 3 días consecutivos de junio de 2021, en turnos de mañana y tarde. El día y la hora fue escogida voluntariamente por el estudiantado participante, unas semanas antes de su inicio.

Dinámica el día de la ECOE

Los estudiantes fueron convocados según el horario escogido. El tiempo total de su participación era de 120 minutos y se disponía en:

• •

  Sala de recepción: a la llegada, recordatorio de la dinámica, tiempo y contraseñas de acceso al programa informático. Resolución de dudas. Total 30 minutos.

• •

  Realización ECOE: 12 minutos por estación. 10 para resolver el caso y 2 minutos de rotación y lectura del enunciado. Total 60 minutos.

• •

  Sala de descompresión: a la salida, compartir sensaciones, comentarios con el grupo. Realización de la encuesta. Agradecimiento por su participación. Total 30 minutos.

Se establecieron flujos de acceso a la prueba distintos para evitar cruces entre los participantes entrantes y salientes. Todos los implicados en la ECOE (participantes y docentes) hicieron uso de las normas de seguridad del COVID 19.

Herramienta y recogida de datos

A partir de la bibliografía consultada, se creó una encuesta ad-hoc elaborada por consenso con el equipo docente, con un total de 20 preguntas. En concreto, 10 estaban vinculadas a los aspectos generales de la ECOE, con respecto a la organización, autopercepción del aprendizaje y la satisfacción. Todas preguntaban por distintos aspectos de la prueba en un nivel general (tabla 2), 7 lo hacían para cada una de las 5 estaciones y 3 eran los datos basales del participante. Cada pregunta se respondía mediante una escala Likert ordinal categórica. Los estudiantes accedieron a la encuesta a través del móvil con un enlace a Microsoft OneDrive Forms.

Tabla 2.

Experiencia del estudiantado según cada una de las 5 estaciones de la prueba piloto

Preguntas/Rango de porcentaje	Estación 1	Estación 2	Estación 3	Estación 4	Estación 5	Total
	Bastante/Mucho	Bastante/Mucho	Bastante/Mucho	Bastante/Mucho	Bastante/Mucho	Bastante/Mucho
	% [IC]	% [IC]	% [IC]	% [IC]	% [IC]	% [IC]
¿Crees que el diseño y contenido han sido representativos del rol enfermero?	59,26 [48,33-70,19]	74,07 [64,32-83,82]	82,72 [74,30-91,13]	90,12 [83,49-96,76]	62,96 [52,22-73,71]	73,80 [66,67-80,98]
¿Cómo valoras la duración de 10 minutos, de cada una de les estaciones?	38,27 [27,46-49,09]	67,90 [57,51-78,29]	76,54 [67,12-85,97]	58,02 [47,04-69,01]	77,78 [68,53-87,03]	63,70 [50,02-69,39]
¿Qué nivel de dificultad te ha comportado resolver cada una de las estaciones?	80,25 [71,39-89,11]	28,40 [18,36-38,43]	32,10 [21,71-42,49]	18,52 [9,88-27,16]	51,85 [40,73-62,97]	42,20 [36,29-48,16]
¿Cómo de claros han estado los enunciados de los casos sobre lo que tenías que hacer?	51,85 [40,73-62,97]	69,14 [58,86-79,41]	82,72 [74,30-91,13]	90,12 [83,49-96,76]	62,96 [52,22-73,71]	61,00 [55,27-66,71]
¿Qué nivel de inquietud y estrés te ha generado resolver cada una de las estaciones?	85,19 [77,28-93,09]	40,74 [29,81-51,67]	41,98 [30,99-52,96]	27,16 [17,26-37,06]	37,04 [26,29-47,78]	46,20 [40,88-51,96]
¿Cómo valoras la función de los docentes observadores, en cada una de las estaciones?	67,90 [57,51-78,29]	75,31 [65,71-84,90]	77,78 [68,53-87,03]	85,19 [77,28-93,09]	88,89 [81,90-95,88]	79,00 [72,53-85,49]
¿Cómo valoras el conjunto de la experiencia de cada una de las estaciones?	46,91 [35,81-58,02]	64,20 [53,53-74,86]	70,37 [60,21-80,53]	60,49 [49,62-71,37]	71,60 [61,57-81,64]	62,70 [54,25-71,19]

Variables de estudio

Las variables de estudio respondían a los 7 aspectos valorados por parte del estudiantado sobre su experiencia al finalizar su participación en la ECOE. Estos aspectos fueron: diseño y contenido de las estaciones; duración de las estaciones; dificultad de las estaciones; claridad de los enunciados; inquietud y estrés generado; función de los docentes observadores; y valoración global de la experiencia. Las variables ordinales categóricas de respuesta tenían un rango de nada/poco/bastante/mucho que gramaticalmente se adaptaban según el enunciado de las preguntas (tabla 3 en material suplementario).

Consideraciones éticas

El estudiantado, fue informado de la finalidad de la prueba piloto y criterios de evaluación y pudieron abandonar el estudio en cualquier momento, sin repercusión en sus expedientes. En la puerta de cada una de las estaciones, había un ordenador, donde al entrar su contraseña, se mostraba un consentimiento que los participantes debían de aceptar para poder entrar en la sala y resolver el caso. Se consideró la ley orgánica 3/2018 de protección de datos personales y garantía de los derechos digitales. El estudio, estaba enmarcado dentro de un proyecto de investigación y contó con un informe favorable del comité de ética de investigación de la universidad (93/2019).

Análisis de datos

Para el análisis de los resultados se agruparon las variables de respuesta de cada pregunta en 2 categorías ordinales de la siguiente forma: nada/poco (como menos favorables) y bastante/mucho (como más favorables).

Posteriormente, se extrajeron las respuestas individuales de cada ítem por individuo y se calcularon los porcentajes de respuestas de la categoría bastante/mucho y sus intervalos de confianza en un 95%, mediante el programa STATA17.

Resultados

De los 113 matriculados, 102 accedieron a participar en un primer momento, de los cuales 17 no se presentaron el día de la ECOE y uno abandonó durante la realización de la prueba. En total, la participación final fue del 74,3% (84 estudiantes repartidos en 21 grupos). El 79,8% fueron mujeres y la edad media fue de 22,51 años.

En el conjunto de la experiencia, un 62,7% (54,25-71,19) la valoraron como bastante o muy buena, obteniendo la mejor puntuación la Estación 5 (diagnósticos enfermeros) con un 71,60% (61,57-81,64) y la peor la Estación 1 (dolor torácico) con un 46,91% (35,81-58,02).

En relación con el diseño y contenido de la ECOE, un 73,8% (66,67-80,98) consideraron que la prueba era bastante o muy representativa del rol enfermero. Según el estudiantado, la Estación 4 (educación sanitaria) fue bastante o muy representativa del rol enfermero con un 90,12% (83,49-96,76), mientras que la Estación 1 (dolor torácico), fue considerada la que menos con un 59,26% (48,33-70,19), por debajo de la Estación 2, 3 y 5.

Con respecto a la duración de la prueba, un 63,70% (50,02-69,39) del estudiantado tuvo la percepción de que 10 minutos eran suficientes o muy suficientes para resolver cada estación. Sólo un 38,27% (27,46-49,09) los consideró suficientes o muy suficientes para resolver la Estación 1 (dolor torácico), mientras que en la Estación 5 (diagnósticos enfermeros), fueron consideraron suficientes por un 77,78% (68,53-87,03) del estudiantado.

En general, un 42,20% (36,29-48,16) consideró que eran bastante o muy difícil resolverlos. La Estación 1 (dolor torácico) se sitúa como la más dificultosa con un 80,25% (71,39-89,11), mientras que la Estación 4 (inserción de vía periférica), solo un 18,52% (9,88-27,16) del estudiantado la consideró bastante o muy difícil de resolver. En cuanto a la claridad de los enunciados, una media global del 61% (55,27-66,71) de respuestas los consideró bastante o muy claros. Encontrándose los mejores valores en la Estación 4 (educación sanitaria) con un 90,12% (83,49-96,76) y, de nuevo, los más bajos en la Estación 1 (dolor torácico) con un 51,85% (40,73-62,97).

El estrés percibido por el estudiantado muestra una media global de 46,20% (40,88-51,96), siendo la Estación 4 (educación sanitaria), la que menor estrés generó su resolución con un 27,16% (17,26-37,06) y la Estación 1 (dolor torácico), la que más, con un 85,19% (77,28-93,09).

Por último, la función de los docentes durante la ECOE, un 79% (72,53-85,49) la valoraron como bastante o muy buena. El docente evaluador de la Estación 5 (diagnósticos enfermeros) fue la mejor valorada con un 88,89% (81,9-95,88), mientras que el docente de la Estación 1 (dolor torácico) fue el que menos, con un 67,90% (57,51-78,29).

Discusión

Percepción del estudiantado respecto el método

Los estudiantes penalizaron la Estación 1 (dolor torácico) frente la Estación 4 (educación sanitaria), en prácticamente todas las preguntas. Un gran porcentaje de participantes consideraron que, el saber poner una vía periférica (82,72%) o dar consejos terapéuticos a un paciente (90,12%), son competencias con las que, una vez aprendida la técnica o el proceso, se sienten más cómodos a la hora de ser evaluados. Contrariamente a lo que pasa en la estación 1 (dolor torácico), en la que actuar correctamente frente a una situación incierta, forma parte de experiencias más avanzadas, que la mayoría de alumnos no poseen, en el momento académico en que se encuentran. No todos los estudiantes han tenido la misma oportunidad de coincidir con ellas en sus períodos de prácticas. Por ello, es probable que solo un 38,27% la considerada realizable en los 10 minutos de tiempo de la estación y un 80,25% le comportara dificultad en resolverla, frente el 18,52% de la Estación 4. A un 85,19%, enfrentarse a la atención de un dolor torácico les generó bastante o mucho estrés, frente al 16% de la Estación 4³.

En la claridad de los enunciados, tan recomendada para este tipo de pruebas^15,16, hay que destacar que se prestó especial atención en que fueran los más claros y simples posible. De nuevo, la Estación 1 (dolor torácico) fue la peor valorada en comparación con la Estación 4 (educación sanitaria) y el resto de las estaciones. Aún así, un 51,85% consideraron el enunciado de la Estación 1 era bastante o muy claro. Como más claros y concretos sean los objetivos y las instrucciones previas que se facilita al participante, mejor puede ayudarles a obtener un resultado óptimo en la prueba de ECOE. Por ese motivo, es necesario dotar de la máxima calidad las instrucciones, puesto que son un punto de partida clave para obtener los resultados esperados³.

La función de los docentes fue considerada como bastante y muy adecuada por un casi 80% de los estudiantes. remarcando que se mostraron comunicativos e interactivos, hecho que facilitó seguir el ritmo de la prueba⁶. Incluso en la Estación 1 (dolor torácico) como la peor valorada a nivel global, la función del docente observador obtuvo la mejor puntuación otorgada por un casi 70% de los estudiantes. En el resto de las estaciones, la presencia del observador fue experimentada como un elemento tranquilizador. Es importante considerar que, en algunos casos, la no presencia de un evaluador puede también favorecer un buen resultado al no sentirse directamente observado¹⁷.

Percepción de la ansiedad y el aprendizaje, relacionada con el método ECOE

Siempre que se somete al estudiantado a una prueba evaluativa, hay un componente de estrés que ejerce una presión, condicionando la naturalidad de la acción⁵. Una ECOE lleva implícita un cierto nivel de estrés en el estudiantado^6,18. Cada vez más, están apareciendo nuevas formas complementarias de evaluar, que ayudan a disminuir el estrés de participación y reforzar los conocimientos de habilidades clínicas, como puede ser el uso de los serious games¹⁹. La ansiedad y el estrés impactan en el nivel de eficiencia que demuestra el estudiantado en un área concreta de la competencia, y puede ser la causa de que el estudiantado olvide algunos conocimientos básicos de su día a día, como por ejemplo un lavado de manos¹⁸. El 46,2% del estudiantado manifestó que la ECOE, en general, les generó inquietud y estrés, con resultados ligeramente inferiores a otros estudios previos¹⁷. Consideramos que nuestro estudiantado tuvo la ventaja de estar ya familiarizados con las salas donde se realizó la ECOE, a través de las simulaciones clínicas que ya habían realizado durante todo el curso. El estudiantado percibe que la preparación previa ayuda a disminuir el estrés⁶, aunque en este estudio reconocieron haber venido con poca preparación.

El estudiantado manifestó cierta dificultad en la resolución de las estaciones, pero también reconocieron disponer de los conocimientos necesarios para su resolución, mediante las simulaciones clínicas y las prácticas asistenciales realizadas durante el curso. Pensamos que influyó el hecho de que ya conocían el objetivo formativo de la ECOE, en base a una retroalimentación evaluativa^18,20. Desde un principio, sabían que participaban voluntariamente en un estudio, que podían abandonar en cualquier momento y que el resultado de su acción no afectaría a su expediente académico.

Conclusiones

Realizar una encuesta de percepción sobre las experiencias vividas en una ECOE en 2.° curso del Grado de Enfermería permite recoger la experiencia del estudiantado para tener la percepción de su vivencia y considerarla en futuras ediciones.

Permite observar aquellas áreas competenciales que los estudiantes aún no tienen integradas eficientemente.

De forma general, más de la mitad de los estudiantes valoran satisfactoriamente su experiencia en la participación en la prueba piloto de una ECOE, en mitad de su formación académica.

Consideran que el diseño de los casos es representativo del rol enfermero cuando se relacionan con experiencias previsibles tales como la educación sanitaria, pero no cuando se tratan temas que precisan de la toma de decisiones rápidas, tales como la atención a un paciente con dolor torácico. Lo mismo sucede con el tiempo adjudicado para resolver las situaciones, el nivel de dificultad y la claridad de los enunciados.

Los participantes manifiestan cierto nivel de estrés durante la prueba que aumenta cuando sienten que no están preparados para resolver una situación incierta.

La función de los docentes está bien considerada cuando se muestran interactivos y comunicativos durante la prueba.

Responsabilidades éticas

Los estudiantes, en todo momento conocieron la información y pudieron abandonar el estudio en cualquier momento, sin repercusión en sus expedientes. Antes de entrar en cada una de las estaciones, el sistema informático de gestión les mostró un consentimiento, que los estudiantes debían aceptar para poder entrar en la sala y resolver el caso (Anexo 1). Se consideró la ley orgánica 3/2018 de protección de datos personales y garantía de los derechos digitales. El estudio, está enmarcado dentro de un proyecto de investigación que cuenta con un informe favorable del comité de ética de la recerca de la UVic – UCC con el código: 93/2019.

Financiación

Esta investigación no recibió ninguna subvención específica de agencias de financiación en los sectores público, comercial o sin fines de lucro.

Conflicto de intereses

Todos los autores declaran que no tienen conflictos de intereses.

Agradecimientos

Agradecer a todos los miembros del equipo docente del Grado de Enfermería de la UManresa por su implicación en el proyecto a través de distintas colaboraciones. En especial a Carme Valiente por la idea de implementar este sistema de ECOE en los estudios y a Carmen Gomar por su asesoramiento en el formato de este artículo. Agradecer al equipo del CISARC por el soporte en la organización de la ECOE. Agradecer a Anaís Álvarez por el soporte estadístico facilitado.

Presentaciones en congresos

Presentado como comunicación oral en el IX Congreso de la Sociedad Española de Simulación Clínica y Seguridad del Paciente, Granada 25-27 de noviembre de 2021.