La evaluación de la competencia clínica se ha realizado a través del tiempo utilizando instrumentos como el examen ante un paciente real. Esta forma de evaluación tradicional hace difícil valorar explícitamente todos los componentes que integran la competencia clínica1. En 1975, Harden inició la observación directa con múltiples estaciones estructuradas con listado evaluativo, que dio el nombre al objective structured clinical examination (OSCE), en español evaluación (o examen) clínico objetivo estructurado (ECOE)2. La ECOE es un formato de examen que va dirigido a la evaluación de habilidades y actitudes ante determinadas situaciones clínicas, a diferencia de los exámenes habituales escritos en los que fundamentalmente se evalúan conocimientos. A grandes rasgos, evaluar la competencia clínica es medir de forma objetiva si se ha obtenido la información teórica y si se aplica en la práctica de manera correcta3.

En EE. UU. y Canadá, numerosos estudios han demostrado que la prueba ECOE es un método de evaluación de la competencia clínica con evidencia de validez, objetividad y confiabilidad3-5. La ECOE incorpora diversos instrumentos evaluativos y se desarrolla a lo largo de sucesivas estaciones que simulan situaciones clínicas6. La potencia de este formato radica en la mezcla de métodos de evaluación, de manera que es capaz de explorar suficientemente 3de los 4niveles de la pirámide de Miller: saber, saber cómo y demostrar cómo7. El número de estaciones varía según los objetivos para evaluar, pero se considera desde un mínimo de 5estaciones hasta un máximo de 203-7.

En España ha habido una implantación dispar en las diferentes facultades de Medicina; la experiencia más amplia se da en Cataluña desde hace más de 20 años8. La Conferencia Nacional de Decanos de Facultades de Medicina (CND-FM) ha establecido que la prueba tipo ECOE de 20 estaciones es la que deben realizar todos los alumnos del sexto curso del grado de Medicina. Es una prueba de carácter práctico orientada a valorar la competencia profesional del alumno de acuerdo con las competencias específicas del grado en Medicina establecidas por la Orden ECI/332/2008 publicada en el BOE de 15/02/2008 mediante la resolución de casos clínicos y la demostración de habilidades9.

La prueba ECOE explora diversos campos evaluativos mediante diferentes metodologías, de manera que las estaciones incluyen pacientes estandarizados, maniquíes, preguntas de respuesta corta, realización de exploraciones complementarias ajustadas al caso, redacción de informes clínicos, examen oral estructurado, habilidades y procedimientos, estaciones con ordenador o con simuladores9.

Aunque la ECOE supone un gran esfuerzo colectivo, tanto en lo relativo a la realización de dichas pruebas como a su evaluación, diversas publicaciones han demostrado que tienen una buena relación coste-efectividad10,11 cuando se ha comparado con métodos de evaluación tradicionales7-9.

Esta prueba es empleada para los estudiantes de Medicina y además es aplicable a otras áreas y estudios de ciencias de la salud, como Enfermería, Auxiliares de Clínica o Terapia Ocupacional12,13. También se emplea en el posgrado y en diferentes especialidades médicas14,15.

En 2016 la Facultad de Medicina de la Universidad Miguel Hernández de Elche preparó su primera prueba de tipo ECOE siguiendo las recomendaciones CND-FM, al igual que casi todas las facultades de Medicina del territorio español. En este estudio nos propusimos analizar la prueba ECOE realizada en la Facultad de Medicina de la Universidad Miguel Hernández de Elche por tipo de estación, periodo de ejecución (turno y rueda) y competencia. Con todo ello se puede plantear un plan de mejora en las ediciones posteriores de dicha prueba.

En la prueba participaron 116 alumnos de sexto curso del grado en Medicina, con una media de edad de 23 años y el rango entre 22 y 28. Asistieron 69 mujeres (59,5%) y 47 hombres (40,5%).

En la prueba había 7(35%) estaciones de paciente estandarizado, 5 (25%) estaciones de informe, 4 (20%) estaciones de maniquí/procedimiento y 4 (20%) estaciones de tipo examen oral estructurado (2 de ellas con maniquí/procedimiento) (tabla 1). El porcentaje de las competencias está recogido en la tabla 1.

La mediana de la puntuación de los alumnos fue de 7,14 (RIC: 6,90-7,43, mínimo 6,15 y máximo 8,15). La mediana de la puntuación de los alumnos del primer día por la mañana fue de 7,10 (RIC: 6,88-7,43), del primer día por la tarde fue superior (7,14; RIC: 6,96-7,43) y la del segundo día por la mañana también lo fue (7,24; RIC: 7,11-7,56), pero sin diferencias estadísticamente significativas. Como recoge la tabla 2, cuando se desglosó por día y rueda tampoco se encontraron diferencias significativas.

La mediana de la puntuación en cada estación con su RIC se recoge en la tabla 3. Esta ha oscilado entre 5,25 y 9,70. Diez estaciones estaban por encima de la mediana global (7,30) de la prueba ECOE.

La figura 1 muestra la representación gráfica de las variaciones observadas entre los diferentes turnos y ruedas (5 en total) en cada estación. En todas las estaciones, salvo en las de informe (n.° 5, 9 y 21), existieron diferencias estadísticamente significativas (p<0,05) entre los 5turnos y ruedas de la prueba ECOE.

Figura 1.

Representación gráfica de la calificación en cada estación por turno y rueda.

1SMA: sábado por la mañana rueda A; 1SMB: sábado por la mañana rueda B; 3STA: sábado por la tarde rueda A; 4STB: sábado por la tarde rueda B; 5DMA: domingo por la mañana rueda A.

(0.4MB).

Al analizar según el tipo de estación, encontramos diferencias significativas entre los 5 tipos utilizados (p<0,001 para la prueba de Friedman). La estación con menor puntuación fue la de informe (con una mediana de 6,41) y la estación con mayor puntuación fue la estación de maniquí/procedimiento (con una mediana de 7,88). El tipo de estación con una puntuación intermedia fue el examen oral estructurado (7,45) (tabla 2) (p<0,001). Considerando exclusivamente las estaciones de paciente estandarizado, la puntuación mediana global fue de 7,12. Las puntuaciones de los alumnos fueron mejores cuando el paciente simulado-evaluador era un facultativo en formación (7,52) que cuando era un actor (6,82) (p<0,001).

El área competencial con mayor puntuación mediana fue la de los aspectos éticos legales y profesionalismo (8,56), seguida de las habilidades de comunicación (7,79), las habilidades técnicas (7,26), la prevención de la salud (7,20), la anamnesis (7,16) y la exploración física (7,15). La competencia con menor mediana de puntuación fue la de las relaciones interprofesionales (5,27). Gráficamente se visualizan las diferencias entre las áreas competenciales en la figura 2, diferencias que resultaron significativas (p<0,001) con la prueba de Friedman.

Figura 2.

Representación gráfica de la calificación por área competencial.

Anam: anamnesis; AspEtic: aspectos éticos; ExpClin: exploración clínica; HabCom: habilidades de comunicación; HabTec: habilidades técnicas; JuiClin: juicio clínico; PrevSalu: prevención y promoción de la salud; RelInter: relaciones interprofesionales.

p de la prueba de Friedman para contrastar igualdad entre las diferentes áreas competenciales respecto de la calificación obtenida.

(0.09MB).

Para cada competencia clínica se analizaron los resultados por tipo de estación (paciente estandarizado, maniquí/procedimiento, informe y examen oral estructurado). En la anamnesis, evaluada en las estaciones de paciente estandarizado y en las de examen oral estructurado, no se detectaron diferencias significativas debidas al tipo de estación. En cambio, en las 7 competencias clínicas restantes encontramos diferencias estadísticamente significativas entre las estaciones de distinto tipo. En la figura 3 se muestra la representación gráfica de los diferentes tipos de estación en los que se evaluaba cada competencia clínica.

Figura 3.

Representación gráfica de la calificación en los diferentes tipos de prueba en cada área competencial.

Área competencial: Anam: anamnesis; AspEtic: aspectos éticos; ExpClin: exploración clínica; HabCom: habilidades de comunicación; HabTec: habilidades técnicas; JuiClin: juicio clínico; PrevSalu: prevención y promoción de la salud; RelInter: relaciones interprofesionales.

Tipo de estación: EOE: examen oral estructurado; IC: informe clínico; MP: maniquí/procedimiento; PEA: pacientes estandarizado con actor; PEF: paciente estandarizado con facultativo.

(0.22MB).

La ECOE es un tipo de evaluación en la que hay poca experiencia y, como ha sucedido ya en centros como las facultades de Medicina de Cataluña, su análisis y evaluación permiten mejorar objetivamente este procedimiento evaluador8.

En este estudio hemos constatado, en un primer análisis de los resultados globales, que la mediana de la puntuación tiene cierta tendencia al alza desde el sábado por la mañana hasta el domingo por la mañana, pero sin diferencias concluyentes en las calificaciones de los estudiantes en los 3turnos. Aunque los alumnos de la tercera rueda podrían disponer de información previa al inicio de la prueba, no se puede afirmar que haya existido un efecto de «aprendizaje» por la experiencia de los compañeros que realizaron previamente el examen. Esto permite reforzar el poder evaluativo de la prueba.

A pesar de un entrenamiento de los facultativos y actores en el análisis de los resultados, objetivamos variaciones entre los diferentes turnos y ruedas (5 en total). Resultó ser más objetiva la evaluación de las pruebas de informe, al no detectarse diferencias entre los diferentes turnos y ruedas. Para mejorar la objetividad de los resultados, sería conveniente reforzar el entrenamiento del evaluador y sistematizar pormenorizadamente los ítems evaluativos.

Como se puede ver en la figura 2, había estaciones «fáciles» y «difíciles», lo que se refleja en una diferencia de las mediana de 4,45 puntos sobre 10 (máximo 9,70 y mínimo 5,25). Esto nos puede inducir a pensar que los estudiantes no están preparados de igual manera en todas las áreas de conocimiento o que la dificultad era diferente.

Apreciamos diferencias significativas entre los diversos tipos de estación respecto de la puntuación obtenida, de manera que parece que el tipo de estación influye en las calificaciones de los estudiantes examinados. Las estaciones con peor calificación fueron las de informe, lo que puede deberse a que eran las más largas y difíciles, tal como se recoge en la encuesta realizada a los estudiantes, o bien a que los criterios de evaluación eran más controlados y fueron evaluadas por un único profesor, siguiendo un riguroso listado de verificación y sus correspondientes criterios de corrección.

Para las calificaciones obtenidas en pruebas realizadas con paciente estandarizado se apreciaban diferencias significativas entre las calificaciones otorgadas por actores y las otorgadas por los facultativos en formación. Esto nos hace pensar que los actores y los profesionales no evalúan igual en las estaciones de paciente estandarizado. Por lo que en ediciones sucesivas, y a fin de mejorar la objetividad de la prueba, podría ser interesante sustituir a los facultativos en formación por actores estandarizados en el papel de pacientes simulados y evaluadores. Probablemente lo ideal sería utilizar evaluadores diferentes al paciente estandarizado, pero es una intervención más costosa en personas, ya que en la misma estación tendría que estar el actor y el evaluador9.

La representatividad de las competencias clínicas evaluadas durante la prueba ECOE fue, en parte, diferente a la recomendaciones propuestas por CND-FM9. Así, la competencia de habilidades de comunicación y anamnesis representaban el 5 y el 15%, respectivamente, en nuestra prueba, inferior a lo que aconseja la CND-FM (15 y 20%, respectivamente). En cambio, la competencia de juicio clínico, plan de manejo diagnóstico y terapéutico y de habilidades técnicas y procedimientos representaban el 24 y el 15%, superior a lo que aconseja la CND-FM (20 y 10%, respectivamente). Mientras que las competencias de exploración física, prevención y promoción, relaciones institucionales y aspectos éticos, que representaban el 15, 12, 8 y 6%, estaban en concordancia con lo propuesto por la CND-FM (15, 10, 5 y 5%, respectivamente)9.

En nuestro estudio se aprecian diferencias significativas entre las calificaciones obtenidas en las diferentes áreas competenciales. Es decir, no se comportan igual los estudiantes en todas las áreas competenciales. Cabe destacar la peor puntuación en la competencia de relaciones interprofesionales. Esta competencia se midió en la mayoría de las ocasiones en las estaciones de informe. El informe de la ECOE de las facultades de Medicina de Cataluña también recoge esta competencia como la de menor puntuación8. Un perfil parecido se obtiene en otros países que utilizan las técnicas de evaluación por competencias16,17. Por ello, esta competencia creemos que debe potenciarse en el último curso de grado en la fase de rotatorio clínico o prácticas clínicas, cuando los alumnos deben participar más en la elaboración de interconsultas y en las relaciones interprofesionales.

La exploración física fue la competencia con mejor puntuación, al igual que la habilidad de comunicación. En este sentido pensamos que el rotatorio clínico de sexto curso es el que ha favorecido una mejor puntuación en estas competencias.

Nuestra prueba ECOE solo tiene una fase multiestación, mientras que otras facultades de Medicina de España, como las catalanas y las de otra partes del territorio español, además, realizan otra fase escrita separada en el tiempo8,18. En los casos en los que se han aplicado las 2fases (escrita y multiestación) se ha comprobado una buena correlación entre ambas8.

La investigación en educación médica es limitada en nuestro entorno8,19,20, pero es un campo en el que se pueden aplicar estándares de conocimiento de otras áreas de la investigación científica. La investigación y los planes de mejora de la prueba ECOE es un campo de investigación en educación médica8,19.

Como recogen es su artículo Kronfly Rubiano et al.8 el espacio europeo de educación superior previsto en la Declaración de Bolonia se ha de contemplar como un reto, pero también como una oportunidad para mejorar la formación en nuestras facultades de Medicina, como es en nuestro caso. El análisis minucioso de la prueba ECOE, gracias a la ayuda de otros departamentos no adscritos a la Facultad de Medicina de la Universidad Miguel Hernández de Elche, ha permitido comprender la naturaleza de la prueba y las oportunidades de mejora que ofrece con vistas a futuras pruebas. Y queremos concluir animando a realizar un análisis de los resultados de la prueba ECOE para generar planes de mejora.

No existe conflicto de interés.