La ECOE (Examen Clínico Objetivo Estructurado) fue propuesta por Harden en 1975 y es una metodología de evaluación de la competencia bien establecida y consolidada en su estructura y organización1,2. En ella los participantes se enfrentan a situaciones de la práctica clínica en un entorno de simulación, en similares condiciones de dificultad y una rúbrica de evaluación objetiva y uniforme. La validez y fiabilidad de las ECOE han sido estudiadas y dependen de algunas características intrínsecas de la prueba3–5. La Conferencia Nacional de Decanos de Facultades de Medicina de España (CNDFME) estableció la obligatoriedad de la ECOE para evaluar la competencia final de los egresados6.

Durante la pandemia COVID-19 las facultades de Medicina tuvieron que implementar una prueba sustitutiva de la ECOE en el curso 2019-20 y crearon un examen online de 10 casos clínicos con preguntas a las que se les asignaron, a criterio del Comité ECOE interfacultativo de la CNDFME (Comité ECOE-CND), los dominios competenciales de la ECOE convencional.

En el curso 2020-21, la CNDFME acordó la realización de una prueba ECOE que incluyera una ECOE convencional presencial y una prueba común online similar a la desarrollada en 2019-20. Por aproximación al sistema norteamericano, e inmersos en el actual proceso de acreditación internacional de las facultades de Medicina españolas, a la ECOE convencional, similar al Step-2 CS (Clinical Skills), se la denominó ECOE-CS (Casos Simulados), y a la prueba online se la denominó ECOE-CCS (Casos-clínicos Computarizados Simulados) por pretender asemejarla al Step-3 CCS (Computarized-based Cases Simulation)g. El Comité-CND, integrado por los responsables ECOE de todas las facultades, creó los casos clínicos de la ECOE-CCS con el objetivo de evaluar 5 dominios competenciales de la ECOE-CS: anamnesis, exploración clínica, juicio clínico, prevención y promoción de la salud, y profesionalismo (valores profesionales y aspectos ético-legales). Dichos dominios se asignaron a los ítems de la ECOE-CCS por consenso del Comité ECOE-CND, asumiendo que ambas pruebas podían evaluar las mismas competencias. Veintiséis facultades participamos en la ECOE-CCS y 14 organizamos adicionalmente una ECOE-CS.

Los objetivos de este trabajo son: 1) describir los resultados de los alumnos de 6° curso de nuestra facultad en ambas pruebas y 2) analizar la correlación de resultados de alumnos entre los mismos dominios competenciales evaluados con las 2 pruebas para analizar su similitud.

La población del estudio fueron los alumnos de 6° curso de Medicina. La ECOE-CCS se realizó el 7 de mayo de 2021. Dispusieron de 130 minutos y constaba de 10 casos clínicos con 84 preguntas y 303 ítems evaluables. Los alumnos la realizaron vigilados en aula, conectados desde un iPad a través de la plataforma Moodle. Los tipos de preguntas de la prueba fueron: con respuestas de opción múltiple (48%), con respuestas anidadas o incrustadas tipo Cloze (31%), verdadero/falso (6%), emparejamiento de opciones (5%), cuestiones para arrastrar y soltar sobre texto (4%) o imagen (4%), y selección de palabras perdidas (2%). La semana previa los alumnos se entrenaron con un simulacro de prueba similar. La distribución de ítems y puntos por casos y competencias se muestran en la tabla 1.

Al día siguiente los alumnos realizaron la ECOE-CS en el Centro de Simulación Clínica Avanzada de la universidad. Constó de 12 estaciones y la realizaron en 120 minutos. Los alumnos fueron asignados aleatoriamente en 5 turnos de 2 ruedas simultáneas. En cada rueda participaron 12 alumnos, con un total de 9 ruedas. Para paliar el efecto copiado entre alumnos de distintos turnos, se crearon 2 versiones ECOE-CS donde la mitad de las estaciones introducían variaciones en los casos clínicos sin alterar el peso de las competencias evaluadas. En la organización se garantizó la no a esarroll ECOE-CS-1 se desarroll en ó en No hubo comunicación de alumnos entre turnos sucesivos de ECOE. La ECOE-CS-1 se implementó en los turnos 1º, 2º y 4º (total 6 ruedas), y la ECOE-CS-2 en el 3º y 5º turnos (total 3 ruedas). La ECOE-CS-1 se d Ambas tuvieron 7 pacientes simulados, 2 informes clínicos y 3 simuladores. La ECOE-CS-1 tuvo 320 ítems y 903 puntos; la ECOE-CS-2, 321 ítems y 906 puntos. Las tablas de especificaciones se muestran en la tabla 2. La identidad de los alumnos se ocultó a pacientes simulados y evaluadores mediante un código de letras y números que portaban en la bata. Los informes clínicos se corrigieron el mismo día de la prueba. Para los registros de evaluación se utilizó el programa GEXECO® soportado en tablet con sistema operativo Android.

Las variables recogidas de cada alumno fueron: A) de la ECOE-CCS: puntuación en cada pregunta, cada caso clínico y cada dominio competencial, y calificación final; B) de la ECOE-CS: versión 1 o 2, rueda y turno, puntuación en cada ítem, cada estación, cada dominio competencial y calificación final.

Las calificaciones finales y en los dominios competenciales se muestran como media ± desviación estándar. Las diferencias entre ECOE-CCS, ECOE-CS-1 y ECOE-CS-2, y entre estaciones o casos, se comprobaron mediante el estadístico T de Student. Para comprobar la correlación entre las 2 pruebas y entre casos o estaciones dentro de cada prueba, se calculó el coeficiente de correlación de Pearson (R). La fiabilidad (consistencia interna) de las pruebas respecto a sus respectivos dominios competenciales se calculó con el alfa de Cronbach (α).

Para el análisis estadístico se empleó el software R v4.1. Se consideró que existían diferencias significativas cuando el p valor fue igual o menor a 0,05.

El protocolo del estudio fue aprobado por el Comité de Ética de la Investigación de la Universidad Francisco de Vitoria.

Realizaron ambas pruebas el 100% de los alumnos (108; 31 hombres, 28,7%, y 77 mujeres, 71,3%). La ECOE-CS-1 fue administrada a 72 alumnos (66,7%) y la ECOE-2 a 36 (33,3%).

Los resultados globales y por dominios competenciales se muestran en la tabla 3. Los alumnos obtuvieron mejores puntuaciones en la ECOE-CCS, tanto en calificación final como en todos los dominios, menos anamnesis.

Las diferencias de puntuaciones entre las ECOE-CS-1 y 2 solo fueron estadísticamente significativas en la calificación final y la mitad de los dominios competenciales evaluados. Analizados los resultados en las estaciones de las ECOE-CS, solo hubo diferencias significativas en 2 de las estaciones comunes y 2 de las específicas, y se hallaron mejores resultados en los turnos de tarde en 5 de las estaciones de la ECOE-CS-1 y 4 de la ECOE-CS-2. Los resultados significativamente mejores en los turnos de tarde en ambas ECOE-CS fueron los de juicio clínico y la calificación final.

Se analizó la consistencia interna de cada prueba respecto a sus dominios competenciales y el alfa de Cronbach fue: ECOE-CS-1 α=0,62; ECOE-CS-2 α=0,54 y ECOE-CCS α=0,38.

Se valoró la posible influencia en las calificaciones de las puntuaciones asignadas a los ítems. Las ECOE-CS-1 y 2 fueron homogéneas en el número medio de puntos por ítem pero, comparativamente, la puntuación media de los ítems de la ECOE-CCS fue superior en anamnesis (2,86 puntos/ítem vs. 2,22 en ECOE-CS), exploración clínica (3,74 puntos/ítem vs. 2,63 en ECOE-CS) y prevención y promoción de la salud (3,31 puntos/ítem vs. 3,22 en ECOE-CS). Por el contrario, la puntuación media de ítems fue superior en la ECOE-CS en juicio clínico (3,62 puntos/ítem vs. 3,39 en ECOE-CCS) y profesionalismo (3,81 puntos/ítem vs. 3,44 en ECOE-CCS).

Se analizó la correlación de resultados de todos los alumnos en las 2 pruebas, por calificación final y cada dominio competencial. Además, se analizó en el subgrupo de alumnos que mejores calificaciones había alcanzado en cada uno de los dominios competenciales de la ECOE-CS (Q4, percentil ≥75), para buscar un hipotético mejor rendimiento en la ECOE-CCS de estos alumnos en esos mismos dominios. No se demostró correlación entre calificaciones globales de la ECOE-CS con la ECOE-CCS: R=0,184 (p= 0,056). Tampoco se obtuvo correlación al analizarlas por separado: ECOE-CS-1 vs. ECOE-CCS: R=0,205 (p=0,084) y ECOE-CS-2 vs. ECOE-CCS: R=0,140 (p=0,414).

En la figura 1 se muestran los valores del coeficiente de correlación de Pearson entre los mismos dominios competenciales de las 2 pruebas, para todos los alumnos y para el subgrupo de alumnos Q4, sin que se demuestre correlación significativa en ninguno de ellos (p entre 0,141 y 0,764).

Figura 1.

Coeficiente de correlación de Pearson (R) entre dominios competenciales de la ECOE-CS y la ECOE-CCS para todos los alumnos (izquierda) y alumnos Q4 (derecha). Se enmarcan los valores de R entre dominios competenciales homónimos.

(0.24MB).

En la figura 2 se presenta, como ejemplo, la dispersión de resultados obtenidos por todos los alumnos en juicio clínico en ambas pruebas, sin correlación.

Figura 2.

Coeficiente de correlación de Pearson (R) entre juicio clínico de la ECOE-CS y la ECOE-CCS (todos los alumnos).

(0.05MB).

Se estudió también la existencia de concordancia de cada alumno en los mismos dominios competenciales dentro de las distintas estaciones de la ECOE-CS e, igualmente, los distintos casos clínicos de la ECOE-CCS, sin demostrarse concordancia en ningún caso (R= 0 – 0,62 en ECOE-CS; R = 0 – 0,23 en ECOE-CCS).

La evaluación de la competencia es un proceso complejo, que requiere múltiples pruebas y evaluadores, y metodologías válidas y fiables8,9. Evaluar la competencia (competence), no obstante, difiere de evaluar el desempeño o actuación habitual en condiciones reales (performance)4,10. Entre los métodos de evaluación de la competencia, la ECOE es una herramienta capaz de evaluar el desempeño en entorno de simulación11.

En la literatura existen diversas herramientas tecnológicas para evaluar la competencia, mejorando la accesibilidad y tratamiento de los datos, y reduciendo costos de producción12. Entre ellas, existen programas informáticos de simulación de casos clínicos por ordenador (Computer-based Case Simulations, CCS), también denominados pacientes virtuales (PV), creados para obviar las dificultades logísticas de la ECOE13. Sus inconvenientes son los altos costes y las limitaciones de interacción física y de fidelidad a la realidad12,14. El Step-3 CCS es un ejemplo de ello: despliega 13 casos clínicos mediante el software de simulación virtual Primum CCS®15. El Step-3 CCS incluye, además de la evaluación con dicho software, más de 400 preguntas de opción múltiple administradas en 2 días distintos16.

La ECOE online (Virtual ECOE, VECOE) es otra herramienta tecnológica cuya principal característica es que conserva la interacción con pacientes simulados en tiempo real a través de plataformas online17,18.

También existen experiencias de evaluación con preguntas de opción múltiple sobre casos clínicos por ordenador (Computer-based Cases Test, CCT)19.

La ECOE-CCS se asimiló con los casos clínicos virtuales del Step-3 pero, a diferencia de éste, no utiliza un software simulador de casos clínicos CCS, sino que se trata de un examen de casos clínicos por ordenador (CCT). En coherencia con la literatura internacional y para evitar confusiones sobre su metodología evaluativa, no se debería denominar ECOE-CCS, sino prueba CCT, al asimilarse a dicha metodología, y no a la ECOE convencional.

Una limitación de nuestro estudio es que la muestra corresponde a alumnos de una única facultad y los resultados podrían atribuirse a características propias, distintas a la media de otras facultades. Sin embargo, los resultados globales de nuestros alumnos en la ECOE-CS son similares a los descritos por otras facultades nacionales20–22 y los resultados de la ECOE-CCS, desprendidos de datos internos analizados por el Comité ECOE-CND, también nos sitúan en un rango similar respecto al resto de facultades españolas.

Otra limitación es que la ECOE-CS, por el contexto COVID-19, solo tuvo 12 estaciones y esto pudo afectar a los resultados de consistencia interna. Por el contrario, creemos que favoreció mejores condiciones de comparación con la ECOE-CCS, por similar número de casos e ítems.

La diferencia de resultados entre las ECOE-CS-1 y 2 pudiera deberse a los distintos grados de dificultad de algunas estaciones específicas y al menor número de alumnos en la ECOE-CS-2 y no tanto a su capacitación, ya que la asignación fue aleatoria. Los mejores resultados en los turnos de tarde parecen confirmar que pudo existir un efecto copia en ambas versiones. Esta hipótesis se corrobora porque, de los 52 alumnos (48%) que cumplimentaron una encuesta anónima de satisfacción al finalizar la prueba, 22 (42%) reconocieron haber recibido información de compañeros durante el día.

La ponderación de los ítems también pudo influir en los resultados finales de las 2 pruebas, si bien consideramos que no justifica la falta de correlación entre dominios competenciales pues las diferencias de puntuación en los ítems no suponen cambios directamente proporcionales en los resultados de los alumnos, que pueden acertarlos o no, y alumnos brillantes en sus resultados ECOE-CS obtuvieron malos resultados en la ECOE-CCS y a la inversa.

La cohesión entre dominios competenciales (α de Cronbach) se demostró mayor en las ECOE-CS que en la ECOE-CCS, aún sin ofrecer una consistencia interna robusta (α=0,38 a 0,62). No obstante, los valores superiores son similares a los descritos en una revisión sistemática del tema y atribuyen una mayor fiabilidad a un número mayor de estaciones, la presencia de segundos evaluadores y algunos factores no conocidos23.

En nuestro estudio no se ha podido demostrar correlación de resultados globales ni por dominios competenciales entre ECOE-CS y ECOE-CCS. Existen 2 estudios donde se obtiene correlación, pero se trata de un software de pacientes virtuales tipo CCS. En el primero, con un programa web que procesaba lenguaje natural y ofrecía respuestas coherentes en las distintas fases del caso, se demostró correlación global, pero no por competencias24. En el segundo, con algunos déficit metodológicos no aclarados, se correlacionan resultados en algunas competencias del software con la calificación global de la ECOE25.

En otro estudio se comparó un examen de casos clínicos por ordenador tipo CCT con la competencia frente a pacientes simulados ocultos durante la consulta médica y se demostró una correlación inversa de resultados entre ambas pruebas19. Los autores concluyeron que la evaluación con pacientes simulados y casos clínicos por ordenador no rinden similar información sobre la competencia y/o desempeño del candidato, al evaluar distintas dimensiones y tener constructos diferentes.

En un estudio más similar al nuestro, 80 alumnos realizaron un examen de 8 casos clínicos computarizados donde se medían conocimientos y habilidades de toma de decisiones con preguntas verdadero-falso y de opción múltiple, y una ECOE de 4 estaciones y 4 informes clínicos posteriores, evaluada por observadores externos a los pacientes estandarizados. Se demostró correlación débil (R= 0,32 a 0,47) tan solo para los resultados finales de los alumnos, no por competencias26.

La ausencia de correlación de resultados por alumno en las mismas competencias entre estaciones independientes de las ECOE-CS, creemos que es coherente con el conocimiento actual de que es necesario un determinado número de estaciones ECOE para garantizar la validez y fiabilidad de los resultados y no es posible inferirlos sóolo con un número inferior de estaciones, pues los dominios competenciales se evalúan por los resultados del conjunto de las estaciones4,5,23. No podemos interpretar el significado de la falta de correlación interna entre casos clínicos de la ECOE-CCS por no existir literatura ni experiencia previa sobre las dimensiones competenciales a medir.

La validez de una prueba, o capacidad de medir adecuadamente aquello para lo que se diseñó, es el fundamento de la evaluación y requiere un largo y elaborado proceso de construcción que pasa, entre otros , por buscar la correlación de resultados con otras pruebas que midan lo mismo8,9,11,27–29. En nuestro estudio esta correlación no ha existido. Mientras que en la ECOE ya se ha medido su validez y fiabilidad, por el momento no se conocen las de la mal denominada ECOE-CCS.

El desempeño frente a un paciente simulado (ECOE-CS) y el razonamiento ejercitado en un examen por ordenador sobre unos dominios competenciales en relación a un caso clínico (prueba CCT, erróneamente denominada ECOE-CCS) suponen procesos psicológicos distintos que deben medirse con herramientas evaluativas de constructo psicométrico distinto. Esto es especialmente evidente cuando, por ejemplo, se evalúa la competencia en exploración clínica frente a un paciente o a un caso clínico por ordenador. Ambas pruebas evalúan competencias distintas y en diferentes niveles de la pirámide de Miller por lo que no es posible asimilarlas ni ponderarlas como iguales8,10,30.

Tal y como definía Harden, «la ECOE es un examen clínico o práctico. Es una evaluación del desempeño y se centra más en lo que los alumnos pueden hacer que en lo que saben. Lo que se evalúa es lo que hace el examinado cuando se enfrenta a un paciente o a una situación, no lo que sabe o las respuestas que escribe a una pregunta teórica sobre el tema»2.

La mal denominada ECOE-CCS es un formato novedoso de examen en nuestras facultades que pudiera tener un papel en la evaluación del alumno, pero no debe correlacionarse ni confundirse con la ECOE, ni sus resultados por competencias deben ponderarse con las competencias de una ECOE. Serán necesarios más estudios comparativos entre pruebas que incluyan resultados del conjunto de facultades para ratificar o no las hipótesis de este trabajo y extraer conclusiones para la definición y mejora de esta prueba en el futuro.

El protocolo del estudio fue aprobado por el Comité de Ética de la Investigación de la Universidad Francisco de Vitoria con fecha 21 de diciembre de 2022.

En relación a la exención de consentimiento informado de los participantes, deseamos exponer que la aclaración sobre este punto nos fue exigida previamente en el protocolo presentado al Comité de Ética para su aprobación.

Los datos recogidos para el estudio no contienen datos personales, tan solo el resultado de las evaluaciones de alumnos sin ningún dato que permita la asociación del participante con su identidad. Además, todos los datos recogidos en el transcurso del estudio fueron tratados de forma estrictamente confidencial. Los datos solo han sido utilizados para desarrollar el estudio y su tratamiento se ha destinado estrictamente a fines estadísticos. El equipo investigador se comprometió individualmente, con documento firmado manuscrito, a mantener la identidad y datos de los participantes en el anonimato, y a omitir cualquier acción encaminada a la identificación de los participantes del estudio. Por todo ello, el Comité de Ética aceptó la exención del consentimiento informado.

Los autores declaran que no tienen intereses económicos ni relaciones personales que pudieran haber influido en el trabajo presentado en este artículo.

A Roger Ruiz Moral y Santiago Álvarez Montero por sus acertadas orientaciones en la redacción del manuscrito.