Las habilidades clínicas que los alumnos aprenden durante su formación, son las herramientas para el diagnóstico, prevención y tratamiento oportuno de las enfermedades neurológicas. Su evaluación es indispensable en el proceso enseñanza-aprendizaje. El Examen Clínico Objetivo Estructurado (ECOE), es una forma de evaluar las habilidades clínicas, puede utilizarse en una evaluación sumativa, como formativa, está constituido por estaciones que forman un circuito, en cada estación el alumno enfrenta un escenario que evalúa la habilidad clínica en tres áreas de dominio: cognitivo, actitudinal y psicomotriz. Su implementación es de gran ayuda en la evaluación de competencias profesionales de un plan de estudios con cualidades clínicas.
ObjetivoEl objetivo del presente estudio fue diseñar y pilotear un ECOE para evaluar las habilidades clínicas neurológicas en estudiantes del internado médico.
MétodoSe formó un comité de examen integrado por 12 expertos en neurología, que se capacitaron para el diseño de un ECOE. Se realizó una tabla de especificaciones de habilidades clínicas para evaluar con los casos clínicos, y se diseñó un ECOE donde se incluyeron siete habilidades clínicas: interrogatorio, exploración física, diagnóstico, tratamiento, interpretación de estudios, toma de decisiones y prevención. En cada estación del examen, se validó su contenido y las listas de cotejo, por el comité. Se aplicó una prueba piloto a 14 estudiantes del internado médico, se obtuvieron los promedios de cada estación y el alfa de Cronbach general de la prueba.
ResultadosSe diseñó un ECOE de 18 estaciones y en la prueba piloto se obtuvo un promedio de 6.53, con un alfa de Cronbach general del examen 0.62.
ConclusionesEl ECOE permite evaluar las habilidades clínicas de forma planificada. Los elementos fundamentales para su diseño son: el comité de examen, tabla de especificaciones, diseño de estaciones y logística del examen.
The clinical skills learned by students during their training are the main tools for the diagnosis, prevention and treatment of neurological diseases. Assessment is essential in the teaching-learning process. A Structured Objective Clinical Examination (SOCE) is a method for assessing clinical skills that can be used both as summative and formative assessment. It consists of stations that form a circuit. In each station the student faces a scenario that evaluates the clinical skills domain in three areas: cognitive, attitudinal, and psychomotor. Its implementation is helpful in evaluating professional skills of a curriculum with clinical qualities.
ObjectiveThe objective of this study was to design and pilot an SOCE to assess neurological clinical skills in medical internship students.
MethodA committee was formed including 12 experts in neurology, who were trained to design an SOCE. A clinical skills specification table was constructed in order to assess clinical cases. This was followed by designing an SOCE with 7 clinical skills that included: history, physical examination, diagnosis, treatment, interpretation of studies, decision making, and prevention. In each test station, its contents and checklists were validated by the review committee. A pilot test was applied to 14 medical internship students. The mean, and overall, Cronbach alpha was obtained for each station.
ResultsAn SOCE of 18 stations was designed and pilot tested. A mean of 6.53 was obtained, with an overall Cronbach alpha of 0.62 in the examination.
ConclusionsAn SOCE allows clinical skills to be evaluated in a planned manner. The key elements for design are: the examination committee, table specifications, and design and logistics of the test stations.
La misión principal de los planes de estudio en las escuelas de medicina es formar profesionales competentes que satisfagan las necesidades de salud de la sociedad en donde se desempeñan. Actualmente la investigación en educación médica dirige sus esfuerzos para mejorar la evaluación del proceso enseñanza-aprendizaje, con el propósito de asegurar que el alumno desarrolle las competencias para un desempeño óptimo.
De acuerdo con Van der Vleuten1, la competencia clínica está integrada por habilidades cognitivas, psicomotrices y actitudes; por lo tanto requiere información cuantitativa y cualitativa de los componentes de la competencia clínica, que deben ser evaluadas, por un conjunto de procedimientos para obtener información acerca del progreso del aprendizaje del alumno2.
En la literatura se menciona, que la competencia clínica se evalúa de forma subjetiva por el profesor debido a las características de la actividad clínica, ya que la mayoría de los profesores no aplican instrumentos estandarizados de manera sistemática3. O bien, la evaluación de las actividades clínicas se realiza mediante un examen de opción múltiple, aunque es un instrumento muy confiable, solamente evalúa una dimensión de la competencia clínica, es decir, el conocimiento2,3.
Otros componentes importantes de la competencia clínica que no son evaluados de forma objetiva, son las habilidades clínicas, como son: hacer un interrogatorio y un examen físico adecuados, la toma de decisiones para el manejo, el diagnóstico, el tratamiento, y las medidas preventivas3.
Van der Vleuten4 y Morrison5 coinciden en que la utilidad de los métodos de evaluación se fundamenta en su confiabilidad, validez, inversión requerida tanto en el aspecto económico, como en el tiempo que se requiere para su diseño y aplicación, así como recursos humanos necesarios y la aceptabilidad, tanto de los evaluadores como de los evaluados.
Hasta el momento no existe el método ideal para evaluar las habilidades clínicas, sin embargo desde que fue creado por Harden6 et al. en 1975, el ECOE ha sido validado internacionalmente para evaluaciones en el pregrado, como en el posgrado7, particularmente en neurología se han descrito su utilidad y el valor predictivo8. También puede emplearse con distintas finalidades: como evaluación formativa y sumativa9,10, así mismo es útil para evaluar amplias poblaciones de alumnos de manera simultánea, ejemplo de ello, es su uso como sistema nacional de acreditación de los estudiantes de medicina en Canadá y los Estados Unidos10–12.
En la Facultad de Medicina de la UNAM, se utiliza como evaluación formativa al terminar el segundo y el cuarto año (perfil intermedio I y II) y sumativa como parte de la fase práctica del examen profesional13.
Las ventajas del ECOE sobre otras evaluaciones son: versatilidad, objetividad y replicabilidad. Además se evalúa una amplia gama de habilidades clínicas, y estaciones con diferentes grados de dificultad y complejidad6,14,15.
Dentro de los criterios importantes, que se establecen para el examen, es la concordancia entre el programa del curso y su diseño, así también, los estudiantes se evalúan con criterios predeterminados por los profesores en escenarios clínicos similares15.
El ECOE está constituido por una serie de estaciones que forman un circuito que representan un enfoque particular en algún área de la competencia clínica a evaluar. Las estaciones son los espacios donde los alumnos se enfrentan a escenarios con casos clínicos que evalúan la habilidad clínica y desempeños específicos en las tres áreas de dominio: cognitivo, actitudinal y psicomotriz15,16.
Las estaciones pueden ser dinámicas cuando tienen que realizar algún procedimiento con pacientes estandarizados, o estáticas cuando los examinados encuentran indicaciones para realizar alguna tarea como interpretación de imágenes, o estudios de laboratorio, etc.
Ahora bien, los pacientes estandarizados son personas entrenadas para actuar como un paciente que acude a consultar al médico, conoce la historia clínica, así como los aspectos actitudinales del caso clínico que representará16,17. Se les denomina estandarizados porque sus respuestas siempre ofrecen la misma información, reaccionando siempre de la misma manera18. El uso de pacientes estandarizados acerca al alumno a un mundo más real en su desempeño profesional19.
Durante el examen los alumnos rotan de forma sucesiva y simultánea a través de las estaciones, comúnmente son entre 5 a 20 estaciones, con una duración que va entre 6 a 20 min por cada estación. Su diseño requiere una organización y planificación adecuadas de los recursos humanos y materiales, aunque representa cierta desventaja por el costo de su implementación, sin embargo no debe ser una limitante para su uso como estrategia de evaluación clínica20.
Los elementos fundamentales para su diseño según Harden son:
- a)
Comité del examen, que deberá estar formado por profesionales clínicos de reconocido prestigio (profesores, tutores, miembros de sociedades científicas), en el campo de la docencia y con experiencia en la evaluación clínica. Además deberán ser expertos en el área que será evaluada.
- b)
Tabla de especificaciones, es el resumen gráfico de la estructura del examen, es el documento fundamental del examen donde se relacionan los casos clínicos, con los instrumentos y con las habilidades clínicas que se evalúan.
- c)
Diseño de estaciones, en el que se utilizan las listas de cotejo y/o rúbricas, también aquí se especifica el material requerido (silla, mesa, ordenador, instrumentos exploratorios, entrenamiento de paciente simulado, etc.).
- d)
Logística del examen, que es el ordenamiento sucesivo de las estaciones incluidas en el examen (ya sean situaciones clínicas simuladas, habilidades procedimentales, etc.), así como las características (tiempo, contenido, etc.) y los criterios de evaluación específicos6,16–20.
Con todas las ventajas que el ECOE nos provee y con el propósito de tener mejores herramientas de evaluación de habilidades clínicas neurológicas, se diseñó un ECOE de 18 estaciones para ser aplicado en una prueba piloto a 30 estudiantes del internado de la Facultad de Medicina de la UNAM, ya que son estudiantes que han cursado la asignatura de neurología y se encuentran realizando práctica clínica en ambiente hospitalario, por lo que pueden demostrar las habilidades implicadas en el estudio neurológico del paciente.
MétodoDiseño del ECOEComité de examenSe reunió un comité de 12 expertos del área neurológica (neurólogos y neurocirujanos) además de ser docentes, con más de 10 años de experiencia clínica, a quienes se les impartió un taller sobre el ECOE en dos sesiones de 3h cada una, con el propósito de estandarizar sus conocimientos, los temas principales fueron: generalidades del ECOE, elementos básicos para su diseño, especificaciones del examen, áreas de competencia a evaluar y diseño de estaciones6,7.
Tabla de especificacionesEl comité de examen diseñó la tabla de especificaciones tomando en cuenta los objetivos del programa de la asignatura de neurología de la Facultad de Medicina de la UNAM; además seleccionó las situaciones clínicas neurológicas más frecuentes a las que se enfrenta el médico general, y se seleccionaron siete de las diez habilidades clínicas descritas por la Academia Americana de Neurología6,21.
Diseño de estacionesEl comité de examen se dividió en dos grupos para la elaboración de nueve estaciones cada grupo, para un total de 18 estaciones, la validación de contenido y ponderación de la lista de cotejo de cada estación se realizó por juicio de expertos, utilizando el índice de Lawshe22 índice de validez de contenido, para determinar sus características de esencial, útil o complementario16,17.
Una vez elaboradas las estaciones se realizó una segunda validación por 4 profesores expertos en ECOE quienes evaluaron el diseño y la redacción de las listas de cotejo. Con apoyo del Departamento de Evaluación de la Facultad de Medicina se reunió a 18 profesores con experiencia en ECOE, para participar en la aplicación del examen.
Tomando en cuenta la tabla de especificaciones de habilidades clínicas en neurología, diseñada por el comité de examen, los contenidos que integraron las estaciones fueron 14 patologías neurológicas, que incluyeron: enfermedad de Parkinson, trauma craneoencefálico, neuroinfección, enfermedad vascular cerebral, demencia, crisis convulsivas, neurocisticercosis, migraña, síndrome cerebeloso, lumbalgia, neuralgia del trigémino, esclerosis múltiple, miastenia gravis y adenoma hipofisario.
Se evaluaron las siguientes habilidades clínicas: exploración física, interrogatorio, diagnóstico, tratamiento, prevención, interpretación de estudios y toma de decisiones para el manejo. La duración de cada estación fue de 6 min16,17.
Criterios de evaluaciónCada estación fue evaluada en forma dicotómica, como aprobada o no aprobada, de acuerdo al cumplimiento de los criterios de evaluación correspondientes.
Para estaciones con situaciones clínicas simuladas (dinámicas): se utilizaron listas de cotejo con 10 a 18 ítems, en las que se calificó como tarea realizada o no realizada; se consideró tarea no realizada cuando el alumno no la realizó o lo hizo en forma incompleta o incorrecta. La estación se consideró aprobada cuando el alumno obtuvo como mínimo el 60% del total de respuestas correctas6,22.
Para estaciones con resolución de un instrumento escrito (estáticas): se utilizó una lista de cotejo con 5 a 10 ítems. La puntuación de las respuestas se realizó mediante la comparación con las respuestas esperadas, elaboradas previamente por los expertos22.
Pacientes estandarizadosDos miembros del comité de examen capacitaron a 12 pacientes estandarizados, mediante un taller de seis h, cuyos objetivos fueron: la adecuada comprensión del guión del paciente, la representación del caso clínico, su comportamiento durante el examen, además se incluyeron videos demostrativos de algunos signos clínicos característicos de cada caso, así como el contrato de realidad o de ficción y confidencialidad, este último se refiere a la discreción de las personas y escenarios18–20.
Logística del examenUna vez diseñado el examen, se convocó a 30 alumnos del internado médico de pregrado de la Facultad de Medicina de la UNAM para participar en la prueba piloto del ECOE, especificando que era para evaluar habilidades neurológicas, en noviembre del 2013. Previo al examen los alumnos que asistieron recibieron información general o instrucciones acerca del mismo (duración de estaciones, tipo, habilidades a evaluar). También firmaron un consentimiento para la prueba piloto y uso de información.
Al finalizar el examen se dio una realimentación a cada alumno sobre su desempeño (dudas acerca del diagnóstico, signos clínicos, etc.)23,24.
Análisis estadísticoSe realizó un análisis estadístico con el paquete SPSS (versión 21), para determinar los promedios, desviación estándar de cada estación y el alfa de Cronbach general del examen.
Consideraciones éticasLos autores han obtenido el consentimiento informando de alumnos, profesores y pacientes estandarizados y/o sujetos referidos en este artículo. Este documento obra en poder del autor de correspondencia.
ResultadosCon base en los problemas neurológicos más frecuentes a los que se enfrenta el médico general, diseñamos una tabla de especificaciones del examen con siete habilidades clínicas neurológicas para ser evaluadas en un escenario clínico.
Las habilidades clínicas neurológicas evaluadas fueron: exploración física, interrogatorio, diagnóstico, tratamiento, prevención, interpretación de estudios y toma de decisiones del manejo (tabla 1).
Tabla de especificaciones de habilidades clínicas neurológicas de un examen clínico objetivo y estructurado
| Caso clínico | Descripción |
|---|---|
| Parkinson | Exploración de paciente con signos y síntomas |
| Crisis convulsivas febriles | Interrogatorio a madre de paciente con fiebre |
| Demencia | Interrogatorio y exploración de paciente con afección de funciones mentales superiores |
| Neurocisticercosis | Interrogatorio y medidas preventivas en paciente con CC |
| Trauma craneal | Interpretación de TAC de caso clínico |
| Sx. cerebeloso | Exploración de paciente con vértigo, dismetría y diadococinesia |
| Migraña | Interrogatorio de paciente con cefalea |
| Adenoma hipofisario | Exploración física de paciente con alteración visual, cefalea, amenorrea y galactorrea |
| Neuroinfecciones | Interpretación de LCE de paciente con síndrome infeccioso |
| Neuralgia del trigémino | Interrogatorio de paciente con dolor facial |
| Glasgow | Exploración del estado de conciencia de paciente con TCE reciente |
| Lumbalgia | Interrogatorio y exploración de paciente con dolor de espalda bajo |
| Miastenia gravis | Interpretación de caso clínico con debilidad muscular |
| EVC hemorrágico | Interpretación de TAC y caso clínico |
| Esclerosis múltiple | Interrogatorio de paciente con cuadro de déficit neurológico |
| Trauma craneal | Interpretación de radiografías de cráneo |
| EVC isquémico | Diagnóstico e interpretación de TAC |
| Neuroinfección | Exploración física de signos meníngeos en paciente con síndrome infeccioso, cefalea e hipertensión intracraneal |
EVC: enfermedad vascular cerebral; FMS: funciones mentales superiores; LCE: líquido cerebroespinal; Sx: síndrome; TCE: traumatismo craneoencefálico.
Luego se elaboraron un total de 18 estaciones, 12 estaciones de procedimientos (dinámicas) donde participaron pacientes estandarizados y 6 de interpretación (estáticas).
De los 30 estudiantes convocados solo acudieron 14, a quienes se aplicó el ECOE.
El promedio global de las estaciones fue de 6.53 con una desviación estándar de±0.62. La estación que obtuvo el promedio más alto fue la de Glasgow con una puntuación de 9.39, desviación estándar de ±1.0 y la que obtuvo el promedio más bajo fue la de interpretación de estudio de líquido cerebroespinal con una puntuación de 5.6 y desviación estándar±0.2. El índice de confiabilidad de alfa de Cronbach global fue de 0.62 (tabla 2).
Resultados del ECOE (prueba piloto)
| Estación | Habilidad | Promedio | Desviación estándar | Alfa de Crobach |
|---|---|---|---|---|
| 1 | Exp. física y Dx | 7.3 | 0.5 | 0.58 |
| 2 | Interrogatorio, Dx y Tx | 6.3 | 0.9 | 0.54 |
| 3 | Exp. física, interrogatorio | 6.5 | 0.8 | 0.54 |
| 4 | Prevención | 5.7 | 0.1 | 0.58 |
| 5 | Interpretación de TAC | 5.6 | 0.2 | 0.56 |
| 6 | Exp. física y Dx | 6.7 | 0.6 | 0.60 |
| 7 | Interrogatorio y Dx | 6.8 | 0.5 | 0.61 |
| 8 | Exp. física y Dx | 5.8 | 0.1 | 0.51 |
| 9 | Interpretación Lab y Dx | 5.9 | 0.4 | 0.60 |
| 10 | Interrogatorio, Dx | 6.5 | 0.3 | 0.60 |
| 11 | Exp. física, diagnóstico | 9.3 | 1.0 | 0.62 |
| 12 | Exp. física, diagnóstico | 7.9 | 0.9 | 0.58 |
| 13 | Diagnóstico | 6.5 | 0.4 | 0.61 |
| 14 | Interpretación de TAC | 5.7 | 0.1 | 0.58 |
| 15 | Interrogatorio, Dx | 6.5 | 0.2 | 0.62 |
| 16 | Interpretación de Rx | 6.4 | 0.2 | 0.62 |
| 17 | Interpretación de TAC | 5.8 | 0.7 | 0.52 |
| 18 | Exp. física, diagnóstico | 6.5 | 0.3 | 0.61 |
Dx: diagnóstico; Exp: exploración; Lab: laboratorio; LCE: líquido cerebroespinal; Rx: radiografía; TAC: tomografía axial computada; Tx: tratamiento.
Continuamente las escuelas de medicina realizan esfuerzos para mejorar la evaluación de los estudiantes durante su formación. Los esfuerzos para evaluar no solo la amplitud y profundidad de sus conocimientos, sino también su capacidad para aplicar este conocimiento en la práctica clínica. Sin embargo, las evaluaciones mediante procedimientos no estandarizados, basadas en percepciones de los profesores, obtenidas durante los encuentros al lado de la cama del paciente durante las rotaciones, o en sesiones de caso clínico, pueden ser subjetivas e influenciadas sustancialmente por la experiencia y temperamento del docente, así como la variabilidad de los casos clínicos disponibles.
El ECOE es una herramienta que evalúa lo que el estudiante es capaz de hacer y ha demostrado ser un método que posee atributos de validez y confiabilidad que permite evaluar múltiples habilidades clínicas3,6,7. Se considera el estándar de oro10 y actualmente es la herramienta que aporta una mayor objetividad en la evaluación de habilidades clínicas en neurología en estudiantes de medicina según Heckmann25.
El proceso del diseño es un componente clave para el logro de los propósitos del examen, de acuerdo a la literatura sus componentes son: el comité de examen, compuesto por profesores expertos en el área clínica, a quienes se les puede capacitar en el ECOE en caso de no tener experiencia previa6,7.
Un segundo punto es la elaboración de la tabla de especificaciones, que comprende las habilidades clínicas a evaluar y los casos clínicos que darán lugar a las estaciones así como las listas de cotejo, por lo que el comité del examen es el responsable del diseño y por lo tanto de la validez de su contenido6,20–22.
En este estudio el ECOE estuvo compuesto por 18 estaciones de 6 min cada una, que está dentro de las recomendaciones del número de estaciones para el examen según Harden6,20. Sin embargo las estaciones realizadas en un ECOE para neurología según la literatura varían de dos a diez estaciones, a diferencia de este estudio con 18 estaciones18,24,25.
Participaron un total de 12 pacientes estandarizados, que representan más de la mitad de las estaciones del ECOE. En este aspecto del diseño se ha reportado el uso de pacientes estandarizados 1 a 93 según Patricio15. La capacitación de los pacientes se llevó a cabo en dos sesiones, tomando en consideración los criterios de Harden: de exactitud, consistencia, replicabilidad y portabilidad en la actuación del paciente6,18,19,26.
El personal involucrado para realizar el diseño y la prueba piloto del estudio se conformó de un total de 44 personas. Este punto es crítico ya que para realizar un examen estándar de 18 estaciones, la coordinación y planeación del examen es muy importante16,17. Además de requerirse personas con una actitud entusiasta y con sentido de responsabilidad y compromiso para mejorar el proceso educativo en medicina.
Hay estudios que reportan el uso del ECOE para evaluar habilidades clínicas en neurología, sin embargo solo se realizan inmediatamente después de la rotación por neurología y no en el internado médico, como este estudio8,23,25.
La prueba mostró una confiabilidad medida con el alfa de Cronbach de 0.62 lo cual coincide con lo reportado con una reciente revisión sistemática donde fue de 0.6515,16.
Un estudio reportado por Luckas8 que realizó un ECOE en neurología con 195 estudiantes de tercer año, pero solo utilizó dos estaciones de 30 min cada una, encontrando una distribución normal en la puntuación de los estudiantes pero no datos de confiabilidad.
En la tabla 2 de este estudio también se observó una distribución normal y la confiabilidad para cada estación estuvo entre 0.51 y 0.62.
La estadística descriptiva indica que el rendimiento de los estudiantes no fue notoriamente diferente, de un caso a otro, este hallazgo coincide con lo reportado por el National Board Medical Examiners10 y los resultados de un estudio de un ECOE aplicado a la rotación por neurología8,25.
En cuanto a las habilidades clínicas evaluadas en otros exámenes reportados son muy similares aunque el contexto del caso clínico puede variar como resultado de las diferencias epidemiológicas de las enfermedades neurológicas de cada región donde se aplique el ECOE8,25,27.
Una de las recomendación principales de Harden y otros autores para mejorar la validez, confiabilidad y objetividad del examen es tener gran cuidado en su diseño, planificación y administración6,24,25,27. Tomando en cuenta los elementos fundamentales para su diseño, el comité de examen y el uso de la tabla de especificaciones son clave, aunque también se requiere la participación de un número mayor de estudiantes para pilotear el examen.
ConclusionesA pesar de la limitación en este estudio, consideramos que el diseño de este tipo de exámenes puede contribuir a mejorar la calidad de las evaluaciones clínicas, haciéndolas más objetivas y brindando la oportunidad de realimentar verdaderamente el proceso de enseñanza-aprendizaje.
También reconocemos con esta experiencia, que se debe mejorar la promoción de los exámenes formativos, para aumentar la participación de los alumnos, porque estos exámenes tienen una función muy valiosa en el proceso de enseñanza-aprendizaje que es brindarle al alumno la posibilidad de autoevaluarse, dándole confianza, y disminuyendo su ansiedad, a la hora de realizar una evaluación sumativa.
Responsabilidades éticasProtección de personas y animalesLos autores declaran que para esta investigación no se han realizado experimentos en seres humanos ni en animales.
Confidencialidad de los datosLos autores declaran que han seguido los protocolos de su centro de trabajo sobre la publicación de datos de pacientes.
Derecho a la privacidad y consentimiento informadoLos autores declaran que en este artículo no aparecen datos de pacientes.
FinanciaciónNo se recibió ningún fondo ni financiamiento para este escrito.
Autoría/colaboradoresLH, aportaciones y contribución de conceptos; JT, análisis, revisión de la información y articulación del manuscrito; YM, análisis, revisión de la información y articulación del manuscrito.
Conflicto de interesesLos autores declaran no tener ningún conflicto de intereses.
Especial a todos mis profesores de la maestría por haber contribuido a mi formación integral.
La revisión por pares es responsabilidad de la Universidad Nacional Autónoma de México.