A pesar de considerarse el estándar de oro para la evaluación de competencias en posgrado, el Examen Clínico Objetivo Estructurado (ECOE) es escasamente aplicado en América Latina. El Gobierno de la Ciudad de Buenos Aires (GCBA) posee un sistema de residencia de Pediatría con cerca de 400 residentes, distribuidos en 13 hospitales, que comparten examen de ingreso y programa de formación. Nuestro objetivo es describir la experiencia de aplicación del ECOE a todos los residentes de Pediatría del GCBA, y comparar el desempeño según el tipo de hospital.
Sujetos y métodoEstudio descriptivo, incluyendo a todos los residentes de Pediatría del GCBA que finalizaban primer año, pertenecientes a 13 hospitales (2 pediátricos y 11 generales). El ECOE incluyó 10 estaciones.
ResultadosParticiparon 85 residentes; el 88,2% (IC 95% 79,7-93,5) aprobó la evaluación. No se encontraron diferencias significativas en la proporción de residentes que aprobó la evaluación entre los que provenían de hospitales pediátricos y los de hospitales generales (89,5 vs. 85,7%; OR=1,4; IC 95% 0,4-5,5; p=0,8).
ConclusionesEn 2015 por primera vez se desarrolló un ECOE como evaluación unificada para todos los residentes de Pediatría del GCBA. La experiencia permitió identificar debilidades de cada evaluado y del sistema, estableciendo estrategias para superarlas.
The Objective Structured Clinical Examination (OSCE) is considered the reference standard for competence evaluation, but its use in Latin America is limited. The City of Buenos Aires Government (CBAG) administers a Paediatric residency system that includes 400 residents distributed in 13 hospitals, sharing an admission system and education program. We aim to describe the experience of administering an OSCE for evaluating all the Paediatric residents of the CBAG.
Subjects and methodDescriptive study, including all paediatric residents of the CBAG, belonging to 13 hospitals (2 paediatric and 11 general), ending their first year of training. The OSCE included 10 stations.
ResultsEighty-five residents participated in the OSCE, and 88.2% (95% CI 79.7-93.5) passed the examination. There were no significant differences in the pass rate between residents from paediatric hospitals and from general hospitals (89.5 vs. 85.7%; OR=1.4; 95% CI 0.4-5.5; P=.8).
ConclusionsIn 2015, the OSCE was administered to all paediatric residents of the CBAG for the first time. This experience allowed identifying weaknesses in the education system, in order to develop strategies to overcome them.
El Examen Clínico Objetivo Estructurado (ECOE) es un tipo de evaluación en la que se pueden incluir diferentes elementos para valorar el desempeño de los médicos en formación. Los participantes transcurren por un circuito con diferentes estaciones donde enfrentan situaciones de la práctica médica, incluyendo simulación con actores, interpretación de exámenes complementarios, realización de maniobras habituales tanto en la urgencia como en el consultorio y resolución de casos clínicos1,2.
Desde que fue descrito por Harden et al. en 19753, el ECOE se ha difundido a distintas instancias de la evaluación, transformándose prácticamente en el estándar de oro para la educación de posgrado1. A diferencia de evaluaciones sumativas tradicionales, este tipo de evaluación incluye un importante trasfondo formativo, ya que permite identificar debilidades específicas de los alumnos y plantear estrategias para superarlas4.
Si bien en América del Norte y Europa el ECOE es aplicado habitualmente en la evaluación de alumnos de posgrado, en América Latina la aplicación es escasa y habitualmente limitada a la enseñanza de grado5–7.
El Gobierno de la Ciudad de Buenos Aires (GCBA) posee un sistema de formación en Pediatría basado en un programa de residencia con más de medio siglo de vigencia8. Si bien el ingreso al sistema y el programa de formación son comunes a todas las sedes de residencia9, la evaluación de los residentes a lo largo del programa es responsabilidad de cada centro. El Hospital General de Niños Pedro de Elizalde, que forma parte del sistema de residencias del GCBA, desde hace 10 años desarrolla de manera ininterrumpida un ECOE para sus residentes de primer año10. Paulatinamente fueron participando de la experiencia otras sedes de posgrado de Pediatría del GCBA11, hasta que en el año 2015 fue instaurado como obligatorio para todos los residentes de los hospitales de la Ciudad de Buenos Aires.
El objetivo del presente reporte es describir la experiencia de la primera aplicación de un ECOE a todos los residentes de Pediatría del GCBA al finalizar su primer año de formación, y evaluar el desempeño según el tipo de hospital.
Sujetos y métodoDiseñoEstudio descriptivo.
PoblaciónSe incluyeron todos los residentes de Pediatría del GCBA que finalizaban su primer año de residencia. Estos pertenecían a 13 hospitales, 2 de ellos pediátricos y 11, generales. El ECOE fue desarrollado en abril de 2015.
El ECOE incluyó 10 estaciones de evaluación más 2 estaciones de descanso oportunamente dispuestas. Cada estación tuvo una duración de 7min, siendo la duración total del ECOE de 84min para cada participante.
Para la implementación del ECOE se utilizaron recursos físicos (aulas, instrumental médico, ordenadores, maniquíes –dummy humano– y cronómetro con alarma), recursos educacionales (diseño de las estaciones, guiones para pacientes simulados, consignas para los alumnos, material auxiliar, listas de verificación) y recursos humanos (docentes, especialistas consultores, actores, observadores, coordinadores).
Las competencias evaluadas fueron: conocimiento aplicado, juicio clínico, habilidades comunicacionales, destreza en la realización de procedimientos y habilidad en la interpretación de estudios complementarios (tabla 1).
Características de las estaciones que integraron el Examen Clínico Objetivo Estructurado
| Estación | Competencias evaluadas | Soporte | Aprobados | |
|---|---|---|---|---|
| % | IC 95% | |||
| 1 | Indicaciones médicas para enfermería | Escrito | 46 | 35,3-57,1 |
| 2 | Interpretación de electrocardiograma | ECG | 52 | 41,0-62,9 |
| 3 | Habilidades comunicacionales (vacunas) | Actor | 78 | 67,5-86,0 |
| 4 | Habilidades comunicacionales (alimentación) | Actor | 80 | 69,6-87,6 |
| 5 | Diagnóstico de lesiones en piel | Imágenes | 79 | 68,5-86,8 |
| 6 | Evaluación de pautas madurativas | Video | 81 | 70,7-88,4 |
| 7 | Reanimación cardiopulmonar | Maniquí | 76 | 65,3-84,3 |
| 8 | Habilidades comunicacionales (tratamiento) | Actor | 82 | 71,9-89,2 |
| 9 | Realización de punción lumbar | Maniquí | 95 | 87,3-98,3 |
| 10 | Medición de tensión arterial | Maniquí | 74 | 63,2-82,6 |
| Tasa global de aprobados | 88 | 79,7-93,5 | ||
A todos los participantes se les ofreció previamente una explicación del ECOE, sus objetivos, alcance y forma de desarrollo.
Luego de la instancia de evaluación, y analizados sus resultados, se efectuó la devolución con los residentes participantes, así como con los responsables de su formación. Estas devoluciones fueron tanto grupales como individuales para dar a conocer las fortalezas y los puntos a reforzar de cada participante en particular.
Para los fines de evaluación y devolución se consideró aprobada aquella estación en la que se alcanzara el 60% del puntaje correspondiente al percentil 95% de la distribución. Para aprobar el ECOE los alumnos debían superar este puntaje en al menos 6 de las 10 estaciones.
Consideraciones estadísticasLos datos fueron volcados a una planilla realizada en Excel, la carga se realizó por duplicado y posteriormente se procedió a evaluar la consistencia de los datos para evitar errores. Para la descripción de los resultados obtenidos se utilizan proporciones para las variables categóricas (con sus IC 95%). Para comparar proporciones se utilizó la prueba de Chi cuadrado. El análisis se realizó con el programa SPSS® 11.0.
Consideraciones éticasEl presente estudio solo describe los datos correspondientes al desarrollo de la evaluación. Previamente al análisis se efectuó una adecuada disociación de cualquier información filiatoria que pudiera permitir la identificación de cualquier sujeto, cumpliendo con la legislación vigente al respecto.
ResultadosDe los 89 residentes de Pediatría pertenecientes al GCBA finalizando su primer año, participaron del ECOE 85; las 4 ausencias estuvieron justificadas.
La tasa global de aprobación fue de un 88,2% (IC 95% 79,7-93,5).
No se encontraron diferencias significativas entre la proporción de residentes provenientes de hospitales pediátricos que aprobó el ECOE con respecto a los participantes de hospitales generales (89,5 vs. 85,7%; OR=1,4; IC 95% 0,4-5,5; p=0,8).
Tampoco se encontraron diferencias en la tasa de aprobación entre ambos tipos de hospitales, al considerar cada estación (fig. 1).
Las estaciones con menor tasa de aprobación fueron la que evaluó la competencia para efectuar indicaciones a enfermería (46%) y la que evaluó la competencia en la interpretación de electrocardiograma (52%). El resto de las estaciones tuvo una tasa de aprobación superior al 74% (tabla 1).
DiscusiónAunque el ECOE podría considerarse el estándar de oro para la evaluación de competencias en educación médica de posgrado1, las dificultades originadas en la logística de su implementación hacen que su aplicación pueda ser limitada. Nuestra experiencia muestra que se trata de una iniciativa que demanda un importante esfuerzo, pero es factible, aun en nuestro medio.
Es posible que, además de las dificultades reales, ciertos preconceptos limiten la aplicación del ECOE. Harden identifica 5 preconceptos habitualmente ligados al ECOE (elevado costo, falta de enfoque holístico, escenario poco realista, rol del examinador limitado y estresante para los alumnos) que finalmente son rechazados con sólidos argumentos. El costo siempre puede reducirse con estrategias simples, como compartir el mismo ECOE con otras instituciones; el enfoque integrador puede lograrse incluyendo al ECOE junto con otros métodos de evaluación; el realismo de escenario puede mejorarse con una adecuada planificación e implementación de cada estación; el rol del examinador puede ser mucho más amplio, haciéndolo participar del diseño de las estaciones y del feed-back a los examinados; finalmente, el estrés puede reducirse garantizando una adecuada organización de las estaciones y un grado de dificultad acorde al momento de formación12.
Hasta donde conocemos, esta es la primera experiencia publicada en implementar el ECOE en el mayor sistema de residencias médicas de la Argentina. El sistema de residencias del GCBA cuenta con medio siglo de historia y más de 3.000 residentes. La residencia de Pediatría forma parte de este desde su inicio y actualmente incluye cerca de 400 residentes distribuidos en 13 sedes distintas. El sistema cuenta con un examen de ingreso y un programa académico en común, y los residentes comparten cerca de la mitad de los escenarios de aprendizaje. Esto permite lograr una homogeneidad académica en todos los residentes que finalizan su formación en Pediatría independientemente de la sede hospitalaria. No haber encontrado diferencias significativas en el rendimiento del ECOE entre los residentes que provenían de hospitales generales y los que se desempeñaban en hospitales pediátricos refuerza la importancia de aquellos elementos del sistema que son comunes (ingreso, programa, escenarios).
A pesar de no ser el principal objetivo de este tipo de evaluación, la tasa de aprobación global (88%) fue satisfactoria, especialmente considerando la falta de entrenamiento de la mayoría de los alumnos con este tipo de evaluación.
Solo 2 estaciones presentaron un rendimiento significativamente menor. En el caso de la estación donde se evaluaba la competencia para efectuar indicaciones a enfermería, el desempeño pudo haber estado condicionado por la clave de corrección utilizada, que si bien se ajustaba a un modelo utilizado en educación de posgrado local, puede no haber contemplado usos y costumbres propios de cada sede participante13. En el caso de la interpretación de electrocardiograma, probablemente refleje un déficit real en la capacitación en ese punto en particular, tanto en el programa de residencia como en los estudios de grado universitario previos14.
Una potencial limitación de nuestra experiencia es el número de estaciones utilizado (10), habida cuenta de que el incremento en el número de estaciones (entre 10 y 15) aumenta la confiabilidad de la prueba15. Sin embargo, considerando los objetivos educacionales para residentes que terminan el primer año de su posgrado, las competencias evaluadas con este número de estaciones fueron lo suficientemente variadas como para evaluar su desempeño para ese momento de su formación. Además, a pesar de que agregar estaciones a un ECOE puede considerarse complicado, existe evidencia de que una vez que su uso se generaliza, las evaluaciones tienden a incluir más estaciones de menor duración, sin incrementar la complejidad de su implementación16.
Con respecto a las características de las estaciones, a lo largo de nuestra experiencia con este tipo de evaluación, tanto en grado como en posgrado11, hemos incorporado actores que desempeñan el rol de padres de pacientes, fundamentales a la hora de evaluar las habilidades comunicacionales en la consulta pediátrica. Sin embargo, también es importante incorporar a niños como integrantes de esta herramienta de evaluación17, incluso para explorar otros aspectos de la consulta médica no siempre tenidos en cuenta, como la opinión de los niños sobre sus médicos18. De igual forma, hemos incorporado la evaluación de las indicaciones escritas, ya que se demostró que la habilidad de la escritura es evaluable en el ECOE19 y que esta se relaciona con las destrezas en la comunicación verbal, siendo ambas habilidades esenciales en la evaluación de los médicos en formación de posgrado.
Finalmente, consideramos que la aplicación continua y sistemática del ECOE puede impactar favorablemente en la formación profesional de los alumnos de posgrado20, siendo este método, probablemente, el que mejor demuestra que la evaluación es una instancia fundamental en el proceso formativo. En la Ciudad de Buenos Aires, por primera vez se desarrolló una evaluación unificada para todos los residentes de primer año de Pediatría, utilizando un ECOE como herramienta. A pesar del desafío logístico, la experiencia pudo desarrollarse con éxito, permitiendo identificar fortalezas y debilidades de los participantes.
Conflicto de interesesEste trabajo cumple con los requisitos sobre consentimiento/asentimiento informado, comité de ética, financiación, estudios animales y sobre la ausencia de conflicto de intereses según corresponda.
A la Sra. Verónica Gatto Bellora, por la corrección de los guiones utilizados por los actores.
A los responsables de los programas de residencia en los diferentes hospitales, por su decidida colaboración.
