el examen clínico objetivo estructurado (ECOE) se ha posicionado como una herramienta clave para evaluar habilidades de manera óptima y fiable. Este estudio buscó analizar las tendencias y el perfil de la producción científica sobre su uso en ciencias de la salud.
Materiales y métodosse realizó un estudio descriptivo y transversal a datos bibliométricos. Se incluyeron 844 artículos sobre el ECOE publicados en revistas indexadas en Scopus entre 2018 y 2022. Se realizó un análisis descriptivo y transversal a datos bibliométricos con la herramienta Scival.
Resultadosel número de publicaciones se ha incrementado desde 2018 hasta 2022, la mayor parte de estas están en revistas científicas de alto impacto. La mayor parte de artículos tuvo colaboración nacional (42,4%) y la colaboración internacional presentó más citas por cada publicación (6,5). La institución con mayor actividad científica fue la Harvard University, además de ser la de mayor impacto. Las revistas Currents in Pharmacy Teaching and Learning y Medical Science Educator tienen más publicaciones, pero la Journal of Educational Evaluation for Health Professions (1.744) tiene un mayor impacto normalizado. Zabar Sondra es quien lidera la producción científica, pero MacArio Alex (0,91) tiene un mayor impacto ponderado.
Conclusionesla investigación se ha incrementado, principalmente en revistas científicas de mayor prestigio e impacto, y con colaboración nacional más frecuente; además, existe mayor participación de autores e instituciones de Norteamérica.
The objective structured clinical examination (OSCE) has positioned itself as a key tool to assess skills optimally and reliably. This study sought to analyze the trends and profile of the scientific production on its use in health sciences.
Materials and methodsA descriptive and cross-sectional study was carried out on bibliometric data. We included 844 articles on OSCE published in journals indexed in Scopus between 2018 and 2022. A descriptive and cross-sectional analysis was performed to bibliometric data with the Scival tool.
ResultsThe number of publications has increased from 2018 to 2022, most of these are in high impact scientific journals. Most articles had national collaboration (42.4%) and international collaboration presented more citations per publication (6.5). The institution with the highest scientific activity was Harvard University, in addition to being the one with the highest impact. The journals Currents in Pharmacy Teaching and Learning and Medical Science Educator have more publications, but the Journal of Educational Evaluation for Health Professions (1,744) has a higher normalized impact. Zabar Sondra leads in scientific output, but MacArio Alex (0.91) has a higher weighted impact.
ConclusionsResearch has increased, mainly in scientific journals of greater prestige and impact, and with more frequent national collaboration; in addition, there is greater participation of authors and institutions from North America.
La formación de profesionales de la salud implica no solo la adquisición de conocimientos teóricos, sino también el desarrollo de competencias prácticas y habilidades interpersonales necesarias para una práctica clínica efectiva; por lo que la evaluación de estas competencias ha sido históricamente un desafío significativo en la educación médica y de otras ciencias de la salud. Tradicionalmente, la evaluación se basaba en exámenes escritos y la observación clínica directa1, métodos que, aunque útiles, presentaban limitaciones en términos de objetividad, estandarización y fiabilidad2,3.
En los últimos años, han surgido diversas estrategias para mejorar la evaluación de competencias clínicas; tales como el uso de pacientes estandarizados4, simuladores de realidad virtual5, realidad aumentada6, y entre ellas, el examen clínico objetivo estructurado (ECOE), el cual se ha destacado como una metodología que ofrece una evaluación objetiva y estandarizada de las habilidades clínicas. El ECOE posee una estructura que consiste en una serie de estaciones o circuitos, cada una diseñada para que el estudiante demuestre sus habilidades y, de esta manera, el docente pueda evaluar una competencia específica, permitiendo una valoración detallada y precisa del desempeño del estudiante en un entorno simulado y controlado7,8.
Anteriormente, las evaluaciones clínicas dependían en gran medida de la observación subjetiva del desempeño del estudiante en entornos reales o simulados, lo cual introducía variabilidad y posibles sesgos en las calificaciones; sin embargo, la falta de estandarización dificulta la comparación de resultados entre diferentes estudiantes y programas educativos9–11. En respuesta a estas limitaciones, el desarrollo de metodologías como el ECOE ha permitido avanzar hacia evaluaciones más justas y precisas12.
El ECOE no solo ofrece una estructura estandarizada para la evaluación, sino que también permite la integración de actores entrenados y uso de rúbricas, lo que asegura una mayor consistencia y objetividad del evaluador13. Además, tiene la capacidad para evaluar una amplia gama de competencias técnicas específicas, interpersonales y comunicativas, esenciales en el ejercicio diario del profesional de salud14; por otra parte, facilita el aprendizaje por la retroalimentación inmediata y detallada13. Asimismo, existen otras estrategias recientes que incluyen el uso de simulaciones por ordenador y tecnologías de realidad virtual, que complementan y, en algunos casos, sustituyen a las estaciones tradicionales del ECOE, proporcionando entornos de aprendizaje y evaluación aún más realistas y controlados15.
Aunque su implementación requiere que múltiples agentes se organicen adecuadamente, diversas publicaciones han demostrado que es de gran utilidad, como se muestra en los estudios de Nematzad et al.16 y Hasan et al.17 en estudiantes de Enfermería y Farmacia, respectivamente. Adicionalmente, es importante precisar que esta estrategia ha sido implementada con éxito en diversos sistemas educativos, proporcionando una herramienta universal para la evaluación clínica18. La producción científica en este campo formativo de las ciencias de la salud va generando nuevas perspectivas y formas de evaluación, es así como se considera relevante la evaluación bibliométrica de su impacto, colaboración y visibilidad19, a fin de promover la implementación de las nuevas y mejores prácticas educativas que se sustenten en la evidencia científica.
Debido a ello, el objetivo de este estudio es analizar las tendencias y el perfil de la producción científica sobre el uso del ECOE en las áreas de ciencias de la salud.
MétodosEstudio descriptivo y de corte transversal, desarrollado con una perspectiva bibliométrica para el análisis de los artículos científicos que estudiaron el tema de la evaluación clínica objetiva y estructurada aplicado en ciencias de la salud y que estuvieron publicadas en revistas científicas indexadas Scopus.
Para la búsqueda sistemática de artículos, en principio se seleccionó la base de datos de Scopus, dado que es una de las más importantes a nivel global. Posteriormente, se elaboró una estrategia de búsqueda que incluyó los campos y subáreas de búsqueda, el periodo y los términos clave junto con los operadores booleanos: TITLE-ABS-KEY («Objective and Structured Clinical Assessment» OR «OSCE» OR «Objective Structured Clinical Examination») AND PUBYEAR >2017 AND PUBYEAR <2023 AND (LIMIT-TO [SUBJAREA, «MEDI»] OR LIMIT-TO [SUBJAREA, «NURS»] OR LIMIT-TO [SUBJAREA, «DENT»] OR LIMIT-TO [SUBJAREA, «PSYC»] OR LIMIT-TO [SUBJAREA, «HEAL»]).
Se consideró la inclusión de artículos que abordaron la temática de la evaluación clínica objetiva y estructurada en cualquier área de ciencias de la salud, publicados entre 2018 y 2022, y en cualquier idioma. Para la exclusión, se tuvo en cuenta que sean artículos de revisión (47), cartas o notas (29), artículos de conferencias (10), libros o capítulos de libros (18), editoriales (5), encuestas cortas (3) y fe de erratas (3). La estrategia fue aplicada el 7 de junio de 2023 y se identificaron 959 artículos, posterior a la aplicación de los criterios establecidos se definió una muestra conformada por 844 artículos.
El análisis de los datos fue realizado con la plataforma en línea SciVal de Elsevier, con la cual se estimaron diversos parámetros bibliométricos relacionados con la productividad, visibilidad e impacto, considerando los autores, instituciones y revistas con mayor producción científica, además del tipo de colaboración. En el programa MS Excel 2019 se diseñó un gráfico de barras para evaluar la tendencia de producción por año según el cuartil de la revista.
Al ser una investigación que evaluó datos de artículos publicados y no tuvo la participación de sujetos de estudio no se requirió la evaluación de un comité de ética en investigación para su ejecución.
ResultadosLa mayor parte de artículos tuvo colaboración nacional (42,4%) e institucional (37,9%), y la colaboración internacional fue poco frecuente (16,2%) aunque presentó más citas por cada publicación (6,5) y mayor impacto ponderado por cita (0,84) a diferencia de las publicaciones que no tuvieron colaboración (tabla 1).
Tipo de colaboración en la producción científica sobre el examen clínico objetivo estructurado (ECOE)
| Tipo de colaboración | Publicaciones | Citas | Citas por publicación | FWCI | |
|---|---|---|---|---|---|
| % | n | ||||
| Colaboración internacional | 16,2 | 137 | 884 | 6,5 | 0,84 |
| Solo colaboración nacional | 42,4 | 358 | 1.929 | 5,4 | 0,65 |
| Solo colaboración institucional | 37,9 | 320 | 1.632 | 5,1 | 0,64 |
| Sin colaboración | 3,4 | 29 | 112 | 3,9 | 0,49 |
FWCI: Field-Weighted Citation Impact.
El número de publicaciones se ha incrementado desde 2018 hasta 2022, la mayor parte de estas están en revistas científicas de alto impacto (cuartil Q2 y Q1). Los artículos de revistas posicionadas en el cuartil Q4 representan la menor proporción del total (9,9%) y son los que se han publicado menos en cada año (fig. 1).
La mayoría de las universidades posicionadas entre las más productivas pertenecen al sector académico. La institución con mayor actividad científica fue la Harvard University (20 publicaciones) además de ser la de mayor impacto (14 citas por publicación). La Veterans General Hospital-Taipei de Taiwan, y University of Ottawa de Canadá presentaron una menor media global de citas ponderadas por campo, con 0,33 y 0,57, respectivamente (tabla 2).
Top 10 instituciones con mayor producción científica
| Instituciones | País | Publicaciones | Citas | Autores | Citas por publicación | FWCI |
|---|---|---|---|---|---|---|
| Harvard University | 20 | 280 | 54 | 14 | 1,51 | |
| University of Toronto | 19 | 189 | 45 | 9,9 | 1,05 | |
| New York University | 18 | 145 | 57 | 8,1 | 0,72 | |
| Monash University | 13 | 77 | 22 | 5,9 | 1,19 | |
| National Yang Ming Chiao Tung University | 13 | 69 | 42 | 5,3 | 0,59 | |
| University of Ottawa | 12 | 49 | 35 | 4,1 | 0,57 | |
| Mayo Clinic Rochester, MN | 12 | 87 | 18 | 7,3 | 1,02 | |
| University of New South Wales | 11 | 74 | 15 | 6,7 | 0,77 | |
| Johns Hopkins University | 11 | 85 | 43 | 7,7 | 1,04 | |
| Veterans General Hospital-Taipei | 10 | 39 | 38 | 3,9 | 0,33 |
FWCI: Field-Weighted Citation Impact.
Las revistas de Estados Unidos son las que más han publicado sobre la evaluación clínica objetiva y estructurada en ciencias de la salud. Además, la mayoría están ubicadas en el cuartil Q1 y Q2. Las revistas Currents in Pharmacy Teaching and Learning y Medical Science Educator tienen más publicaciones, pero la Journal of Educational Evaluation for Health Professions (SNIP: 1.744) y la Nurse Education Today (SNIP: 1.622) tienen un mayor impacto normalizado. La revista Pharmacy Education presenta una menor media de citas por publicación (tabla 3).
Top 10 revistas científica con mayor producción científica
| Revista científica | Cuartil | País | Publicaciones | Citas por publicación | SNIP | CiteScore 2022 | SJR |
|---|---|---|---|---|---|---|---|
| Currents in Pharmacy Teaching and Learning | Q2 | 23 | 5,7 | 0,758 | 2,2 | 0,448 | |
| Medical Science Educator | Q2 | 19 | 2,5 | 0,58 | 1,6 | 0,393 | |
| Journal of Surgical Education | Q1 | 18 | 6,1 | 1446 | 5,1 | 0,935 | |
| Journal of Educational Evaluation for Health Professions | Q1 | 18 | 5,4 | 1744 | 4,7 | 0,917 | |
| Patient Education and Counseling | Q1 | 17 | 5,4 | 1563 | 5 | 1 | |
| MedEdPORTAL: the journal of teaching and learning resources | Q2 | 17 | 7,4 | – | 1,9 | 0,498 | |
| Pharmacy Education | Q3 | 16 | 2,9 | 0,259 | 0,6 | 0,176 | |
| Journal of Dental Education | Q2 | 15 | 6,7 | 1065 | 2,9 | 0,558 | |
| Nurse Education Today | Q1 | 15 | 11,7 | 1622 | 5,5 | 0,946 | |
| European Journal of Dental Education | Q1 | 14 | 10,9 | 1292 | 3,4 | 0,523 |
SNIP: Source-Normalized Impact per Paper; SJR: SCImago Journal Rank.
Entre los autores con más actividad científica, Zabar Sondra es quien lidera la producción científica, seguido de Yang Yingying; aunque, MacArio Alex (FWCI: 0,91) y Chen Chenhuan (FWCI: 0,27) presentan un mayor y menor impacto ponderado, respectivamente. Los autores con mayor visibilidad fueron Zabar Sondra (106 citas) y Shulruf Boaz (54 citas) (tabla 4).
Top 10 de los autores con mayor producción científica
| Name | Publicaciones | Citas | Citas por publicación | FWCI | h-index |
|---|---|---|---|---|---|
| Zabar, Sondra R | 11 | 106 | 9,6 | 0,78 | 23 |
| Yang, Yingying | 9 | 39 | 4,3 | 0,36 | 24 |
| Shulruf, Boaz | 7 | 54 | 7,7 | 0,71 | 24 |
| Chen, Chenhuan | 7 | 17 | 2,4 | 0,27 | 51 |
| Ruesseler, Miriam | 6 | 21 | 3,5 | 0,45 | 16 |
| MacArio, Alex | 6 | 52 | 8,7 | 0,91 | 46 |
| Farley, David R | 6 | 42 | 7 | 0,76 | 57 |
| Huang, Chia Chang | 5 | 15 | 3 | 0,31 | 12 |
| Gillespie, Colleen C | 5 | 34 | 6,8 | 0,55 | 21 |
| Mosalanejad, Leili | 5 | 26 | 5,2 | 0,43 | 13 |
FWCI: Field-Weighted Citation Impact.
El ECOE, desde su aparición hace 50 años, ha sido adoptado paulatinamente por las instituciones educativas para evaluar las competencias profesionales en la educación médica debido, entre otras razones, a que permite estandarizar la evaluación y garantiza su objetividad20. Así lo corroboran Barnes et al.21 y Lim et al.22, quienes hallaron un incremento significativo en la implementación del ECOE dentro de los programas de estudio de farmacia en los Estados Unidos y otros países desarrollados en los últimos 10 a 20 años. Por lo que es factible que la cantidad de publicaciones científicas sobre esta estrategia de evaluación de competencias presenten una tendencia al alza. En ese sentido, en el presente estudio, se hallaron 844 artículos originales en el último quinquenio dentro de las ciencias médicas, en concordancia con Hodges et al., quienes encontraron 250 publicaciones solo en el área de psiquiatría, en 29 países y en 10 idiomas diferentes23. Además, Lim et al. hallaron una tasa de crecimiento anual de publicaciones del 6,21% en el área farmacéutica22.
La mayoría de las investigaciones halladas en este estudio provienen de universidades de países desarrollados como Estados Unidos, Canadá, Australia y Taiwán, siendo la Harvard University la líder, con 20 artículos, seguida de la University of Toronto con 19 artículos, la New York University con 18 artículos y Monash University y National Yang Ming Chiao Tung University con 13 artículos cada una; similar a lo reportado por Lim et al., donde la Toronto University encabezó con 25 artículos, seguida de las universidades de Monash, Auburn y Heinrich Heine con 9 artículos, respectivamente22.
Asimismo, en el estudio de Kassabry24, se evidencia que cada vez más son las instituciones académicas en el mundo que están tomando como práctica a la ECOE para evaluar competencias clínicas en sus estudiantes, tal y como se encontró en universidades de EE. UU., China, España, y Australia. A nivel regional se encontraron estudios en varios países árabes como Arabia Saudita, Emiratos Árabes Unidos y Egipto, donde se utilizaron el ECOE como método formal para evaluar la competencia práctica en cursos clínicos de enfermería. Aunque Latinoamérica no se visualiza entre las regiones con mayor actividad científica, esto no denota que el ECOE no sea una práctica implementada por las instituciones formadoras en salud; no obstante, sí podría considerarse que existe un creciente interés en la investigación de este campo temático y que la dificultad o interés en comunicar lo que se realiza como parte de la formación profesional puede representar una barrera importante para lograr un posicionamiento como región, no solo en la comunidad científica sino también académica.
Las revistas científicas con más publicaciones sobre el ECOE en ciencias médicas son Currents in Pharmacy Teaching and Learning in Medical Science Educator; sin embargo, la Journal of Educational Evaluation for Health Professions y la Nurse Education Today tienen un mayor factor de impacto. Con relación a ello, aunque en el área farmacéutica, el estudio de Lim et al. señala que las revistas con el mayor número de artículos son American Journal of Pharmaceutical Education y Currents in Pharmacy Teaching and Learning; mientras que las de mayor impacto son Medical Education y Saudi Pharmaceutical Journal22. Como se evidencia, las más importantes revistas científicas que publican sobre esta temática pertenecen a países desarrollados, en su mayoría a Estados Unidos, y son de los cuartiles Q1 y Q2.
Así también, el presente estudio evidencia que el mayor número de investigaciones sobre el ECOE se encuentra en países desarrollados como Europa, Asia y Norteamérica, donde sus publicaciones se difunden en las revistas de mayor impacto, existiendo un vacío en cuanto a la producción científica sobre el ECOE en países de Latinoamérica. Resultados similares fueron encontrados en una revisión realizada por Ribeiro et al.25, donde se evidencia un número reducido de investigaciones en América Latina y en específico en el área de fisioterapia; donde la mayoría de los estudios disponibles en la literatura se refieren a la evaluación de estudiantes en facultades de medicina, seguidos de enfermería y farmacia. Brasil es uno de los países que presenta un mayor número de publicaciones sobre ECOE en sus diferentes facultades de medicina.
Es importante considerar el impacto de la pandemia de COVID-19 sobre la producción científica, sobre esta forma de evaluación de competencias, ya que durante este período hubo la necesidad de adaptar las evaluaciones clínicas a las restricciones impuestas por esta pandemia, las que llevaron a un aumento en la implementación de modalidades remotas o mixtas en el ECOE, lo cual aseguró la continuidad de estas pruebas a pesar de las limitaciones e incremento de la motivación en los equipos de investigación para publicar sus nuevos hallazgos.
En la actividad científica de este campo se generan nuevos enfoques y perspectivas orientadas a la mejora de la calidad de las evaluaciones; además de innovaciones como la estandarización de rúbricas, la capacitación de evaluadores y la integración de nuevas tecnologías, como simulaciones por ordenador y realidad virtual, son áreas clave para reducir variaciones y sesgos en las evaluaciones clínicas.
Este estudio presenta limitaciones. En primer lugar, los artículos solo fueron seleccionados de una base de datos; aunque Scopus es una de las más relevantes, sería conveniente que posteriores estudios incorporen otras como PubMed, Web of Science, Embase, entre otras. Además, los metadatos podrían tener errores propios del proceso de indexación, lo que pudo haber generado errores en la estimación de los parámetros bibliométricos; aunado a ello, tampoco se excluyeron las autocitas del análisis.
En conclusión, la investigación sobre el ECOE está en constante desarrollo, principalmente en las revistas científicas de mayor prestigio e impacto, y con una colaboración internacional que requiere una mayor promoción entre los equipos e instituciones formativas de ciencias de la salud. Además, es necesaria la incorporación de autores de Latinoamérica en la investigación vinculada a este campo temático a fin de lograr una evaluación más equitativa y mejorar la formación clínica a nivel global.
FinanciaciónLos autores declaran que no han recibido financiación.
Conflicto de interesesLos autores declaran no presentar conflictos de intereses.
