Este trabajo presenta una propuesta de examen clínico objetivo estructurado como evaluación final de pregrado de manera de adaptar mejor este evento evaluativo a la propuesta curricular por competencias. Este tipo de examen permite evaluar aspectos cognitivos, procedimentales y actitudinales basándose en múltiples estaciones evaluativas y se caracteriza por tener mayor objetividad en la medición de lo que los estudiantes realmente saben hacer y aplicar al finalizar un proceso de enseñanza-aprendizaje. Este trabajo propone un esquema de examen clínico objetivo estructurado, formulado sobre la base de los resultados obtenidos mediante una metodología cualitativa, entendida como un modelo teórico conceptual que se sintoniza a través de entrevistas semiestructuradas efectuadas a docentes y directivos de la escuela universitaria. Los resultados permiten estructurar una propuesta basada en ocho estaciones de evaluación que deben incluir necesariamente los aspectos cognitivos y procedimentales ponderados en forma equilibrada. La utilización de este modelo de evaluación constituye una estrategia más efectiva para la certificación de las competencias de egreso con foco en docencia universitaria de pregrado. Sin embargo, la adopción de la propuesta presenta cierta resistencia de cara a los métodos tradicionales. También requiere considerar la componente económica en su implementación, aunque cuando está bien diseñado, entre los efectos positivos también destaca que el resultado obtenido no se distorsiona mejorando el proceso evaluativo global.
This paper presents a proposal for structuring an Objective Structured Clinical Examination as a final undergraduate evaluation, in order to better adapt this evaluative event to the curriculum proposal by competencies. This type of examination allows assessment of cognitive, procedural, and attitudinal aspects based on multiple evaluation stations and is characterised by a greater objectivity in the measurement of what students really know what to do and apply at the end of a teaching-learning process. This paper proposes a structured clinical examination scheme, based on the results obtained through a qualitative methodology, understood as a theoretical conceptual model that is fine-tuned through semi-structured interviews conducted on teachers and managers of the university. The results allow the structuring of a proposal based on eight evaluation stations that must necessarily include the weighted cognitive and procedural aspects in a balanced way. The use of this evaluation model constitutes a more effective strategy for the competency leaving certificate, with a focus on university undergraduate teaching. However, the adoption of the proposal presents some resistance to traditional methods. It also requires considering the economic component in its implementation. Although when well designed, among the positive effects is also highlighted that the result obtained is not distorted and improves the overall evaluation process.
La formación por competencias se ha instalado como una respuesta a la demanda de la sociedad para obtener profesionales idóneos en un contexto de constante cambio y avance en las tecnologías, por lo que países como Inglaterra, Canadá, Australia, Estados Unidos de Norteamérica y muchos de la Unión Europea han aplicado este enfoque de competencias en la educación1. Este concepto académico de competencia es polisémico y se puede definir como un saber hacer complejo basado en la movilización y uso eficaz de los recursos internos2-4. Perrenoud3 afirma que la competencia es una actuación integral que permite identificar, interpretar, argumentar y resolver problemas del contexto con idoneidad y ética, integrando los tres tipos de saberes: conceptual (saber), procedimental (saber hacer) y actitudinal (ser y convivir), y que además involucra la reflexión sobre el propio proceso de aprendizaje (metacognición). Ser competente implica una convergencia de los saberes antes mencionados, y una evaluación bajo el enfoque por competencias debe considerar simultáneamente y en forma indisoluble los recursos que el estudiante debe movilizar y las situaciones en las cuales los estudiantes deberán hacerlo5.
Para evaluar una competencia se debe cumplir con algunos atributos mínimos, como son la definición de los criterios de desempeño requeridos y determinar los resultados individuales que se exigirán, reuniendo las evidencias respecto del desempeño individual6. Las complejidades de la evaluación en este modelo ponen la alerta en sistemas donde se privilegie una modalidad escrita —en el mejor de los casos— o simplemente el marcar (en las pruebas de selección múltiple), reduciendo el campo de la evaluación de la competencia a solo uno de sus componentes, lo que lleva a tomar decisiones sobre la base de información, que puede ser incompleta y sesgada2. Un currículo basado en competencias necesita una evaluación basada en competencias, lo que pone en cuestión los métodos habituales de examinar, evaluar y calificar el trabajo de los estudiantes. La evaluación por competencias obliga al uso de una evaluación auténtica que use una diversidad de instrumentos e implique a diferentes agentes7. Se deben evidenciar las acciones de los estudiantes y utilizar la observación como estrategia de recogida de información sistemática mediante registros cerrados (check-list, escalas, rúbricas) o abiertos, y puede hacerse por parte del profesorado, por parte del alumnado o por parte del propio estudiante (o por todos ellos, en un modelo de evaluación de 360°), pero en cualquier caso debe proporcionar información sobre la progresión en el desarrollo de la competencia y sugerir caminos de mejora. La integración de conocimientos puede hacerse de modo especialmente interesante en proyectos finales o en experiencias de prácticas externas (internados y/o prácticas de titulación), instancias que constituyen un escenario privilegiado para que el estudiante integre y aplique conocimientos8.
Uno de los métodos utilizados en la evaluación de competencias a nivel clínico en las carreras del ámbito de la salud es el desarrollo de exámenes objetivos y estructurados en diferentes estaciones que en su conjunto afronten una evaluación de los tres aspectos involucrados en el desarrollo de una competencia, es decir, el aspecto cognitivo, el procedimental y el actitudinal. Esto es lo que se conoce como «examen clínico objetivo estructurado» (ECOE), introducido por Harden el año 1975. Este examen posee un formato que incorpora diversos instrumentos evaluativos y se desarrolla a lo largo de sucesivas estaciones que simulan diversas situaciones clínicas reales9. El beneficio de este formato radica en la mezcla de métodos de evaluación, de manera que es capaz de explorar suficientemente tres de los cuatro niveles de la pirámide de Miller: saber, saber cómo y demostrar cómo10.
El ECOE se ubica como un tipo de examen que evalúa la competencia profesional de los estudiantes del área de la salud de gran cantidad de universidades y que requiere del evaluado una respuesta coordinada que involucre varios dominios de los temas estudiados y/o aprendidos, convirtiéndolo así en una herramienta evaluativa poderosa, auténtica y objetiva que permite evaluar competencias y un amplio número de habilidades, por lo que algunos autores lo consideran el estándar de oro para evaluar las competencias clínicas, siendo usado en países como Canadá, Estados Unidos, Australia y muchos en Europa para evaluar habilidades clínicas de pregrado11. El Registro Americano de Tecnólogos Médicos (American Registry of Radiologic Technologists [ARRT] requiere que todos sus registrados participen de eventos de educación continua como parte de su proceso de certificación mediante una variedad de actividades educativas cuya evaluación es de tipo ECOE, incluyendo un espectro amplio de temas teóricos y prácticos. En el campo de la resonancia magnética (RM) se reportan evaluaciones continuas con perfil de certificación bianual y registro de experiencia clínica como requisitos mandatorios para la práctica laboral a nivel clínico12.
A nivel nacional existen algunas experiencias reportadas con relación a la aplicación de ECOE en asignaturas e internados durante la formación de pregrado13-15. En ellas se analizan aspectos de diseño, aplicación y percepción de los participantes, reportando algunas características del proceso. En el caso de la certificación de las competencias en la carrera de medicina, los médicos recién egresados y profesionales extranjeros que quieran ejercer en Chile deben someterse al Examen Único Nacional de Conocimientos en Medicina (EUNACOM) como requisito para el desempeño laboral nacional en el sistema público. Este examen utiliza la modalidad de ECOE entre otros tipos de evaluaciones, y no se permiten evaluaciones escritas ni presentaciones del examinado respecto a algún tema médico16. Esto señala, de manera similar a lo expresado por Westbrook y Talbot12, la importancia y las repercusiones de tener una evaluación estandarizada como requisito de acreditación formal dotada con poder legal habilitador para una praxis disciplinar.
Este trabajo propone y contribuye a introducir en nuestra realidad una evaluación final auténtica de competencias de un egresado de un programa de Ciencias de la Salud, como es el de Tecnología Médica de una universidad privada de Santiago, carrera que basa parte importante de su quehacer en aspectos del «saber hacer». Si bien muchas instituciones de educación superior han hecho propio el enfoque de educación por competencias a nivel curricular, las evaluaciones no necesariamente han seguido la consecuencia lógica de tal definición. En este sentido, este artículo presenta una herramienta contextualizada a nuestra realidad para que los exámenes finales de grado dejen de ser eminentemente teóricos y puedan ser vinculantes al evaluar competencias profesionales de manera auténtica.
Dicho esto, el objetivo de este trabajo es presentar una propuesta para la aplicación de un ECOE como instrumento de evaluación de competencias de egreso para los estudiantes de la mención de radiología y física médica en una carrera de Tecnología Médica universitaria, respetando su modelo educativo, para ser utilizado en futuras cohortes de egresados.
MetodologíaEl investigador, debido a que forma parte de la coordinación académica y administrativa de la escuela y será parte integrante de la posterior aplicación del modelo de evaluación propuesto para ella, tendrá una participación y opinión disciplinar durante la presente investigación. De esta forma, se plantea un modelo de investigación-acción17,18. Se diseñó un estudio cualitativo exploratorio con dos metodologías de recolección. Se realizó una revisión bibliográfica dirigida a recolectar evidencia publicada de aplicación del ECOE en la carrera de Tecnología Médica a nivel nacional, y similares a nivel internacional. Con ello se buscó determinar la situación actual del nivel de incorporación de este método en la práctica evaluativa, ya sea formativa o de evaluación final de competencias, y las estructuras de ECOE más comunes de aplicación, con el fin de hacer una propuesta teórica genérica a partir del estado del arte. Esta propuesta inicial fue posteriormente sometida a evaluación por parte de los docentes colaboradores mediante una entrevista semiestructurada. Previo a la aplicación de dicha entrevista se procedió a la validación del contenido abordado en ella mediante el juicio de tres expertos. Se seleccionó a dos tecnólogos médicos de la mención de radiología con destacado desarrollo profesional y docente, ambos con grado de magister, y además un doctor en ciencias de la educación para esta validación. Las características esenciales consideradas para la selección de estos jueces expertos fueron el conocimiento de lo relevante en el área, además del conocimiento actualizado de la problemática y la experiencia en el área docente disciplinar19. Las recomendaciones emanadas de estos expertos fueron menores y tuvieron que ver con el aseguramiento de la lectura, por parte de los colaboradores, de los documentos enviados previo a la entrevista.
En este contexto, se seleccionó y entregó a los participantes la documentación de relevancia para el adecuado desarrollo de la entrevista con los docentes colaboradores, que corresponde a la propuesta de ECOE basada en la revisión bibliográfica realizada y el documento de perfil de egreso de la carrera.
La propuesta teórica del ECOE generada a partir de la revisión bibliográfica constaba de 6 estaciones evaluativas, incluyendo estaciones comunes para todos los evaluados, considerando los campos disciplinares de radiología general y tomografía computarizada, y contemplando además las estaciones del área electiva de internado que realizaba cada estudiante. Estas áreas electivas corresponden a: resonancia magnética, radioterapia, medicina nuclear, ecotomografía y hemodinamia. Por ejemplo, si el estudiante realizó su internado electivo en resonancia magnética, su ECOE consistirá en: las cuatro estaciones comunes más las dos estaciones específicas de su internado, es decir, dos estaciones evaluativas de resonancia magnética. Los criterios de aprobación del ECOE propuesto se basan en una exigencia del 70%, consistente con el porcentaje de exigencia que se tiene durante los tres años de formación disciplinar específica de la mención.
La recolección de datos se obtuvo mediante una entrevista semiestructurada llevada a cabo por el investigador entre los meses de julio y septiembre del año 2016, con preguntas abiertas orientadas a develar, por parte de los docentes colaboradores, opiniones y sugerencias para la propuesta inicial en relación a tres áreas principales: la temática del perfil de egreso y su cobertura durante la formación y la evaluación final; en segundo lugar se les consultó con respecto a la opinión del actual examen de título, y finalmente se indagó sobre las sugerencias con relación a la propuesta teórica inicial de 6 estaciones, siendo este último el tema más relevante con el fin de incorporar los conceptos que estos colaboradores creen necesarios de incorporar en esta evaluación final.
Luego de validado el instrumento de entrevista y previo aseguramiento, por parte del investigador, de la revisión y lectura de los documentos entregados durante la entrevista por parte de los colaboradores, se procedió a entrevistar a un total de 7 docentes de la mención y a 2 directivos (director de escuela y director docente). De los entrevistados, 8 son tecnólogos médicos, 6 son de la mención de radiología y 2 de la mención de bioanálisis clínico y banco de sangre (directivos). En el caso de una docente entrevistada extranjera, radicada en Chile, no es poseedora del título de tecnólogo médico impartido en un programa chileno, sino que es licenciada en ciencias con especialidad en medicina nuclear. El perfil de rango académico de la muestra entrevistada es de 6 licenciados en tecnología médica, 5 de ellos con grado de magister en ciencias y uno con grado de doctor. Existen dos docentes que están con programas en curso, un magistrante y un doctorando, ambos en docencia universitaria.
Adicionalmente se entrevistó a dos docentes de la misma área de otra institución de educación superior que también imparte la mención de la carrera, teniendo la misma consideración de asegurar la lectura previa de los documentos entregados. Este paso se valoró en el sentido de tener una mirada externa a la escuela proveniente de profesionales docentes de reconocida y extensa trayectoria en el área docente de la carrera en general. Ambos docentes entrevistados poseen el título de tecnólogo médico de la mención de radiología y física médica y tienen el grado de magister en educación universitaria. Además, uno de ellos se encuentra doctorando en la misma área de docencia en educación superior.
Luego de la realización de las entrevistas, estas se transcribieron para la categorización y análisis de los contenidos y opiniones obtenidas mediante un método cualitativo inductivo de exploración, descripción y posterior generación de nuevas perspectivas teóricas con respecto al tema mediante una codificación en primer y segundo plano de los datos hasta llegar a los elementos centrales del análisis siguiendo el modelo de la teoría fundamentada20. Con este análisis, más la propuesta teórica inicial, se elaboró la propuesta final de ECOE.
Antes de la entrevista presencial con el investigador se solicitó el consentimiento informado de los docentes entrevistados de manera escrita y firmado, previa información de los objetivos y finalidades del estudio. También se informó a los colaboradores del registro en audio digital de la entrevista.
ResultadosPerfil de egresoExisten dos áreas del perfil de egreso que resultan dificultosas para ser evidenciadas mediante una evaluación de tipo ECOE: las competencias del área de gestión de calidad y lo referido a la valoración de la realidad histórico-cultural. Al respecto, los sujetos colaboradores señalan que las herramientas para la gestión de calidad se han entregado y que se evidencia cierto manejo novel en esta área de parte de los estudiantes. Se relata en una entrevista: «…he presenciado el interés de algunos estudiantes, que vienen con ideas frescas de la escuela, por intervenir ciertos aspectos del trabajo en el servicio…» (MAB, docente).
Sin embargo, llevar este tipo de conocimiento a una situación evaluativa puede llegar a ser bastante complejo. «Por lo general, estos temas se asumen como pasados, y si han aprobado sus ramos quiere decir, creo yo, que son competentes al respecto…» (PDL, docente). Otro docente señala: «…el examen de pre-título debe abocarse a la evaluación de lo esencial del TM de radiología, que es la obtención y el análisis de las imágenes, si lo enfocamos hacia estas áreas podríamos estar perdiendo un poco el foco» (FOS, docente).
Modelo actual de examen de títuloCon respecto al formato actual del examen de título, es opinión casi unánime que es una entidad absolutamente teórica, por lo que no puede medir habilidades y/o destrezas. Todos los docentes entrevistados señalan esto como una deficiencia para la evaluación final de competencias en el contexto de una carrera eminentemente de «saber hacer» procedimental. Todos los docentes se declaran a favor del cambio de metodología hacia el modelo de evaluación de competencias tipo ECOE.
Otra característica que surge en esta área es que el estudiante, al asumir que debe manejar una gran cantidad de elementos teóricos para un paso exitoso por el examen, se autogenera un alto nivel de ansiedad y estrés, lo que muchas veces se convierte en el factor principal de fracaso en la instancia. Algunas textualidades al respecto: «…hemos visto los casos de estudiantes que se van a negro y no responden nada, sabiendo nosotros que son buenos estudiantes…» (MAB, docente). Pablo (docente) señala: «…el manejo del stress yo creo que es lo más importante en este tipo de examen tan teórico».
La característica del ECOE de someter a todos los estudiantes a las mismas preguntas en un circuito de rotación entre estaciones evaluativas también es vista como positiva por los colaboradores, dado que en variadas oportunidades se percibe un nivel distinto de dificultad en las preguntas que responden distintos estudiantes, lo que disminuye la reproducibilidad y la objetividad del examen. A posteriori, algunos estudiantes comparan con sus pares las preguntas recibidas, y en efecto ellos verifican un nivel de diferencia en la dificultad de respuesta de sus preguntas. Se asigna esto a un factor de «sorteo afortunado» de las preguntas a responder: «…es bueno porque así se elimina el factor suerte que tienen los estudiantes que sortean las preguntas más fáciles…» (Fabián, docente), hecho que no puede ser aceptado en el diseño de una instancia evaluativa tan importante como la evaluación final de competencias.
Propuesta final de ECOELa tabla 1 indica la estructura del ECOE propuesto con sus estaciones, su forma de evaluación y las dimensiones de las competencias evaluadas. Esta propuesta final incorpora los aportes de los docentes colaboradores y queda con un total de 8 estaciones, con un componente de 6 estaciones comunes y 2 estaciones de modalidad electiva en base al internado realizado por el examinado. La propuesta teórica inicial fue modificada en razón de las opiniones de los entrevistados, agregando dos estaciones de evaluación. Las áreas de evaluación que se agregaron fueron a partir de las estaciones 3 y 4, que son la de toma de radiografía a fantoma y, la número 4, de análisis de imágenes, debido a que estas son las áreas procedimentales en las que se debe necesariamente evidenciar un manejo competente por parte del examinado. De manera textual, los entrevistados refieren: «este es el procedimiento que se debe conocer y manejar al revés y al derecho» (MAB, docente); «si hay algo que el estudiante tiene que saber sí o sí al egresar, es esto» (MSS, docente externo); «la competencia por antonomasia del tecnólogo médico de radiología es la toma y análisis de imágenes» (PDL, docente). En razón de esto, la estación 3 se duplicó de manera que una estación evaluativa se centre específicamente en los aspectos de posicionamiento y toma de la radiografía, y se generó una nueva estación para el análisis anatómico, la revisión y la evaluación de los aspectos imagenológicos de la imagen lograda en la estación previa. La misma situación se encontró en la estación 4 de análisis de imágenes de tomografía computarizada; esta área se considera en un mismo nivel con respecto a la radiología simple, por lo que se generaron dos estaciones a partir de la estación teórica señalada para ampliar el campo de evaluación.
Estructura de la propuesta final de ECOE
| Estación | Forma de evaluación | Aspecto evaluado |
|---|---|---|
| 1. Genérica | Entrevista a paciente estandarizado | Actitudinal, cognitivo, procedimental |
| 2. Genérica | Entrega de indicaciones a paciente estandarizado | Actitudinal, cognitivo, procedimental |
| 3. Toma Rxs | Toma de radiografía a fantoma | Procedimental, cognitivo |
| 4. Análisis de imágenes | Análisis de imágenes de radiografía tomada en estación previa | Cognitivo |
| 5. TC | Pregunta y respuesta en buzón | Cognitivo |
| 6. TC análisis | Análisis de imágenes en workstation de tomografía simulada | Procedimental, cognitivo |
| 7. Electivoa | Actividad práctica dependiente del área electiva seleccionada | Procedimental dependiente del área electiva |
| 8. Electivoa | Análisis de imágenes dependiente del área electiva seleccionada | Cognitivo dependiente del área electiva |
Rxs: radiografía; TC: tomografía computarizada.
Las estaciones evaluativas de las áreas electivas fueron consideradas adecuadas por parte de los entrevistados y por los docentes que imparten las asignaturas. Se evidencia un concepto de que las competencias entregadas a nivel de pregrado en estas áreas son un «mínimo basal» para una formación específica más profunda en posgrado, por lo que el nivel de preguntas y la cantidad propuesta de estaciones evaluativas fue aceptada por parte de los docentes entrevistados. El docente encargado de resonancia magnética señala: «…en esta área me interesa más que el estudiante salga con una buena base teórica, ya que la práctica se logra una vez en el campo laboral y con algún diplomado o estudio posterior» (PM, docente).
En cuanto a las ponderaciones de cada estación en el resultado global del examen, en la tabla 2 se encuentran los valores porcentuales asignados por cada estación según las opiniones de los docentes entrevistados. Se determinó usar la distribución basada en la moda por su consistencia con las opiniones de los académicos entrevistados y por mayor simplicidad de los cálculos numéricos al momento de la aplicación y posterior traducción a calificación.
Valor porcentual de las estaciones del ECOE según opiniones de los docentes entrevistados (n = 9)
| Peso en ECOE (%, promedio) | Peso en ECOE (%, moda) | |
|---|---|---|
| Estación 1 Genérica | 9 | 10 |
| Estación 2 Genérica | 9 | 10 |
| Estación 3 Toma Rxs | 15,25 | 15 |
| Estación 4 Análisis | 15,25 | 15 |
| Estación 5 TC | 12,25 | 10 |
| Estación 6 TC análisis | 12,25 | 10 |
| Estación 7 Electivo | 13,5 | 15 |
| Estación 8 Electivo | 13,5 | 15 |
| Total | 100 | 100 |
Rxs: radiografía; TC: tomografía computarizada.
Las ventajas del ECOE sobre el examen tradicional se observan al poder controlar las situaciones en las cuales se evalúan los desempeños de los estudiantes. Todos son sometidos a las mismas situaciones. El ECOE asegura de esta forma comparabilidad y equidad. El examen eminentemente teórico llevado a cabo hasta este momento no cumple con las características de estandarización, reproducibilidad y objetividad que debe tener una instancia evaluativa de este nivel. Por lo tanto, es recomendable migrar hacia el ECOE como instrumento de evaluación de competencias de egreso en la carrera de Tecnología Médica21,22.
A nivel local todavía existe desconocimiento sobre el ECOE, sus virtudes y sus limitaciones. Su difusión e implementación a nivel nacional ha sido limitada como parte de la evaluación final de competencias. Asumir el reto de mejorar la evaluación en educación de carreras del área de la salud permite avanzar en este campo, ya que contribuye a la formación profesional de los futuros tecnólogos médicos y pueden servir de orientación para introducir cambios en los programas académicos y tomar decisiones sobre las competencias que se persigue obtener según los perfiles de egreso declarados.
La utilización de este modelo de evaluación constituye una estrategia más efectiva para la certificación de las competencias de egreso con foco en docencia universitaria de pregrado. Sin embargo, la adopción de la propuesta presenta cierta resistencia de cara a los métodos tradicionales. También requiere considerar la componente económica en su implementación, aunque cuando está bien diseñado, entre los efectos positivos también destaca que el resultado obtenido no se distorsiona mejorando el proceso evaluativo global.
Futuras investigaciones deberían abordar estas temáticas y enfocarse en el nivel de correlación entre el desempeño disciplinar de pregrado de los estudiantes y su puntaje o nota de aprobación en ECOE, así como también en evaluar la percepción de los estudiantes y académicos en el proceso mismo de aplicación del ECOE propuesto en la presente investigación en futuras cohortes de estudiantes de la carrera.
Conflicto de interesesLos autores declaran no tener ningún conflicto de intereses.
