El Mini-CEX es un instrumento que utiliza la observación para evaluar las competencias clínicas de alumnos residentes. El objetivo del presente trabajo es describir la implementación del Mini-CEX para evaluar las competencias clínicas de alumnos residentes de la carrera de Ciencias Veterinarias y verificar su confiabilidad y validez.
Materiales y métodosParticiparon 10 alumnos residentes del área clínica durante el año 2019; a cada uno se le realizaron 3 observaciones en los ámbitos del Hospital Escuela de la Facultad. En la observación participaron 6docentes. Se evaluaron las competencias y se realizó el análisis descriptivo del entorno clínico, los datos del paciente, el motivo de la consulta y la complejidad del caso a través de la media y la desviación estándar. Se compararon las 3 observaciones utilizando la prueba no paramétrica de Kruskal-Wallis considerando un valor de p<0,05 como estadísticamente significativo. La confiabilidad del instrumento se midió por la prueba alfa de Cronbach asumiendo un nivel apropiado de>0,8. La validez se obtuvo mediante el análisis factorial.
ResultadosSe observó un progreso significativo en el criterio clínico de 3 a 6,5 (p=0,0033), asesoramiento al propietario de 3 a 7 (p=0,0274), organización/eficiencia de 3 a 6 (p=0.0025) y en la competencia clínica global de 3 a 5,5 (p=0,0106). El instrumento resultó válido y confiable (alfa de Cronbach=0,7957; análisis factorial=79,9%). Se concluye que el instrumento es adecuado para ser implementado en las residencias de la carrera de Ciencias Veterinarias.
The Mini-CEX is an instrument that uses observation to assess the clinical competencies of resident students. The objective of this work is to describe the implementation of the Mini-CEX to evaluate the clinical competencies of resident students of the veterinary sciences career and verify its reliability and validity.
Materials and methods10 resident students of the clinical area participated during 2019; 3 observations were made to each one in the areas of the college school hospital. Six teachers participated in the observation. Competencies were evaluated and a descriptive analysis of the clinical environment, patient data, reason for the consultation and complexity of the case was carried out through the mean and standard deviation. The 3 observations were compared using the non-parametric Kruskal Wallis test, considering a value of p<0.05 as statistically significant. The reliability of the instrument was measured using Cronbach test assuming an appropriate level of>0.8. Validity was obtained through factor analysis.
Resultssignificant progress was observed in clinical critery from 3 to 6.5 (P=.0033), advice to the owner from 3 to 7 (P=.0274), organization/efficiency from 3 to 6 (P=.0025) adn in global clinical competence from 3 to 5.5 (P=.0106). The instrument was valid and reliable (Cronbach alfa=0.7957; factor analysis=79,9%). It is concluded that the instrument is suitable for the implements in residencies of the veterinary sciences.
La carrera de Ciencias Veterinarias de la Universidad Católica de Salta propone las residencias como prácticas profesionales a realizar por los alumnos en un área elegida, antes de la obtención del título.
Las prácticas en la orientación clínica de pequeños y grandes animales se realizan en el Hospital Escuela de la Facultad; allí se brinda atención clínica y quirúrgica con distintos grados de complejidad.
Los alumnos residentes realizan sus prácticas bajo la supervisión de los docentes; hasta el momento no se implementa un instrumento de evaluación formativa que evidencie el desempeño de las competencias y habilidades clínicas de los alumnos, cuya validez y confiabilidad haya sido documentada.
En la evaluación formativa se identifican las fortalezas y las debilidades, se proponen medidas correctivas permitiendo guiar y dirigir el desarrollo de competencias profesionales1.
La observación como técnica de evaluación permite documentar evidencias explícitas del desempeño de los alumnos e identificar aquellas competencias que se deben reforzar. La observación realizada en forma regular facilita el seguimiento longitudinal del residente y permite corregir o reforzar in situ e in vivo acciones o actitudes en su desempeño2,3.
El Mini Clinical Evaluation Exercise (Mini-CEX) es un instrumento de evaluación de competencias clínicas que utiliza la observación directa para valorar habilidades y destrezas clínicas del residente mientras participa de un encuentro con paciente; con posterior provisión de feedback o devolución en su ámbito de trabajo4.
El evaluador basa su juicio en la actuación del residente ante una situación clínica determinada, siendo los instrumentos formularios de escala con descriptores precisos de las competencias a evaluar a fin de minimizar la subjetividad1.
El Mini-CEX ha sido implementado en numerosas carreras de medicina cuyos estudios le han otorgado validez y confiabilidad5-9. En medicina veterinaria se ha comparado al Mini-CEX con otros instrumentos de evaluación concluyendo que es una herramienta útil y valiosa para el aprendizaje de los alumnos10,11.
El presente trabajo tiene como objetivo describir la implementación del Mini- CEX como instrumento de evaluación de competencias clínicas en alumnos residentes de la carrera de Ciencias Veterinarias que han optado por realizar sus prácticas en el Hospital Escuela en el año 2019 y verificar su confiabilidad y validez.
Materiales y métodosPoblación de estudioDiez alumnos de la carrera de Ciencias Veterinarias que optaron por realizar su residencia en el área de clínicas de pequeños y de grandes animales durante los meses de febrero a diciembre del año 2019. A cada alumno se le realizaron 3observaciones durante su residencia.
Consideraciones éticasLa participación de los estudiantes fue de manera voluntaria previa firma del consentimiento informado.
DocentesParticiparon 6 médicos veterinarios especialistas del Hospital Escuela, con actividad docente de grado y posgrado, y con residentes a cargo. Durante 8encuentros trabajaron en el consenso de indicadores y descriptores, previa lectura de publicaciones, y realizaron simulacros de observación a una población de residentes anterior a la población de estudio.
Variables de estudioEl Mini-CEX utiliza una escala de Likert del 1 al 9 para evaluar las siguientes competencias: habilidades para la conducción de la entrevista clínica, habilidades para la conducción del examen físico, cualidades humanísticas/profesionalismo, criterio clínico, habilidades para el asesoramiento al propietario, organización/eficiencia y competencia clínica global. Analiza la complejidad del caso (baja, mediana, alta), el entorno clínico (consulta externa, urgencias), el asunto principal de la consulta (anamnesis, diagnóstico, tratamiento, control) y los datos del paciente. Considera el tiempo de observación, el tiempo del feedback y el grado de satisfacción del docente y del alumno (estos últimos se valoran en una escala Likert del 1 al 9).
A fin de garantizar las competencias profesionales del médico veterinario, el equipo docente adecuó el instrumento consensuando los indicadores y descriptores de desempeño de cada una de las competencias (tabla 1). Luego establecieron las escalas de logro, identificaron los estándares mínimos de desempeño y realizaron las rúbricas analíticas.
Se detallan las competencias propuestas por el Mini-CEX con los indicadores y descriptores de desempeño adecuados para la carrera de Ciencias Veterinarias
| Competencia | Indicador | Descriptor de desempeño |
|---|---|---|
| Habilidades para la conducción de la entrevista médica | Hace preguntas adecuadas para obtener información adecuada | Indaga el motivo de la consulta teniendo presente el porqué, el cómo y el cuándo |
| Recopila datos previos: alimentación, plan sanitario, cirugías y consultas previas, historial reproductivo y deportivo | ||
| Indaga sobre el entorno ambiental del paciente: lugar donde habita, convivencia con otros animales, estado sanitario de los otros animales | ||
| Completa la ficha clínica | Reconoce las partes de la ficha y las completa adecuadamente. Utiliza la ficha clínica como instrumento orientador para la resolución del caso clínico | |
| Asienta los datos del propietario (nombre y apellido, domicilio, teléfono de contacto) y cumple con el consentimiento informado | ||
| Identifica los datos del paciente: especie, sexo, edad, peso, raza, pelaje, condición corporal, biotipo | ||
| Habilidades para la conducción del examen físico | Desarrolla la exploración clínica de manera apropiada | Conoce el comportamiento habitual de la especie que se presenta a consulta y las maniobras de contención a realizar según especie |
| Realiza la evaluación clínica general teniendo en cuenta todas las constantes fisiológicas | ||
| Realiza la evaluación clínica general a través de maniobras semiológicas (palpación, percusión, auscultación) de los órganos y sistemas | ||
| Realiza la evaluación clínica particular del motivo de consulta | ||
| Sigue una secuencia en la exploración clínica | Realiza la exploración clínica de lo general a lo particular | |
| Cualidades humanísticas/profesionalismo | Presentación del médico | Saluda atentamente al propietario; informa sobre su desempeño en el hospital. Presenta al personal de apoyo. Denota muy buena presencia y seguridad |
| Muestra respeto y crea un clima de confianza | Es respetuoso, atento y amable con el propietario. Crea un ambiente muy cordial y agradable. Demuestra empatía | |
| Se comporta de forma ética | Mantiene un comportamiento ético durante la consulta y demuestra responsabilidad en la profesión. Mantiene la confidencialidad y la información | |
| Atento a las necesidades del paciente | Valora el estado del paciente y aplica los conocimientos médicos y legales que permitan asegurar el bienestar animal. Demuestra compasión y responsabilidad. Implementa correctamente todas las normas de bioseguridad | |
| Criterio clínico | Realiza una orientación diagnóstica adecuada | Ordena adecuadamente la información obtenidaEl diagnóstico presuntivo se correlaciona con los signos clínicos. Emite diagnósticos diferenciales correctos y los justifica |
| Formula un plan de manejo coherente con el diagnóstico | Las indicaciones que realiza se enfocan al diagnóstico presuntivo y a los diferenciales. Formula un plan terapéutico adecuado y completo: etiológico, sintomático, profiláctico y de urgencia. Considera riesgo y beneficios | |
| Indica estudios complementarios | Indica los estudios complementarios adecuados, informando sobre las ventajas y las desventajas; considera los costos que debe afrontar el propietario y da posibles alternativas | |
| Habilidades para el asesoramiento al propietario | Utiliza un lenguaje comprensible y empático con el propietario | Comunica de forma fluida y comprensible la información obtenida durante la clínica, explica y se asegura de que el propietario lo entienda durante toda la consulta |
| Franco y honesto | Conoce la forma adecuada de expresar la dolencia al propietario con un lenguaje técnico adecuado. No omite información | |
| Habilidades para el asesoramiento al propietario | Explica al propietario el proceso de exploración | Explica al propietario la finalidad de todos los procedimientos de las maniobras semiológicas realizadas. Está atento a las dudas del propietario y procura su entendimiento |
| Habilidades para el asesoramiento al propietarioOrganización/eficiencia | Informa y consensúa el plan de manejo/tratamiento del paciente | Informa y ofrece al propietario las distintas alternativas clínicas/quirúrgicas para la resolución del caso. Informa los costos a afrontar. Explica los fundamentos, aconseja e instruye en la toma de decisión |
| Prioriza los problemas | Reconoce los casos de urgencia | |
| Organización/eficienciaCompetencia clínica global | Buena gestión del tiempo y los recursos | Respeta el tiempo máximo de consulta. Prevé con anticipación la disponibilidad de todos los elementos de trabajo |
| Capacidad de síntesis y de resolución | Presenta información clara y bien organizadaResuelve problemas y toma decisiones | |
| Capacidad de trabajo en equipo | Mantiene una comunicación eficaz con sus pares; presenta un trato cordial y de respecto, tiene capacidad de escucha | |
| Demuestra juicio clínico | Interpreta los datos clínicos, emite un diagnóstico con sus respectivos diferenciales y emite un juicio pronóstico | |
| Competencia clínica global | Derivaciones adecuadas | Solicita métodos complementarios de diagnóstico, conoce la disponibilidad en el medio de los mismos y asesora al propietario. Realiza el pedido de manera correcta |
| Valora riesgos y beneficios en el plan de manejo | Posee los conocimientos médicos y legales que permitan asegurar el bienestar animal |
Para el análisis descriptivo del entorno clínico, los datos del paciente, el motivo de la consulta y la complejidad del caso se determinaron la media y la desviación estándar. Se realizó un análisis comparativo de las 3observaciones utilizando la prueba no paramétrica de Kruskal-Wallis para determinar las diferencias de habilidades considerando un valor de p<0,05 como estadísticamente significativo. La confiabilidad del instrumento se midió mediante la prueba alfa de Cronbach asumiendo un nivel apropiado>0,8. La validez del instrumento se obtuvo mediante el análisis factorial. Para el análisis de los datos se utilizaron los paquetes estadísticos InfoStat, versión 2020e y STATA 14 (Stata Corp LLC 4905 Midtown Dr College Station TX77845, Estados Unidos).
ResultadosEn las consultas se atendieron las siguientes especies de animales: caninos (66,6%), felinos (13,3%), equinos (16,6%) y bovinos (3,3%). Las edades de los pacientes se corresponden con los siguientes rangos etarios: menores a un año (16,6%), 1 a 3 años (16,6%), 3 a 5 años (20%) y más de 5 años (40%). Se atendieron machos (60%) y hembras (40%). Los casos clínicos fueron de baja (70%), mediana (30%) y alta complejidad (10%). El motivo de consulta fue por diagnóstico (86,6%), tratamiento (10%) y control (3,33%).
El tiempo promedio de la atención clínica fue de 20,80 minutos, con una desviación estándar de±5,84 minutos. El tiempo promedio del feedback fue de 13,87 minutos con un desviación estándar de±5,44 minutos.
En la tabla 2 se presentan los resultados de las 3observaciones realizadas, donde se observó un progreso en las siguientes competencias: criterio clínico de 3 a 6,5 (p=0,0033), asesoramiento al propietario de 3 a 7 (p=0,0274), organización/eficiencia de 3 a 6 (p=0,0025) y en competencia clínica global de 3 a 5,5 (p=0,0106).
Resultados de los puntajes (mediana) de las observaciones realizadas a los residentes (alumnos próximos a graduarse)
| Competencia | Primera observación | Segunda observación | Tercera observación | p |
|---|---|---|---|---|
| Habilidades para la conducción de la entrevista clínica | 4,5 | 5,5 | 6 | 0,0960 |
| Habilidades para la conducción del examen físico | 3,5 | 5 | 5,5 | 0,0939 |
| Cualidades humanísticas/profesionalismo | 6 | 6,5 | 7 | 0,8195 |
| Criterio clínico | 3 | 5 | 6,5 | 0,0033 |
| Habilidades para el asesoramiento al propietario | 3 | 5 | 7 | 0,0274 |
| Organización/eficiencia | 3 | 4,5 | 6 | 0,0025 |
| Competencia clínica global | 3 | 5 | 5,5 | 0,0106 |
La prueba de consistencia interna alfa de Cronbach resultó ser igual a 0,7957. El análisis factorial exploratorio a través del método de componentes principales muestra que el primer factor explica el 79,9% de la varianza.
La satisfacción del examinador con respecto a la implementación del instrumento fue de 9,97/10 y del residente fue de 9,60/10.
DiscusiónLa evaluación de los aprendizajes está presente de manera permanente en los sistemas educativos.
Todas las evaluaciones deben ser utilizadas con el fin de comprender la realidad de los procesos de aprendizaje y ver cómo mejorarlos.
El Mini-CEX es un instrumento que permite la evaluación formativa en diferentes dimensiones, ha tenido buena aceptación por parte de los residentes y por los docentes7,8,12.
Para la carrera de Ciencias Veterinarias el instrumento ha sido adecuado; se establecieron pautas y criterios detallados y precisos para la observación; esto permitió disminuir la subjetividad por parte de los docentes a la hora de la evaluación. En el consenso de los descriptores se abrió un espacio de diálogo y debate entre docentes, quienes no solo se desempeñan como docentes en el Hospital Escuela. sino que conforman equipos de distintas cátedras.
Se observó una predominancia de atención en animales de compañía y dentro de ellas predomina la especie canina. Las edades de atención se concentran en animales adultos donde las enfermedades son más habituales. Se atendieron más machos que hembras: este dato coincide con los reportes anuales del Hospital Escuela.
Los casos clínicos fueron de baja complejidad, siendo el motivo más común de la consulta el diagnóstico de enfermedades.
El tiempo de observación de consultas clínicas es coincidente con otros trabajos1,8,12, pero en el feedback los alumnos han manifestado que la complejidad del caso y el grado de cooperación del paciente y del propietario puede prolongar el tiempo de consulta. Consideramos que el número de residentes es bajo, por lo cual se debería continuar este estudio con una población mayor de alumnos.
Hubo una buena evolución de los alumnos residentes a medida que transcurrieron las observaciones, denotándose una mejora sustancial en el criterio clínico, en el asesoramiento al propietario, en la organización/eficiencia y en la competencia clínica global. Estas mejoras sustanciales se lograron gracias al feedback, en el que el docente resaltó las principales dificultades e informó sobre el progreso de las competencias. Además, el alumno pudo trabajar estas dificultades en las horas de residencia que cumplía en el Hospital Escuela junto a los docentes formadores.
Todas las competencias observadas alcanzaron las escalas mínimas de desempeño esperadas por los docentes, las cuales fueron establecidas en la rúbrica analítica.
El Mini-CEX tuvo buena aceptación por los residentes, que manifestaron en el feedback que el instrumento les permitió: identificar sus debilidades, mejorar la organización de la entrevista y fijarse expectativas de logro.
El tiempo de feedback superó el tiempo previsto por el Mini-CEX, como el de otros trabajos2,5.
La validez del instrumento es apta; si bien no ha superado los valores obtenidos en otros trabajos5,6, en las observaciones se evalúa aquello que se quiere evaluar.
El grado de confiabilidad obtenido por el método de análisis factorial también es alto, lo que determina que haya consistencia y precisión en los resultados. Esta confiabilidad del instrumento también ha sido expresada en otros trabajos de investigación13,14.
Podemos concluir que el Mini-CEX tiene la suficiente flexibilidad para su implementación en las residencias ya que permitió la evaluación objetiva del desempeño de los residentes y evidenció una mejora en las prácticas profesionales.
FinanciaciónConsejo de Investigación de la Universidad Católica de Salta.
Conflicto de interesesLos autores no presentan conflicto de intereses.
