La evaluación del desempeño docente y —sobre todo— la valoración de sus competencias docentes y clínicas es un proceso vital en las residencias médicas. Con el fin de lograr una adecuada evaluación docente se han propuesto diversos modelos, sin embargo aquellos que involucran la opinión de los alumnos son los más accesibles y completos hasta ahora.
ObjetivoEvaluar el desempeño docente a través de la opinión de los residentes por medio de un cuestionario estandarizado que tiene evidencia de validez y confiabilidad.
MétodoEstudio observacional, transversal. Lugar: hospital de segundo nivel. Se incluyeron las especialidades de medicina interna, cirugía general, anatomía patológica, oftalmología, otorrinolaringología, traumatología, imagenología diagnóstica, anestesiología y ginecología. Se incluyó a todos los docentes y alumnos de las especialidades médicas de un hospital de segundo nivel. Se aplicó el cuestionario de evaluación del desempeño docente desarrollado por Martínez-González et al., de manera anónima. Se eliminaron las variables demográficas y se añadió un comentario libre en cada evaluación.
ResultadosSe incluyeron 160 maestros y 100 alumnos. Se realizaron 703 encuestas. La media de cada dimensión fue: relación profesor-residente y motivación 4,66±0,78, metodología 4,58±0,88, evaluación 4,61±0,85, capacidad de solucionar problemas 4,68±0,81, conocimiento de la materia 4,68±0,78. El promedio global fue de 4,64±0,80. La evaluación más baja fue metodología. Los residentes de mayor jerarquía fueron los que evaluaron más alto a los docentes (p=0,02). Las especialidades quirúrgicas contaron con evaluaciones inferiores que las especialidades médicas (4,60±0,84 vs 4,82±0,45, p=<0,001).
ConclusiónLos docentes cursaron con una buena evaluación global, encontrando como áreas de mejora las dimensiones de metodología y evaluación. Se recomienda eliminar las variables demográficas del instrumento y añadir comentarios libres en cada evaluación.
Clinical teacher performance evaluation, and above all the evaluation of teaching skills and clinical competences among medical teachers are of the utmost importance for medical residents. A number of different tools have been proposed in order to obtain a reasonable assessment of teacher performance. Nonetheless, residents¿ appraisal is currenlty the most simple and complete measurement tool available.
ObjectiveTo evaluate clinical tutor performance through the opinion of residents using a validated and reliable questionnaire.
MethodObservational and cross-sectional study conducted in a secondary care hospital. The following specialties were included: internal medicine, general surgery, pathology, ophthalmology, ear, nose and throat, traumatology, radiology, anaesthesiology, and gynaecology. All medical teachers and residents were included. A standardised questionnaire, developed by Martínez-González et al., was completed anonymously by.
ResultsThe study included 160 teachers and 100 residents, with 703 questionnaires being answered. The dimension means were: teacher-resident relationship and motivation 4.66±0.78, methodology 4.58±0.88, evaluation 4.61±0.85, problem solving capacity 4.68±0.81, and subject knowledge 4.68±0.78. Mean overall assessment was 4.64±0.80. Methodology was the dimension with lowest scores. Residents with highest grades evaluated the teacher with higher scores (P=.02). Surgical residents had lower scores than medical residents (4.60±0.84 vs 4.82±0.45, P<.001).
ConclusionMedical teachers obtained a good overall evaluation by the students, although there are areas like methodology and assessment that need improvement. It is recommended to eliminate demographic variables from the evaluation tool, as well allowing to add free comments for each evaluation.
La educación en el posgrado de medicina, especialmente en las residencias médicas a nivel nacional, se encuentra en proceso de mejora a través del cambio a un currículo por competencias. Las competencias, a su vez, significan que el alumno cuenta con el saber, el saber hacer y el saber ser1. Este sistema de competencias se rige por una evaluación en competencias que también incluye al docente. Esta evaluación mide conocimientos y habilidades, así como actitudes2,3. El docente, de acuerdo con los expertos en aprendizaje significativo2,3, debe fomentar la reflexión, el aprendizaje basado en los conocimientos previos y la experiencia; en otras palabras, lograr la metacognición del estudiante2.
La dirección de enseñanza de todos los hospitales debe buscar —a través de la reflexión crítica— determinar el perfil de desempeño de sus educadores. Existen diversos modelos para evaluar el desempeño docente, entre ellos se encuentra la autoevaluación, la evaluación por pares, el portafolio, la evaluación de 360° y la evaluación a través de la opinión de los educandos4–6.
La evaluación basada en la opinión de los alumnos es un modelo reconocido y de fácil implementación6–9. Recientemente, Martínez-González et al.10,11 han desarrollado y validado un cuestionario sobre el desempeño docente en las residencias médicas de la Universidad Nacional Autónoma de México (UNAM), con buenos resultados. Dicho instrumento se utilizó en el presente estudio para determinar el grado de desempeño de los docentes en un hospital de segundo nivel.
MétodoEstudio observacional y transversal. Lugar: hospital de segundo nivel. Se incluyeron todos los docentes de un hospital de segundo nivel, así como todos los alumnos de las especialidades médicas de medicina interna, cirugía general, anatomía patológica, oftalmología, otorrinolaringología, traumatología, imagenología diagnóstica, anestesiología y ginecología. Se aplicó el cuestionario de evaluación del desempeño docente desarrollado por Martínez-González et al. El instrumento cuenta con 37 reactivos en 5 dimensiones (i: relación profesor-residente y motivación; ii: metodología; iii: evaluación; iv: capacidad de solución de problemas; y v: conocimiento de la materia), con formato de escala tipo Likert (1-5). El cuestionario se respondió mediante Internet de manera anónima. Se envió un link de acceso al cuestionario, al correo personal de cada residente, cuyas respuestas fueron recabadas automáticamente en una hoja de Excel a través de Google Drive. Se solicitó una evaluación por docente, de tal forma que todos los profesores fueran evaluados.
Se realizó una modificación a la escala de Martínez-González et al. al incluir un segmento de comentarios libres al final de cada encuesta.
La dirección y jefatura de enseñanza, así como los profesores y los alumnos, estuvieron de acuerdo con la elaboración de la encuesta; estos últimos participaron de forma libre y anónima del 25 de mayo de 2015 al 10 de junio de 2015.
Se dividió a las especialidades en 2 grupos: médicas (medicina interna, imagenología, patología y anestesiología) y quirúrgicas (otorrinolaringología, cirugía, traumatología, oftalmología y ginecología). Se utilizó estadística descriptiva con media/desviación estándar para variables continuas y frecuencias/proporciones para variables categóricas. Las comparaciones entre 2 grupos fueron realizadas a través de la prueba de «t» de Student para variables continuas y con la prueba de Chi cuadrado en el caso de variables categóricas. Las comparaciones entre más grupos fueron realizadas mediante la prueba de ANOVA de un factor. El análisis de los datos se realizó con el programa estadístico SPSS v22. Se consideró una p<0,05 como estadísticamente significativa.
Consideraciones éticasEl presente estudio contó con la aprobación de la dirección de investigación y ética de nuestro hospital. Todos los participantes conocían la finalidad de la investigación y participaron libremente en el estudio.
ResultadosSe aplicaron 703 encuestas a residentes, a partir de la opinión de 99 alumnos sobre 155 docentes, ya que de una plantilla de 160, 5 no fueron evaluados (tabla 1). Del total de alumnos el 41,41% son mujeres y el 58,58% son hombres, con una edad promedio de 28,38 años.
Maestros evaluados y alumnos
| Especialidad | Docentes evaluados | Alumnos |
|---|---|---|
| Anatomía patológica | 9 | 5 |
| Anestesiología | 20 | 16 |
| Cirugía general | 22 | 12 |
| Ginecología y obstetricia | 22 | 18 |
| Imagenología diagnóstica y terapéutica | 7 | 9 |
| Medicina interna | 50 | 14 |
| Oftalmología | 10 | 12 |
| Otorrinolaringología | 6 | 6 |
| Traumatología y ortopedia | 9 | 7 |
| Total | 155 | 99 |
En cuanto al ciclo escolar los residentes pertenecían 33 (31,7%) al primer año, 31 (29,8%) al segundo, 22 (21,2%) al tercero y 13 (12,5%) al cuarto.
Del total de encuestas aplicadas 46 (6,5%) pertenecen a anestesiología, 103 (14,7%) a medicina interna, 96 (13,7%) a cirugía, 237 (33,7%) a ginecología, 73 (10,4%) a oftalmología, 37 (5,3%) a otorrinolaringología, 27 (3,8%) a patología, 48 (6,8%) a traumatología y 31 (4,4%) a imagenología. Cinco alumnos (0,7%) no rellenaron esta variable, por lo que no pudieron ser clasificados.
Se subdividieron las especialidades en médicas y quirúrgicas. Las especialidades médicas (no quirúrgicas) fueron evaluadas en 198 ocasiones, las especialidades quirúrgicas se evaluaron 461 veces; 44 encuestas no fueron respondidas en este rubro por los alumnos.
La media de cada dimensión fue: relación profesor-residente y motivación 4,66±0,78, metodología 4,58±0,88, evaluación 4,61±0,85, capacidad de solucionar problemas 4,68±0,81, conocimiento de la materia 4,68±0,78. El promedio global fue de 4,64±0.80. Los resultados por especialidades están representados en la tabla 2.
Resultados de la evaluación docente por especialidad
| Especialidad | Relación | Metodología | Evaluación | Solución problemas | Conocimiento materia | Promedio |
|---|---|---|---|---|---|---|
| Anestesiología | 4,71±0,77 | 4,76±0,71 | 4,78±0,74 | 4,82±0,76 | 4,79±0,79 | 4,76±0,74 |
| Medicina interna | 4,83±0,44 | 4,65±0,73 | 4,80±0,51 | 4,86±0,42 | 4,87±0,38 | 4,80±0,43 |
| Cirugía | 4,73±0,68 | 4,65±0,77 | 4,68±0,73 | 4,78±0,62 | 4,75±0,66 | 4,72±0,66 |
| Ginecología | 4,51±0,95 | 4,45±1,01 | 4,46±1,02 | 4,48±1,01 | 4,50±0,98 | 4,48±0,98 |
| Oftalmología | 4,34±1,01 | 4,11±1,19 | 4,18±1,17 | 4,40±1,10 | 4,49±0,99 | 4,31±1,05 |
| Otorrinolaringología | 4,99±0,02 | 4,96±0,12 | 4,96±0,09 | 4,99±0,07 | 4,99±0,03 | 4,98±0,05 |
| Patología | 4,89±0,26 | 4,87±0,36 | 4,85±0,29 | 4,87±0,33 | 4,85±0,35 | 4,87±0,30 |
| Traumatología | 4,91±0,22 | 4,88±0,31 | 4,90±0,25 | 4,92±0,22 | 4,90±0,22 | 4,90±0,23 |
| Imagenología diagnóstica y terapéutica | 4,71±0,73 | 4,73±0,81 | 4,73±0,81 | 4,75±0,81 | 4,74±0,80 | 4,73±0,77 |
| Total | 4,66±0,78 | 4,58±0,88 | 4,61±0,85 | 4,68±0,81 | 4,68±0,78 | 4,64±0,80 |
En todas las dimensiones valoradas los residentes de mayor jerarquía fueron los que evaluaron mejor a los docentes, seguidos por los residentes de tercer año; en cambio, los alumnos que no proporcionaron los datos del año de residencia que cursaban evaluaron inferiormente a los docentes, siendo esto estadísticamente significativo (residentes de cuarto año 4,76±0,66 vs residentes de tercer año 4,49±1,00 vs no clasificados 4,25±1,27; p=0,02) con una magnitud del efecto baja (0,025) (tabla 3).
Resultados de la evaluación docente según el año de residencia
| Año de Especialidad | Relación | Metodología | Evaluación | Solución problemas | Conocimiento materia | Promedio |
|---|---|---|---|---|---|---|
| R1, n=247 | 4,70±0,67 | 4,58±0,822 | 4,63±0,75 | 4,69±0,70 | 4,72±0,63 | 4,67±0,68 |
| R2, n=177 | 4,73±0,69 | 4,67±0,80 | 4,67±0,81 | 4,76±0,74 | 4,77±0,73 | 4,72±0,72 |
| R3, n=125 | 4,48±0,99 | 4,43±1,05 | 4,47±1,04 | 4,53±1,01 | 4,53±0,99 | 4,49±1,00 |
| R4, n=122 | 4,77±0,65 | 4,70±0,73 | 4,76±0,69 | 4,79±0,66 | 4,78±0,64 | 4,76±0,66 |
| No especifico, n=32 | 4,27±1,22 | 4,25±1,29 | 4,23±1,31 | 4,27±1,31 | 4,21±1,32 | 4,25±1,27 |
n: número de evaluaciones.
Las especialidades quirúrgicas contaron con evaluaciones inferiores que las especialidades médicas (4,60±0,84 vs 4,82±0,45; p=<0,001), con un tamaño del efecto del 0,027. Los alumnos que no llenaron esta clasificación (médica versus quirúrgica) contestaron con calificaciones aún más bajas (4,32±1,21, p=<0,001). Las dimensiones de cada una de estas clasificaciones se pueden ver en la figura 1.
Discusión
En los hospitales muchos médicos realizan labores docentes, clínicas y de investigación simultáneamente. Desafortunadamente, gran parte de ellos no cuenta con preparación docente. A esto se suma la falta de evaluación docente sistemática en las instituciones educativas. En ocasiones los residentes se enfrentan a docentes que no tienen preparación pedagógica y repiten las mismas conductas didácticas con sus residentes de menor jerarquía, formando un círculo vicioso en el proceso de enseñanza-aprendizaje, que muchas veces no logra cumplir con los objetivos del aprendizaje basado en competencias.
El aprendizaje basado en competencias se evalúa de forma muy diferente al aprendizaje tradicional. El conocimiento puro, evaluado mediante exámenes, es insuficiente. Se requiere evaluar las esferas del conocimiento, las destrezas y habilidades y las actitudes, por ello es importante utilizar diversos instrumentos de evaluación2,3.
La evaluación de los docentes es vital para lograr una profesionalización de la educación y una importante mejora de la calidad educativa. Es fundamental la mejora de la educación en salud, puesto que asegura una educación de calidad a los estudiantes, mejora la atención médica de la población y eleva la calidad de vida de los pacientes; a los directivos les ayuda a optimizar el nivel de los hospitales y de las universidades, y a mantener las relación coste-beneficio de la atención médica; en el mejor escenario, también es útil para desarrollar programas de investigación de calidad4.
La evaluación realizada mediante la opinión de los alumnos es accesible, válida y se apoya en una amplia literatura científica5–9.
Resulta válido asumir que los residentes son los que pueden opinar sobre las deficiencias o fortalezas del personal docente, y además que la institución se encargue de ofrecer los cursos necesarios para profesionalizar el desempeño docente. Sin embargo, los alumnos pueden tener ciertos sesgos al evaluar5,6,9,12,13, como puede ser el calificar inadecuadamente a un maestro por haber obtenido mala calificación en una asignatura, o por considerar que un profesor es muy riguroso. Por otro lado, también puede calificar positivamente a los docentes debido a rasgos como la simpatía o el carisma13.
Los factores que propone Martínez-González et al.10,11 son un buen acercamiento al rol del docente clínico que se necesita en las residencias médicas. Existen instrumentos con reactivos similares, como el Cleveland Clinic's Clinical teaching effectiveness instrument7, el Stanford Faculty Development program (SFDP26) questionnaire8 o el System for Evaluation of Teaching Qualities (SETQ)8; sin embargo, existen pocas experiencias de evaluación en la literatura que los implementan.
En el instrumento desarrollado por Martínez-González et al.10,11 los factores obtenidos son: relación profesor-alumno y motivación, metodología, evaluación, capacidad de solución de problemas y conocimiento de la materia; estas dimensiones cubren la mayor parte de las actividades que los docentes desarrollan en los hospitales escuela.
Además, las preguntas del cuestionario10,11 se centran en el estudiante, lo cual es básico en el aprendizaje significativo. Por ejemplo, hay preguntas que evalúan que el docente motive, propicie el interés por la materia, respete a sus estudiantes y escuche sus opiniones.
A pesar de que los docentes requieren ser evaluados, su evaluación es en sí misma una tarea difícil. Iniciar en primer lugar la evaluación —tal como Rafael Flórez-Ochoa comenta5— debe estar rodeada de un clima favorable, con la seguridad de que no generará sanciones o dañará la reputación del profesorado, sino que proporcionará sugerencias útiles para mejorar y reflexionar en su quehacer como docente. Es recomendable que se realicen cursos de formación pedagógica para apoyar a los docentes con bajas valoraciones.
En este proceso, a diferencia de Martínez-González et al.10,11, las especialidades quirúrgicas fueron evaluadas con menores puntuaciones que las médicas, sin embargo con un tamaño del efecto bajo. Esta información se corroboró con la información cualitativa obtenida de los residentes (comentarios), especialmente en oftalmología y ginecología. En los comentarios libres del instrumento las especialidades quirúrgicas cuentan en general con más observaciones negativas que las especialidades médicas. Un hallazgo importante es que aquellos alumnos que no especificaron todas las variables demográficas fueron aquellos que evaluaron con puntuaciones más bajas a los docentes (p≤0,05).
Las dimensiones fueron reportadas en medias, lo cual es compatible con estudios previos10,11.
La dimensión con menor puntuación en este estudio corresponde a la de metodología, con un 4,58 de media ±0,884 de desviación estándar. Los reactivos en esta dimensión fueron: explicó claramente los contenidos del curso, al inicio del curso dio a conocer las estrategias y criterios, presentó el programa al inicio del curso de evaluación, presentó los temas con una secuencia lógica, los contenidos fueron congruentes con los objetivos, estableció los objetivos a lograr en el curso y recomendó material bibliográfico. Sin embargo, en los comentarios libres de los alumnos se observa que la mayoría de estos reactivos no eran realizados por todos los docentes. Esto tiene sentido en nuestro hospital, ya que algunos profesores son de apoyo (no jefes de servicio o de curso) y no son encargados de explicar el contenido o desarrollo del curso; su función es apoyar en la consulta, las clases y las cirugías. Sin embargo, este estudio tuvo como objetivo reportar la evaluación de toda la plantilla docente.
En un estudio previo10 los alumnos de la Universidad Autónoma de México calificaron más baja la dimensión de evaluación en relación con las otras dimensiones. Una posible explicación es que la evaluación y la metodología requieren de un entrenamiento especializado en la docencia. Los profesores deben contar con capacitación sobre el currículo y tener conocimientos previos de evaluación en competencias.
Paradójicamente, los residentes del último año fueron los que mejor evaluaron a los profesores adscritos; esto contrasta con lo descrito previamente en la literatura10.
Por otro lado, debido a que es un cuestionario que se rellena en casa en cualquier dispositivo electrónico, se invitó a todos los residentes a cumplimentarlo, sin embargo no todos los residentes evaluaron a todos los adscritos, y es posible que algún residente no haya completado la evaluación. Esto al considerar que el número de encuestas habría sido mayor si las evaluaciones hubieran sido completadas por todos los residentes.
Sin embargo, el anonimato es quizás uno de los factores clave para esta evaluación. Al ser anónimo, los residentes podrían plasmar libremente una calificación real o un comentario acertado de sus docentes, sin miedo a represalias o consecuencias académicas. Como muestra, algunos residentes se negaron a plasmar sus variables demográficas como sexo, edad o año de residencia. Es por ello que algunas encuestas no contaron con dicha información.
Una ventaja sobre el instrumento de Martínez-González et al.10,11 es la inclusión de un campo para comentarios libres. Se encontró que los alumnos expresaron comentarios muy positivos o muy negativos sobre sus docentes. Los comentarios completaron la evaluación cuantitativa y describieron los fallos que presentaron los docentes; por ejemplo, comentarios como: enseñar un tema específico, acudir más a clases o explicar durante las cirugías son algunas de las inquietudes de los residentes.
Otra de las fortalezas del presente estudio es el número de encuestas realizadas, ya que se evaluó a un mayor número de docentes que en los estudios previos que utilizaron el mismo instrumento10. Es posible que este estudio refuerce el uso del cuestionario de desempeño docente desarrollado por Martínez-González et al. en las residencias de habla hispana en general.
La limitación principal del estudio se debe al anonimato, ya que no existe un control riguroso sobre los residentes que respondieron las encuestas; además, no todos los residentes evaluaron completamente la plantilla docente de su servicio, a pesar de que se les invitó repetidamente a participar. Por otro lado, la posibilidad de contestar el cuestionario desde sus computadoras en casa, y sin la supervisión del personal de enseñanza, le da mayor veracidad a las respuestas. Consideramos que, además, se debe reforzar el anonimato, eliminando del cuestionario ciertas variables demográficas como la edad, el sexo y el año de residencia. Esto último lo sugirieron varios residentes, y la pertinencia se ve reflejada en el número de encuestas sin estos datos.
Por último, se recomienda fortalecer la evaluación con mediciones múltiples y siempre con retroalimentación al profesorado. Asimismo, al sumar otros modelos de evaluación docente4 se enriquece el panorama de la evaluación y se reducen los potenciales sesgos de la evaluación basada únicamente en la opinión de los estudiantes.
Las recomendaciones finales serían continuar con la medición y el análisis del desempeño docente en las especialidades médicas, mediante cuestionarios de opinión de los estudiantes de posgrado, así como reforzar el anonimato en el proceso, eliminando las variables demográficas del cuestionario y anexando la opción de comentarios libres para enriquecer la evaluación. Los resultados individuales de cada docente, como se llevó a cabo en este estudio, se sugiere entregarlos en sobre cerrado y de forma confidencial.
ConclusiónLos docentes cursaron con una buena evaluación global, encontrando como áreas de mejora las dimensiones de metodología y evaluación. Se recomienda eliminar las variables demográficas del instrumento y añadir comentarios libres en cada evaluación.
AutoríaECA: planeación, recopilación de datos, escritura del manuscrito y revisión.
EDL: planeación, recopilación de datos, análisis estadístico y revisión.
AMG: planeación, análisis, escritura del manuscrito y revisión.
Conflicto e interesesNinguno.
AgradecimientosAl servicio de enseñanza del Centro de Investigación y Docencia en Ciencias de la Salud. Al Dr. Israel Martinez Felix por su apoyo directivo en la realización de esta investigación. Al Dr. Carlos Fernando Corona Sapien por su apoyo y confianza en la realización de la evaluación docente.
