Describir la evaluación de un curso de docencia en el campo clínico para residentes según los niveles 1, 2 y 3 del modelo de evaluación de programas educacionales de Kirkpatrick.
Material y métodosSe implementó un curso para capacitar a residentes en docencia. El curso fue evaluado mediante: una encuesta de satisfacción global, desempeño docente y calidad (Kirkpatrick 1-Reacción); un examen de conocimientos y encuesta de actitudes hacia la docencia realizados antes y después del curso (Kirkpatrick 2-Aprendizaje) y una encuesta realizada 3 meses después del curso sobre la aplicación de lo aprendido (Kirkpatrick 3-Conducta).
ResultadosKirkpatrick 1: De los 19 residentes que llevaron el curso, el 100% manifestó estar satisfecho con el curso y el desempeño docente; el 100% recomendaría los docentes a otros residentes.
Kirkpatrick 2: Las calificaciones en el examen de conocimientos antes y después del curso fueron 8,7 (DE 2,7) y 15,5 (DE 3,4), p<0,0005. Dieciocho (94%) de los residentes consideró estar preparado para ser docente después del curso.
Kirkpatrick 3: 3 meses después del curso, 18 (94,7%) de los residentes habían realizado sesiones de docencia en grupo pequeño, mejorado el clima de aprendizaje y promovido el autoaprendizaje. Diecisiete (89,5%) impartían clases y realizaban feedback con residentes de años inferiores e internos.
ConclusionesEl curso de docencia en el campo clínico para residentes fue factible de implementar, tuvo un alto grado de satisfacción entre los residentes, la mayoría reportó haber perfeccionado sus habilidades docentes y aplicó lo aprendido 3 meses después de haber llevado el curso.
To describe the evaluation of a clinical teaching course for residents according to Kirkpatrick educational program evaluation model.
Material and methodsA clinical teaching course for residents was implemented. The course was evaluated by: a questionnaire of global satisfaction, teaching performance and quality (Kirkpatrick 1- Reaction); a knowledge test and a questionnaire of attitudes toward teaching, both of them carried out before and after the course (Kirkpatrick 2-Learning) and a questionnaire, carried out 3 months after the course, about the application of the concepts (Kirkpatrick 3-Behavior).
ResultsKirkpatrick 1: Nineteen residents who took the course (100%) expressed their satisfaction with the course and the teaching performance; 100% would recommend teacher's course to other residents.
Kirkpatrick 2: The qualifications in the knowledge test before and after the course were 8.7 (SD 2.7) y 15.5 (SD 3,4), p<0.0005. Eighteen (94.7%) of residents considered being prepared to be a teacher after the course.
Kirkpatrick 3: Three months after the course, eighteen (94.7%) of residents had conducted small group teaching sessions, improved the learning climate and promoted self-learning. Seventeen (89.5%) gave classes and provided feedback to lower year's residents and interns.
ConclusionsThe Clinical Teaching Course for Residents was feasible to implement, had a high degree of satisfaction among residents, most of them reported had improved their teaching skills and applied what they have learned three months after taking the course.
El médico residente en Perú, además de ser alumno de posgrado, desempeña una labor docente como parte del ejercicio cotidiano de sus funciones en distintos ambientes clínicos. Contribuye a la adquisición de conocimientos y habilidades de alumnos de pregrado, internos y residentes de años inferiores1–3 y cumple la función de ser modelo de rol frente a ellos4. Está más cerca de los residentes de años inferiores, internos y alumnos de medicina, porque transcurre más tiempo con ellos, son más próximos generacionalmente, utilizan un lenguaje similar, desarrollan una relación más horizontal y de mayor confianza; todo ello los convierte en agentes especiales para la docencia5,6. Por otro lado, la práctica de la docencia fortalece el aprendizaje del médico residente7–9.
En los años sesenta aparecieron los primeros artículos sobre el rol docente de los médicos residentes, en la actualidad este rol es esencial e ineludible10; por ello, se han desarrollado diferentes intervenciones para capacitar a los médicos residentes en la función docente. Existen numerosas publicaciones sobre estas experiencias11–22, referidas a programas de muy diferente duración, desde horas hasta meses, y de diferente contenido, la mayoría con énfasis en la aplicación práctica.
Actualmente el entrenamiento en docencia de los médicos residentes es un requerimiento de muchos programas de especialización como Accreditation Council for Graduate Medical Education en US23 y The Royal College of Physicians and Surgeons de Canadá24. Aproximadamente el 50% de los programas de residentado en Estados Unidos cuenta con un «Resident as Teacher Curriculum», cursos de entrenamiento en docencia para residentes, formales y longitudinales25,26.
Aún no existe consenso en el contenido y diseño de los programas de capacitación en docencia dirigidos a residentes, y se recomienda evaluar los programas que se realicen4. Un método de evaluación de programas es el modelo de Kirkpatrick27, recomendado por la Guía de la Association of Medical Education of Europe - AMEE n.o 10628. Este modelo comprende 4 niveles:
Nivel 1 – Reacción. Evalúa el grado en que los participantes encuentran el entrenamiento favorable, apropiado y relevante a sus necesidades.
Nivel 2 – Actitud y aprendizaje. Evalúa el grado en que los participantes adquieren conocimientos, habilidades y actitudes de confianza y compromiso con lo recibido en el curso.
Nivel 3 – Conducta. Evalúa el grado en que los participantes aplican lo aprendido en el curso en su práctica cotidiana posterior a este.
Nivel 4 – Resultados. Evalúa el grado en que se cumplen los resultados medibles en el trabajo, los efectos positivos en la institución y en los demás miembros de esta.
En julio del 2016, en la Facultad de Medicina de la Universidad Peruana Cayetano Heredia, se realizó el Primer Curso de Docencia en el Campo Clínico dirigido a residentes de tercer año, con el fin de capacitarlos en la metodología docente para las sesiones de aprendizaje en el campo clínico que realizan con residentes de años inferiores, internos y alumnos de medicina. Se evaluó esta intervención educativa para determinar su efectividad y detectar los aspectos a mejorar.
El presente trabajo tiene el objetivo de describir la evaluación de este curso de docencia para residentes de acuerdo a los niveles 1, 2 y 3 del modelo de evaluación de programas educacionales de Kirkpatrick.
Material y métodosEs un estudio analítico, prospectivo, de cohorte única.
En julio del 2016 se llevó a cabo este curso teórico práctico que abordó los aspectos: clima de enseñanza-aprendizaje, control de la sesión, comunicación de objetivos, docencia centrada en el alumno, feedback, y autoaprendizaje. Tuvo una duración de 30horas presenciales y 50 no presenciales. Las estrategias didácticas fueron: lectura personal, clases, trabajo de pequeño grupo y juego de roles.
En el curso participaron 19 residentes, seleccionados por la Dirección de Posgrado en coordinación con los coordinadores del Residentado. Los residentes fueron invitados al curso por ser jefes de residentes o por tener un rendimiento académico sobresaliente y su participación fue voluntaria. Sus especialidades fueron: psiquiatría: 2; ginecología y obstetricia: 6; medicina interna: 7; pediatría: 3 y cirugía uno; fueron residentes procedentes de 5 hospitales nacionales generales de Lima, Perú, que son sedes docentes de la facultad. Todos los residentes se encontraban iniciando su tercer año de residentado médico. Sus edades fluctuaban entre 26 y 31 años, 8 fueron mujeres y 11 varones.
Para el presente estudio no se tomó una muestra sino que se incluyó a todos los residentes participantes en el curso (n=19).
Se utilizaron los siguientes instrumentos:
Nivel 1 (Reacción). Se utilizó una encuesta, tomada el último día de curso, que recogía las opiniones del residente sobre el desempeño de los docentes, la satisfacción global y pertinencia del curso, las percepciones de la calidad del servicio, los aspectos positivos y lo que se debería mejorar. Los ítems de esta encuesta se muestran en las tablas 1–3.
Evaluación del desempeño docente por los residentes. (Número y proporción de residentes)
| Siempre o casi siempre | Muchas veces | Pocas veces | Nunca o casi nunca | |
|---|---|---|---|---|
| Demostró dominio del tema | 16 (84,2) | 3 (15,8) | 0 | 0 |
| Presentó temas con claridad | 15 (78,9) | 4 (21,1) | 0 | 0 |
| Presentó temas con profundidad | 14 (73,7) | 5 (26,3) | 0 | 0 |
| Utilizó ejemplos prácticos | 15 (78,9) | 3 (15,8) | 1 (5,3) | 0 |
| Despertó interés por aprender | 14 (73,7) | 4 (21,1) | 1 (5,3) | 0 |
| Promovió participación | 15 (78,9) | 4 (21,1) | 0 | 0 |
| Resolvió dudas | 16 (84,2) | 3 (15,8) | 0 | 0 |
| Bibliografía y recursos | 13 (68,4) | 5 (26,3) | 1 (5,3) | 0 |
| Definió los criterios de las evaluaciones | 13 (68,4) | 6 (31,6) | 0 | 0 |
| Realizó feedback | 14 (73,7) | 3 (15,8) | 2 (10,5) | 0 |
| Recomendaría los profesores a otro alumno | 19 (100) |
Evaluación del curso por los residentes. (Número y proporción de residentes)
| Mucho más de lo esperado | Lo esperado | Menos de lo esperado | Mucho menos de lo esperado | |
|---|---|---|---|---|
| ¿El curso cumplió con sus expectativas? | 16 (84,2) | 3 (15,8) | -- | -- |
| ¿Cuánto aprendió con relación a lo esperado? | 14 (73,7) | 5 (26,3) | -- | -- |
| ¿Quedó satisfecho con este curso? | 14 (73,7) | 5 (26,3) | -- | -- |
Evaluación de la calidad de servicio por los residentes. (Número y proporción de residentes)
| Siempre o casi siempre | Muchas veces | Pocas veces | Nunca o casi nunca | ||
|---|---|---|---|---|---|
| ¿La atención prestada por el personal administrativo fue cordial y diligente? | 17 (89,5) | 2 (10,5) | 0 | 0 | |
| ¿Las instalaciones y servicios complementarios fueron adecuados? | 17 (89,5) | 2 (10,5) | 0 | 0 |
Nivel 2 (Aprendizaje). Para medir este nivel se aplicaron 2 instrumentos: el primero fue un examen escrito de conocimientos aplicado antes y después del curso, que incluía conceptos vertidos en las lecturas, clases y discusiones, se consideró aprobatoria una nota de 13 en la escala de 0 al 20.
El segundo instrumento fue una encuesta de actitudes frente a la docencia, que se aplicó antes y después del curso; esta tuvo 4 ítems, graduados con escala de Likert del 1 al 5, donde, 1: Estoy absolutamente en desacuerdo y 5: Estoy absolutamente de acuerdo. Los ítems se muestran en la tabla 4.
Actitudes de los residentes frente a la docencia, antes y después del curso. (Media y DE)
| Precurso | Poscurso | p | |
|---|---|---|---|
| Hacer docencia es beneficioso para mi formación | 4,95 (0,23) | 5 (0) | 0,17 |
| Mi trabajo como docente es importante para la formación de los residentes menores | 4,9 (0,7) | 4,9 (0,2) | 0,59 |
| Si me desempeño como buen docente los residentes menores tendrán mayores logros | 4,9 (0,3) | 4,83 (0,3) | 0,59 |
| Me siento preparado para ser docente de residentes e internos | 3,8 (0,95) | 4,1 (0,47) | 0,29 |
Nivel 3 (Conducta). Se aplicó una encuesta de autorreporte de la aplicación de los conocimientos adquiridos en el curso en la práctica clínica diaria, 3 meses después del curso.
Se aplicó estadística descriptiva para las variables cuantitativas y cualitativas de las preguntas cerradas de los instrumentos. Para el análisis de las diferencias entre los instrumentos pre- y poscurso se aplicó la prueba t de Student. Se utilizó el programa estadístico STATA 13. Las preguntas abiertas de la encuesta se analizaron con metodología cualitativa por categorías mediante el modelo de Teoría Fundamentada.
ResultadosNivel 1-Reacción. El 100% de los residentes estuvo satisfecho con el curso y el desempeño docente, el 100% recomendaría los docentes; el 89,5% estuvo satisfecho con la calidad del servicio. Los resultados se muestran en las tablas 1–3.
Nivel 2-Aprendizaje. Examen de conocimientos: El porcentaje de residentes aprobados en el examen de conocimientos fue del 84,2% (se consideró como nota aprobatoria 13 en una escala del 1 al 20). Con respecto al promedio de las calificaciones en el examen de conocimientos, estas fueron: antes del curso: 8,7 (DE 2,7) y después del curso: 15,5 (DE 3,4), p<0,0005.
Encuesta de actitudes frente a la docencia: En la tabla 4 se muestran los resultados de la encuesta de actitudes, entre los que cabe destacar que el 94,7% de los residentes se consideró de acuerdo o absolutamente de acuerdo con estar preparado para ser docente después del curso.
Nivel 3-Conducta. Tres meses después del curso, el 79,1% de los residentes reportó haber perfeccionado su docencia. El 94,7% reportó realizar sesiones de docencia en grupo pequeño, mejorar el clima de aprendizaje y promover el autoaprendizaje. El 89,5% daba clases y realizaba feedback con residentes de años inferiores e internos.
El análisis cualitativo de las preguntas abiertas arrojó 4 categorías de ideas expresadas por los residentes. Los resultados se muestran en la tabla 5. Entre los que se puede resaltar que, 3 meses después del curso, los residentes indicaron que brindaban docencia a alumnos de pregrado y residentes menores, identificaron los lugares y momentos donde ejercían docencia, reconocieron que aplicaban lo aprendido en el curso y lo consideraron útil. Asimismo indicaron que la falta de tiempo era una dificultad importante para hacer docencia.
Análisis cualitativo del autorreporte de actividades docentes de los residentes a los 3 meses del curso
| Categoría | Subcategorías | Descripción |
|---|---|---|
| A quiénes brindan la docencia | A. Alumnos de medicina de pregrado | Alumnos de cuarto y quinto año que realizan práctica clínica en los hospitales docentes |
| B. Alumnos de medicina de pregrado de sexto y séptimo año | Alumnos de pregrado que realizan externado e internado en los hospitales docentes | |
| C. Residentes menores | Residentes de primer y segundo año | |
| Momento y lugar para hacer docencia | A. Actividades en las que realizan docencia | Rondas médicas, consulta médica ambulatoria, presentación de historias clínicas, visita médica, procedimientos, ponencias, clases expositivas, feedback |
| B. Lugares donde realizan la docencia | Servicio o área clínica, hospital donde laboran | |
| Utilidad de lo aprendido en el curso | A. Aplican los conceptos aprendidos | Describen numerosos conceptos de docencia médica aprendidos en el curso que están aplicando en su práctica diaria |
| B. Detectan errores de los docentes | Adquieren consciencia de los errores que cometen sus docentes | |
| C. Valoran la utilidad de lo aprendido | Perciben los efectos positivos de sus nuevas conductas docentes en el aprendizaje de los alumnos y residentes menores | |
| D. Valoran las mejoras en su actividad docente | Perciben que han mejorado su práctica docente | |
| Proceso | A. Introducen cambios poco a poco | Algunos refieren que han ido integrando lo aprendido de manera gradual |
| B. Enfrentan ciertas dificultades | La falta de tiempo es la principal dificultad descrita |
La evaluación de programas es una actividad esencial que permite evidenciar su efectividad e identificar las áreas a mejorar. Existen publicaciones sobre la evaluación de programas de capacitación en docencia a residentes. La mayoría de las evaluaciones publicadas presenta una evaluación del aprendizaje de los residentes basada en la autoevaluación de los residentes, la evaluación de los residentes por los alumnos o internos y la observación directa mediante los Objetive Structurated Teaching Examination (OSTE)29,30. Otro grupo de trabajos publicados evalúa los programas en sí mismos, estos comprenden la evaluación de la necesidad del programa, el diseño y la implementación del programa, el impacto y el análisis costo4,16,30.
El curso de docencia para residentes es una intervención educativa innovadora en Perú, donde aún no existen trabajos publicados sobre el tema.
En el nivel 1: Reacción, el curso fue muy bien calificado por los residentes, esto nos habla de la buena calidad del grupo de docentes que brindó el curso y de la adecuada metodología empleada con énfasis en la aplicación práctica de los contenidos. Bree et al. realizaron una revisión de la literatura en búsqueda de estudios acerca de programas de docencia para residentes. Encontraron 39 estudios, 22 de los cuales hicieron evaluaciones del nivel 1 de Kirkpatrick, mediante encuestas. En general con muy buenos resultados31.
En el nivel 2: Aprendizaje, los residentes demostraron una mejoría en su nivel de conocimientos en docencia médica después del curso. Las actitudes de los residentes frente a la docencia fueron muy positivas, incluso antes del curso, y mejoraron ligeramente al finalizar el curso, sin darse una diferencia estadística significativa. La amplia mayoría de los residentes se sintió preparada para ser docente al finalizar el curso. Bree et al. describen que 36 de los 39 estudios hicieron evaluaciones del nivel 2 de Kirkpatrick, mediante exámenes escritos, OSTE o ECOE, y también en general con buenos resultados31.
En el nivel 3: Conducta, la medición del impacto 3 meses después del curso evidenció que los residentes hicieron uso de lo aplicado; el 80% de los residentes reportó haber perfeccionado su docencia. Esto ha sido también observado en otros estudios en los que se evaluó el impacto mediante el autorreporte de las habilidades y conductas docentes de los residentes30. Sin embargo, el autorreporte tiene la limitación de no medir directamente la conducta, podría haberse realizado una evaluación de 360° o solicitar un informe de la evaluación del tutor. El diseño del estudio tampoco contempló tener un grupo control o comparar las conductas docentes de los residentes antes y después del curso. Es recomendable hacer este tipo de evaluaciones en las futuras intervenciones.
Otra limitación del estudio fue que no se midió el nivel 4: Resultados, que mide el impacto en la institución. Este nivel puede ser evaluado mediante la medición del aprendizaje de internos y residentes menores, la calidad del cuidado del paciente y el clima de aprendizaje. Sin embargo, para que el entrenamiento en docencia a los residentes tenga un impacto de esa magnitud se necesita que el número de residentes capacitados sea mayor. Esto nos lleva a reflexionar sobre cómo diseñar una mejor intervención costo-efectiva en nuestros programas de residentado, para entrenar a todos los residentes de los distintos programas de especialización y no solamente a un grupo de élite. Una de las opciones es la de continuar con el entrenamiento profundo a un grupo de residentes líderes, como se hizo en este curso, y diseñar un modelo de diseminación en el que estos residentes entrenados trabajen al lado de uno o más tutores en sus respectivas sedes docentes, realizando actividades de capacitación en docencia al resto de los residentes, durante todo el año académico, de acuerdo a las necesidades de cada especialidad y bajo distintas modalidades de enseñanza.
La Guía AMEE n.o 10628 establece un marco de referencia para diseñar e implementar programas «Residente como Profesor» y propone el uso de la Guía de Desarrollo de Modelos Lógicos de la Fundación Kellog32, que prioriza la planificación basada en los objetivos y la implementación basada en los recursos, así como el uso del modelo de Kirkpatrick para la evaluación de los programas.
No existe un único tipo de programa exitoso, cada programa dependerá de las características y necesidades propias de los alumnos y las instituciones y de los recursos existentes. Así, estamos en la obligación de diseñar no solamente cursos, sino programas de docencia para residentes que sean longitudinales durante el residentado, que incluyan a todos los residentes y que comprendan estrategias didácticas, observación de sesiones de enseñanza, feedback, tecnología e investigación en docencia.
En conclusión, el curso de docencia en el campo clínico para residentes fue factible de implementar, tuvo un alto grado de satisfacción entre los residentes, demostró la adquisición de conocimientos y habilidades docentes por parte de los residentes y la mayoría de ellos reportó haber aplicado lo aprendido 3 meses después de haber realizado el curso.
FinanciaciónNo se contó con fuente de financiamiento.
Conflicto de interesesLa autora no presenta conflicto de intereses en la publicación del artículo.
Presentado en el Congreso Latinoamericano en Educación de Residentes (LACRE), Santiago de Chile, 24-25 de mayo de 2017, modalidad póster, donde obtuvo Mención Honrosa.
