La evaluación de residentes es un proceso complejo cuyas herramientas casi nunca generan certezas sobre el nivel competencial del evaluado. En las unidades docentes recae la responsabilidad de proponer la concesión de títulos de especialistas en ciencias de la salud, por ello realizan un esfuerzo continuo para la mejora del proceso dentro del nuevo marco normativo del Real Decreto 183/2008. Para afrontar cambios en el modelo evaluativo de las UUDDMM de AFyC de Madrid exploramos la opinión de tutores y residentes.
Material y métodosEstudio descriptivo transversal mediante encuesta on line a 841 residentes y 832 tutores de Medicina y Enfermería Familiar y Comunitaria.
ResultadosLa tasa de respuesta fue del 23,8% de los residentes (n=200) y 39,4% de los tutores (n=328). La mayoría realizan 4 o más entrevistas de tutorización anuales cuya principal dificultad declarada es la escasez de tiempo. Demuestran alta satisfacción con ellas por mejorar la relación personal y la calidad de la tutorización. Los residentes no desean sustituirlas por métodos a distancia. Encuentran poco útiles herramientas reflexivas como los incidentes críticos e informes de autorreflexión, a pesar de la alta implicación de sus tutores en esas herramientas. La mayoría considera que las fichas 1 de evaluación de rotaciones no reflejan adecuadamente el aprovechamiento en ellas. Proponen el informe anual del tutor como principal método de evaluación sumativa.
ConclusionesLa evaluación de residentes debe sustentarse en la figura del tutor y un conjunto de herramientas, prioritariamente de evaluación formativa, que generen reflexión y un adecuado feed-back para continuar formándose.
Assessment of residents is a complex process, for which the evaluation tools hardly ever produce certainty about the competence level. Residents’ teaching units have the responsibility of proposing the award of specialist degrees in health sciences, therefore they make a continuous effort to improve the process within the new regulatory framework in Spain. The opinion of tutors and residents were determined in order to address changes in the evaluation model of Primary Care teaching units in Madrid, Spain.
Material and methodsCross-sectional study based on an online survey of 841 residents and 832 tutors of Family Medicine and Community Nursing.
ResultsThe response rate was 23.8% for residents (n=200) and 39.4% for tutors (n=328). Most of them conducted four or more mentoring interviews per year, for which the main difficulty stated was the lack of time. They showed high satisfaction with these interviews as they improved the relationship and the quality of mentoring. The residents did not want to replace them by distance methods. The residents did not consider reflective tools useful as critical incidents and reports of self-reflection, despite the high involvement of their tutors in those tools. Most considered that official documents to assess training stays do not reflect the benefit that they provide. They propose the annual report of the tutor as the primary method of summative evaluation.
ConclusionsAssessment of residents must be based on the tutor and a set of tools, primarily by formative assessment, that lead to reflection and adequate feed-back to continue their education.
La evaluación anual es el proceso de mayor complejidad y responsabilidad desarrollado en las unidades docentes de formación especializada. Es quizás el proceso al que se dedica más deliberación y empeño por mejorarlo. No obstante, es difícil lograr un sistema de evaluación que genere las evidencias completas para que tutores y jefes de estudios logren tener sensación de certeza, justicia y equidad, especialmente con algunos residentes y cuando se comparan con otros de la misma o anteriores promociones.
El deseo de mejora de la evaluación nace al tomar conciencia de la delegación que el Ministerio de Sanidad realiza sobre cada tutor y comisión de docencia para dirimir si un especialista en formación está capacitado para el ejercicio responsable y competente de su especialidad, de lo que se derivará la concesión de un título oficial por el Ministerio de Educación. Si comparamos los procesos de evaluación por los que se logran obtener otras titulaciones académicas del mismo Ministerio, podríamos pensar que nuestros sistemas de evaluación adolecen, a pesar de nuestros esfuerzos, del rigor necesario para determinar la competencia final de los residentes.
El sistema de evaluación promovido por el Ministerio de Sanidad se reguló inicialmente por Orden Ministerial de 22 de junio de 19951, derogada actualmente por el Real Decreto 183/2008 (RD)2. En este se declara al tutor como principal actor del proceso evaluativo, tanto por su papel en la evaluación formativa como por su participación en los comités de evaluación y en la emisión del informe anual del tutor, «instrumento básico y fundamental para la valoración del progreso anual del residente».
El Ministerio de Sanidad dicta anualmente unas instrucciones de aplicación obligatoria para realizar la evaluación anual y final de los residentes3. El principal método para evaluar al residente sigue siendo según la normativa de 1995: las hojas de evaluación continuada de rotaciones (fichas 1) donde se le califica cada rotación en una escala de 0 a 3 en cinco dimensiones de conocimientos y habilidades, y en siete de actitudes. En algunas unidades docentes, también según la norma antigua, se solicita además al residente una memoria anual de actividad, en ocasiones denominada libro del residente, donde se registra el cumplimiento de algunos procedimientos, técnicas o méritos.
En las Unidades Docentes Multiprofesionales de Atención Familiar y Comunitaria (UUDDMM de AFyC) de Madrid el proceso de evaluación anual es similar, basado en las fichas 1 y un portafolio con registros de las entrevistas periódicas de tutorización y de un número de informes de autorreflexión (entre 1 y 4 al año) e incidentes críticos (1 o 2), la comprobación del uso del libro del residente de Medicina Familiar y Comunitaria y la guía de competencias de Enfermería Familiar y Comunitaria, –que sustituye al libro del residente aún no publicado–, y las evidencias sobre otros méritos y procesos (guardias, cursos, comunicaciones, publicaciones, sesiones clínicas impartidas, actividades de educación para la salud, etc.).
En septiembre de 2013 realizamos un estudio para conocer la realidad y la opinión de nuestros tutores y residentes sobre el sistema de evaluación, con la perspectiva de afrontar nuevos cambios en el modelo evaluativo. En este artículo se presentan sus resultados.
Material y métodosSe realizó un estudio descriptivo transversal mediante un cuestionario. El estudio se llevó a cabo en las siete UUDDMM de AFyC de la Comunidad de Madrid.
La población de estudio fueron los tutores de Atención Primaria, enfermeras y médicos, así como los residentes MIR de segundo a cuarto año y los EIR de segundo año, y la última promoción de MIR y EIR que había finalizado su formación antes del estudio.
Durante el mes de septiembre de 2013 se envió a todos los residentes y exresidentes (N=841) y tutores (N=832) un enlace para acceder a un cuestionario on-line acerca del sistema de evaluación sumativa y formativa. Durante un mes se recogieron los datos de los cuestionarios cumplimentados. El cuestionario era anónimo y las variables de filiación fueron el tipo de especialidad (MIR/EIR), la unidad docente de origen y, en el caso de los residentes, se recogió el año de residencia o si la habían finalizado ya.
El cuestionario estaba formado por 9 preguntas sobre el sistema de evaluación formativa, 5 preguntas sobre el sistema de evaluación sumativa, 2 campos de texto libre para observaciones sobre sendos sistemas, y un campo final para comentarios. Se utilizaron escalas de medida dicotómica, escalas nominales y de tipo Likert.
Las preguntas en relación con la evaluación formativa valoraban el número de entrevistas periódicas tutor-residente en el año (0 a más de 4), las dificultades para realizar las entrevistas (en texto libre) y el grado de acuerdo con una serie de afirmaciones acerca de ellas. Se exploraba el número de incidentes críticos e informes de autorreflexión realizados anualmente (0 a más de 4) y la utilización del libro del residente o la guía de competencias, si el tutor intervenía en algún momento en el proceso de uso de estas herramientas, así como la utilidad percibida sobre ellas.
En cuanto al sistema de evaluación sumativa, se preguntaba sobre el proceso de evaluación mediante las fichas 1, si consideraban que evaluaban adecuadamente el aprovechamiento de las rotaciones y el grado de acuerdo sobre la utilidad de otros métodos propuestos para realizar la evaluación anual. En los campos de texto libre podían proponer métodos adicionales para la evaluación sumativa y realizar otros comentarios.
El cuestionario de los tutores no incluía la pregunta sobre la utilización de las fichas 1, por no ser ellos los evaluados en cada rotación.
El análisis estadístico se realizó con el paquete SPSS v.20.0. Las variables cualitativas se describen con su frecuencia absoluta y porcentaje.
ResultadosEntre septiembre y octubre de 2013 los residentes cumplimentaron 200 encuestas (29 EIR, 171 MIR) y 328 los tutores (73 enfermeras y 255 médicos), con una tasa de respuesta del 23,8% de los residentes de la Comunidad de Madrid (29,6% de los EIR y 23,0% de los MIR) y del 39,4% de los tutores (49,7% de las tutoras enfermeras y 37,2% de los tutores médicos).
En cuanto a los residentes, en enfermería el 72,7% era R-2 y el 27,3% acabó la residencia ese año. De los MIR, el 25,1% eran R2, el 24,6% R3, un 32,2% R4 y un 18,1% finalizó la residencia ese año.
Según la unidad docente (UD) de origen, la participación de los tutores fue homogénea (del 11 al 18%), lo que correspondía a un 34 a 51,8% de los tutores de cada UD.
La distribución de residentes fue más heterogénea: en una UD solo participó el 1,6% (1% de respuestas) y en otra el 48,1% (31,5% de respuestas). La distribución de los participantes se muestra en la tabla 1.
Distribución de participantes según el total de respuestas y la unidad docente de origen
| Tutores | Residentes | |||||||
|---|---|---|---|---|---|---|---|---|
| % Respuesta en cada UD | % Respuesta sobre el total | % Respuesta en cada UD | % Respuesta sobre el total | |||||
| n | N | % | % | n | N | % | ||
| UD 1 | 57 | 147 | 38,8 | 17,4 | 32 | 177 | 18,1 | 16,0 |
| UD 2 | 53 | 143 | 37,1 | 16,2 | 2 | 126 | 1,6 | 1,0 |
| UD 3 | 52 | 128 | 40,6 | 15,9 | 63 | 131 | 48,1 | 31,5 |
| UD 4 | 36 | 84 | 42,9 | 11,0 | 22 | 74 | 29,7 | 11,0 |
| UD 5 | 37 | 101 | 36,6 | 11,3 | 34 | 102 | 33,3 | 17,0 |
| UD 6 | 44 | 85 | 51,8 | 13,4 | 25 | 102 | 24,5 | 12,5 |
| UD 7 | 49 | 144 | 34,0 | 14,9 | 22 | 129 | 17,1 | 11,0 |
| Total | 328 | 832 | 39,4 | 100 | 200 | 841 | 23,8 | 100,0 |
La mayoría de los residentes y tutores declaraban realizar al menos 4 entrevistas de tutorización al año. Casi un 20% decía realizar más de 4 (fig. 1). En relación a la utilidad de las entrevistas, los residentes estaban bastante o muy de acuerdo en que favorecen una mejor relación personal, permiten al tutor conocer el crecimiento profesional del residente y sus problemas, y ayudar en el avance formativo, y son imprescindibles para que el tutor desarrolle la tutorización. Se mostraron nada de acuerdo con que podían sustituirse por WhatsApp, llamadas y correos electrónicos. Los tutores expresaron un grado de acuerdo algo inferior para las mismas cuestiones a excepción de la sustitución de las entrevistas por otros métodos sin contacto directo y a distancia (tabla 2).
Utilidad de las entrevistas periódicas de tutorización
| Nada de acuerdo n (%) | Algo de acuerdo n (%) | Bastante de acuerdo n (%) | Muy de acuerdo n (%) | ||
|---|---|---|---|---|---|
| Favorecen una mejor relación personal entre residente y tutor | Residentes | 10 (5,0) | 33 (16,6) | 54 (27,1) | 102 (51,3) |
| Tutores | 15 (4,6) | 52 (16,1) | 149 (46,0) | 108 (33,3) | |
| Son útiles para ayudar al avance formativo del residente | Residentes | 8 (4,0) | 48 (24,2) | 69 (34,9) | 73 (36,9) |
| Tutores | 11 (3,4) | 84 (26,0) | 141 (43,7) | 87 (26,9) | |
| Gracias a ellas el tutor conoce mejor el crecimiento profesional del residente | Residentes | 16 (8,1) | 47 (23,7) | 68 (34,3) | 67 (33,8) |
| Tutores | 24 (7,5) | 103 (32,2) | 115 (35,9) | 78 (24,4) | |
| Sirven para que el tutor conozca los problemas del residente | Residentes | 10 (5,1) | 36 (18,2) | 76 (38,4) | 76 (38,4) |
| Tutores | 15 (4,7) | 78 (24,3) | 139 (43,3) | 89 (27,7) | |
| Pueden ser sustituidas por las charlas informales que se mantienen con ocasión de la consulta | Residentes | 35 (18,0) | 38 (19,5) | 56 (28,7) | 66 (33,9) |
| Tutores | 15 (4,7) | 78 (24,3) | 139 (43,3) | 89 (27,7) | |
| Son imprescindibles para que el tutor desarrolle adecuadamente su función de tutorización | Residentes | 38 (19,2) | 50 (25,3) | 67 (33,8) | 43 (21,7) |
| Tutores | 42 (13,3) | 120 (37,9) | 107 (33,8) | 48 (15,1) | |
| Pueden sustituirse por los WhatsApp, llamadas y correos electrónicos que se dirigen ocasionalmente | Residentes | 78 (39,6) | 66 (33,5) | 35 (17,8) | 18 (9,1) |
| Tutores | 150 (46,6) | 94 (29,2) | 57 (17,7) | 21 (6,5) |
Una vez clasificadas las respuestas en grupos de causas, la principal dificultad expuesta sobre las entrevistas de tutorización fue la falta de tiempo (32% de los residentes y 38% de los tutores), aunque una mezcla de varias (horario de trabajo, necesidad de desplazarse, interferencia con rotaciones, etc.) fue la segunda causa (23% de los residentes y 15% de los tutores). Solo un 17% de los residentes y un 10% de los tutores declararon no tener dificultades para llevarlas a cabo.
El 50% de los residentes comentó que realizaba dos informes de incidentes críticos anuales y el 41,2% un informe de autorreflexión. La percepción de los tutores respecto al informe de incidente crítico era distinta: el 40,6% declaró que sus residentes realizaban solo uno, y un 34% dos. La concordancia sobre el número de informes de autorreflexión fue casi total: uno anual para ambos colectivos (41%). Los residentes opinaron que ambos informes son poco útiles, mientras que los tutores pensaban que lo son bastante (fig. 2).
La mayoría de los residentes (80,5%) declararon que sus tutores supervisan los informes de incidentes críticos y de autorreflexión redactados por ellos (93,5% en opinión de los tutores) y un 77,5% dijeron que sus tutores además los analizan y comentan a posteriori con ellos (93,9% en opinión de los tutores).
Con respecto a los MIR, casi la mitad de los residentes (49,7%) y los tutores (48,4%) dijeron utilizar el libro del residente solo antes de entregarlo en la UD para la evaluación anual. El 35% de los residentes y el 45% de los tutores afirmaban utilizarlo varias veces al año. Cuando se les preguntó por la implicación del tutor, el 45% de los residentes y 55% de los tutores dijeron revisarlo y comentarlo solo antes de la evaluación anual, mientras que un 40% de los residentes y un 45% de los tutores lo revisaban y comentaban en las entrevistas de tutorización.
Sobre la guía de competencias EIR, la opción mayoritaria para residentes (31%) y tutores (47%) fue el uso frecuente, varias veces al año, así como su revisión y comentario con ocasión de las entrevistas de tutorización (52% de las EIR y 77% de los tutores).
Los residentes opinaron que el libro del residente (o guía de competencias de EIR) eran poco útiles (48%) aunque para un 28% eran bastante útiles. Para los tutores, la percepción era al contrario: bastante útiles, 49% y poco útiles, 36%.
Los residentes declararon el uso que se hacía de las fichas 1: la mayoría de los tutores las rellenan de forma mecánica, con frecuencia las cumplimentan profesionales con los que casi no han rotado o residentes de las especialidades correspondientes, no suelen recibir información de su resultado e incluso se las entregan en blanco para que las rellenen ellos mismos (tabla 3). El 82% de los residentes y el 70% de los tutores consideraban que las tradicionales fichas 1 del Ministerio no consiguen evaluar adecuadamente el aprovechamiento de las rotaciones.
Utilización de las fichas de evaluación de rotaciones declarada por los residentes
| Nunca o casi nunca n (%) | Algunas veces n (%) | A menudo n (%) | Siempre o casi siempre n (%) | |
|---|---|---|---|---|
| Rellenaron las calificaciones de 0 a 3 de forma mecánica, sin individualizar mi rendimiento en la rotación | 23 (11,7) | 62 (31,5) | 59 (30,0) | 53 (27,0) |
| Las calificaciones las pusieron profesionales del servicio con los que apenas había rotado | 57 (29,1) | 53 (27,0) | 55 (28,1) | 31 (15,8) |
| Me devolvieron la hoja en blanco para que la rellenara yo | 160 (81,6) | 28 (14,3) | 4 (2,0) | 4 (2,0) |
| Cumplimentaron la hoja delante de mí | 31 (15,8) | 61 (31,1) | 58 (29,6) | 46 (23,5) |
| Me calificó la hoja un residente del servicio | 170 (86,3) | 22 (11,2) | 3 (1,5) | 2 (1,0) |
| Se quedaron con la hoja para rellenarla y hacérsela llegar después a la Unidad Docente | 48 (24,5) | 79 (40,3) | 34 (17,4) | 35 (17,9) |
| Me informaron sobre las calificaciones que me habían dado, para ayudarme a mejorar | 118 (60,2) | 49 (25,0) | 21 (10,7) | 8 (4,1) |
Cuando pedimos su opinión sobre qué medios de un listado incluirían para realizar una adecuada evaluación anual la mayor parte de los tutores y residentes estaban muy de acuerdo o bastante de acuerdo en que deberían incluirse el informe del tutor principal del residente y tutores de las rotaciones, el cumplimiento del programa de guardias y cursos obligatorios, la producción científica y las sesiones impartidas en el año. Se mostraron también de acuerdo en que fueran evaluados en situaciones de la práctica real o sobre sus registros, más que frente a simulación. Estuvieron poco de acuerdo o en contra de cualquier tipo de exámenes (tabla 4).
¿Cuáles de estos medios consideras que deben de formar parte del conjunto de criterios de evaluación sumativa?
| Residentes | Tutores | |||||||
|---|---|---|---|---|---|---|---|---|
| Nada de acuerdo n (%) | Algo de acuerdo n (%) | Bastante de acuerdo n (%) | Muy de acuerdo n (%) | Nada de acuerdo n (%) | Algo de acuerdo n (%) | Bastante de acuerdo n (%) | Muy de acuerdo n (%) | |
| Informe del tutor principal del residente | 5 (2,5) | 16 (8,1) | 49 (24,8) | 128 (64,7) | 1 (0,3) | 10 (3,1) | 98 (30,4) | 213 (66,2) |
| Informe del tutor hospitalario | 30 (15,2) | 59 (30,0) | 52 (26,4) | 56 (28,4) | 4 (1,3) | 30 (9,4) | 137 (42,7) | 150 (46,7) |
| Informes de otros tutores de rotaciones y guardias | 12 (6,1) | 45 (22,7) | 84 (42,4) | 57 (28,8) | 5 (1,6) | 49 (15,2) | 160 (49,5) | 109 (33,8) |
| Informes de compañeros y otros profesionales del centro u hospital | 55 (27,8) | 64 (32,3) | 61 (30,8) | 18 (9,1) | 32 (10,0) | 129 (40,4) | 117 (36,7) | 41 (12,9) |
| Informes de pacientes y sus familiares | 71 (35,9) | 65 (32,8) | 41 (20,7) | 21 (10,6) | 78 (24,5) | 125 (39,2) | 90 (28,2) | 26 (8,2) |
| Obligatoriedad de la realización de las entrevistas de tutorización | 30 (15,2) | 68 (34,3) | 61 (30,8) | 39 (19,7) | 27 (8,4) | 79 (24,7) | 142 (44,4) | 72 (23,0) |
| Valoración de los incidentes críticos e informes de autorreflexión | 56 (28,6) | 73 (37,2) | 44 (22, 5) | 23 (11,7) | 21 (6,6) | 86 (27,0) | 152 (47,7) | 60 (18,8) |
| Cumplimiento del programa de guardias (horas, tipos, etc.) | 8 (4,1) | 23 (11,7) | 67 (34,1) | 99 (50,3) | 2 (0,6) | 22 (6,9) | 137 (43,0) | 158 (49,5) |
| Asistencia a cursos obligatorios de la Unidad Docente | 10 (5,1) | 32 (16,2) | 75 (37,9) | 81 (40,9) | 2 (0,6) | 17 (5,4) | 142 (44,8) | 156 (49,2) |
| Asistencia a cursos no obligatorios (en Atención Primaria, hospitales, organismos oficiales, etc.) | 11 (5,6) | 39 (20,0) | 76 (39,0) | 69 (35,4) | 3 (0,9) | 72 (22,5) | 174 (54,4) | 71 (22,2) |
| Producción científica del año (número de comunicaciones orales, pósteres, publicaciones, participación en proyectos de investigación, etc.) | 14 (7,1) | 50 (25,4) | 73 (37,1) | 60 (30,5) | 62 (19,3) | 155 (48,3) | 104 (32,4) | |
| Número de sesiones clínicas preparadas e impartidas | 4 (2,0) | 32 (16,2) | 85 (43,0) | 77 (38,9) | 12 (3,8) | 146 (46,2) | 158 (50,0) | |
| Evaluación de la práctica clínica en situaciones reales, mediante observador | 17 (8,8) | 39 (20,1) | 73 (37,6) | 65 (33,5) | 7 (2,2) | 26 (8,3) | 136 (43,5) | 144 (46,0) |
| Evaluación de los registros del residente (historias clínicas, informes de derivación o alta de urgencias, etc.) | 18 (9,1) | 34 (17,3) | 78 (39,4) | 68 (34,4) | 9 (2,9) | 39 (12,4) | 144 (45,6) | 124 (39,2) |
| Evaluación de indicadores clínicos (uso racional del medicamento, % de hipertensos o diabéticos controlados, etc.) | 26 (13,3) | 45 (23,0) | 78 (40,0) | 47 (24,0) | 18 (5,7) | 66 (20,9) | 135 (42,7) | 97 (30,7) |
| Evaluación con pacientes simulados | 48 (24,4) | 57 (28,9) | 49 (24,9) | 43 (21,8) | 31 (9,7) | 104 (32,5) | 130 (40,6) | 55 (17,2) |
| Exámenes escritos | 84 (42,6) | 47 (23,9) | 40 (20,3) | 26 (13,2) | 123 (38,7) | 129 (40,6) | 48 (15,1) | 18 (5,7) |
| Exámenes orales de casos clínicos | 65 (32,8) | 54 (27,3) | 47 (23,7) | 32 (16,2) | 49 (15,6) | 108 (34,4) | 125 (39,8) | 32 (10,2) |
A la mayoría de los encuestados les gustaría recibir información pormenorizada sobre los resultados de las evaluaciones anuales (95,9% de los residentes y 97,8% de los tutores).
DiscusiónLos objetivos principales de la evaluación, formativa y sumativa, son optimizar las capacidades de los aprendices proporcionándoles motivación y orientación para el aprendizaje futuro y detectar a los profesionales incompetentes con el objetivo de proteger a la población4. En otros sistemas sanitarios la evaluación puede jugar un importante papel para el futuro desarrollo profesional de los clasificados como excelentes. La evaluación formativa pretende guiar el aprendizaje, brindando refuerzo y tranquilidad, promoviendo la reflexión y la formación en valores. La evaluación sumativa o anual hace un juicio global sobre la competencia y la aptitud para la práctica2,5.
No obstante, las evaluaciones formativa y sumativa son, ante todo, un fenómeno moral donde se ponen en juego los principios éticos de los tutores, evaluadores y del mismo proceso y su finalidad, y cuyo resultado tiene repercusión en el evaluado, la institución y la sociedad6,7. Supone para los implicados una deliberación sobre el proceso evolutivo del evaluado y, cuando se trata de calificar, los evaluadores necesitan suficientes elementos de juicio para decidir. En algunos casos sentirán la incertidumbre sobre el juicio evaluativo, ya que todas las herramientas de evaluación son incompletas y junto a sus fortalezas coexisten debilidades que tienen que ser compensadas mediante la combinación con otros métodos, nunca exahustivos5,6.
Aunque desde la realización de este estudio se han producido algunos cambios cualitativos importantes, en las UUDDMM de AFyC de Madrid el sistema de evaluación anual incorpora varias herramientas en un portafolio con la finalidad de obtener información necesaria y suficiente sobre cada residente. Con este estudio quisimos analizar el sistema evaluativo desde la perspectiva de sus principales actores: residentes y tutores.
No hemos encontrado en la literatura referencia a estudios similares, pero se trata de un número importante de residentes y tutores opinando sobre un proceso clave de la organización, que conocen de primera mano. La tasa de respuesta conseguida es adecuada para este tipo de encuestas en base a la literatura disponible8.
Los elementos que componen el portafolio, método ya conocido en evaluación9,10, son similares a los de otras UUDD11.
El RD establece como obligatorias al menos 4 entrevistas periódicas de tutorización. Es esta, probablemente, la principal novedad que ha cambiado la evaluación formativa en la residencia ya que la anterior normativa no las citaba como medio para la «evaluación continuada». No obstante se han desarrollado algunas iniciativas que confirmaron el éxito y necesidad de las entrevistas12. Tutores y residentes están de acuerdo en que son útiles para mejorar la relación entre ellos, para que el tutor conozca mejor el progreso y los problemas del residente y pueda tutorizarle adecuadamente. También coinciden en que no son sustituibles por el contacto a distancia de los medios digitales actuales, ni por los contactos informales del día a día, aunque en menor medida. Las opiniones se verifican porque la mayoría de los encuestados realizaba 4 o más entrevistas al año. Es probable que un porcentaje de tutores y residentes estén realizando las entrevistas sin una sistemática definida, con la consiguiente pérdida de oportunidad de esta herramienta y su sustitución por las otras opciones referidas, en detrimento del aprovechamiento para ambos. Es indispensable la formación de tutores y residentes para optimizar su utilización ya que es una herramienta imprescindible para la evaluación formativa13, por ser la ocasión donde el tutor ejerce con consciencia y método sus funciones14. También es insustituible dotar de tiempo específico para la tutorización, como solicitaban. Ambas necesidades se recogen en el RD instando a las comunidades autónomas y las administraciones sanitarias a hacerlas factibles.
Los informes de incidentes críticos y de autorreflexión son herramientas habituales de los portafolios, cuyo principal objetivo es el autoaprendizaje mediante la reflexión4,15,16. Gran parte de los residentes consideró poco útil su uso, al contrario que la mayoría de los tutores. Independientemente de que el esfuerzo reflexivo sea menos gratificante que otras actividades clínicas exigidas en la residencia, es probable que la realización de un número pequeño de incidentes críticos y de autorreflexión, en muchas ocasiones sin adiestramiento previo y para cumplir los requisitos de una evaluación anual, no logren satisfacer a los residentes a pesar de la alta implicación en supervisión, análisis y comentario posterior que reconocen a los tutores. Es precisa una pedagogía sobre la metodología ya que son un útil elemento en la práctica reflexiva17, núcleo de la evaluación formativa en la que se pretende centrar el sistema de evaluación del RD, habida cuenta de que a partir de la promoción de residentes incorporados en el año 2015 el resultado de la evaluación anual será solo positiva o negativa2, con el consiguiente cambio en los sistemas de evaluación de las UUDD18,19.
En el caso del libro del residente, específicamente de su guía de competencias y la adaptada en Enfermería Familiar y Comunitaria, la utilización anual por los residentes es casi del 100% ya que es requisito imprescindible su entrega y cumplimentación en la evaluación anual. A diferencia del estudio de Saura11, se demuestra que su uso es episódico, sobre todo en los MIR, y probablemente inducido por el período de evaluación, y el grado de implicación de los tutores menor que en dicho estudio. Es posible que el uso del formato papel no sea atrayente y que parte del análisis de las competencias se realice por otros medios en el marco de las entrevistas de tutorización. No obstante, casi la mitad de los tutores y residentes declararon utilizarlo con ocasión de las entrevistas.
Sorprende comprobar los déficits de calidad en el proceso de evaluación mediante las fichas 1, que ya se sospechaban18,19: casi un 60% son evaluados de forma mecánica, sin individualización, a veces por profesionales con los que no han rotado, la mayoría en presencia del residente y entregándoles la hoja en mano (lo que resta confidencialidad y veracidad a la evaluación), a pesar de lo cual no reciben ningún tipo de feed-back sobre su calificación. El caso extremo (15-20%) ocurre cuando les evalúa un residente del servicio o les entregan la hoja en blanco para que se autoevalúen ellos. Es evidente que sustentar un sistema de evaluación en estas fichas 1 adolece del rigor exigible, salvo certeza en contra nacida del perseverante entrenamiento de los numerosos evaluadores implicados.
Al analizar el porcentaje de residentes que estuvieron bastante o muy de acuerdo sobre las herramientas y criterios a incluir en un sistema de evaluación sumativa, aquellos con un 70% o más de acuerdo fueron: el informe del tutor principal, el cumplimiento del programa de guardias, el número de sesiones clínicas impartidas, la asistencia a cursos del programa obligatorio y otros no obligatorios, la evaluación de registros del residente, los informes de otros tutores de rotaciones y guardias, y la evaluación en la práctica real mediante observadores. Aquellos con un porcentaje inferior al 40% fueron, en orden decreciente: los exámenes orales de casos clínicos, los informes de compañeros y otros profesionales del centro u hospital, la valoración de incidentes críticos e informes de autorreflexión, los exámenes escritos y los informes de pacientes y sus familiares. Para los tutores, la distribución es similar aunque los porcentajes de acuerdo son superiores y solo dos herramientas fueron consideradas por menos del 40%: los informes de pacientes y familiares, y los exámenes escritos.
La mayoría de los elementos citados podrían incluirse entre los requisitos que marca el RD. Es llamativo, y motivo de reflexión, que poco más de la mitad de los residentes estuviera de acuerdo en incluir los informes de los tutores hospitalarios, contra la mayor opinión de sus tutores. En nuestras UUDDMM los tutores hospitalarios suelen ser su vínculo más cercano y duradero en los años de estancia hospitalaria. También llama la atención que tutores y residentes desestimen los informes de pacientes y sus familiares, y que los residentes tampoco deseen los informes de compañeros y otros profesionales de los centros, probablemente porque son métodos poco desarrollados en nuestra cultura evaluativa. En la evaluación 360°, estos colectivos, especialmente los sanitarios, podrían aportar información valiosa20,21.
Era esperable la negativa a ser evaluados con exámenes, aunque el Ministerio ha aprobado algún programa de formación de especialistas que los contempla dentro del proceso evaluativo22. En el actual contexto, donde prima la evaluación formativa, –verdadero motor del aprendizaje–, frente a la sumativa, –que solo permite ya la calificación positiva o negativa, sin matices–, es obligado establecer un sólido sistema de evaluación centrado en la reflexión, la tutorización y el feed-back, tal y como pidieron residentes y tutores.
ConclusionesEn el proceso de evaluación, los residentes y tutores consideran al tutor como figura principal: aprecian las entrevistas de tutorización, declaran su implicación en el desarrollo de las herramientas de evaluación formativa (incidentes críticos, informes de autorreflexión, libro del residente) y consideran el informe anual del tutor como la primera herramienta de evaluación sumativa. Existe bastante coincidencia entre tutores y residentes sobre los criterios que podrían constituir un sistema de evaluación sumativa. Ambos consideran la ficha 1 inadecuada para medir el aprovechamiento de las rotaciones y solicitan feed-back del proceso evaluativo.
Conflicto de interesesLos autores declaran no tener ningún conflicto de intereses.
- -
Araceli Garrido Barral (1).
- -
Elena Polentinos Castro (1).
- -
Silvia Fernández Pulido (1).
- -
Paloma Casado Pérez (2).
- -
Begoña Román Crespo (2).
- -
Luis García Olmos (3).
- -
Sofía Garrido Elustondo (3).
- -
Aurora Fernández Moreno (4).
- -
Ángel Alberquilla Menéndez-Asenjo (4).
- -
María Teresa Rodríguez Monge (5).
- -
Rosario Riesgo Fuertes (5).
- -
Sonia Soto Díaz (6).
- -
Gloria Ariza Cardiel (6).
- -
Juan Carlos Abánades Herranz (7).
- -
Ana Pastor Rodríguez-Moñino (7).
- (1)
: Unidad Docente Multiprofesional de Atención Familiar y Comunitaria (UDM AFyC) Norte.
- (2)
: UDM AFyC Este.
- (3)
: UDM AFyC Sureste.
- (4)
: UDM AFyC Centro.
- (5)
: UDM AFyC Sur.
- (6)
: UDM AFyC Oeste.
- (7)
: Dirección Técnica de Docencia e Investigación. Gerencia Asistencial de Atención Primaria.
