La evaluación constituye el elemento central de todo proceso formativo. Dentro de la evaluación de los médicos especialistas en formación o médicos residentes (MIR) se distinguen 2 grandes tipos de evaluación según sea su finalidad: la evaluación formativa o continua, y la sumativa o final, tal como define y destaca el Real Decreto 183/20081.

Los elementos que sustentan actualmente la evaluación de los residentes son: el programa docente oficial, actualmente vigente, de la especialidad de Medicina de Familia y Comunitaria (MF y C) publicado en el año 20052, y el Libro del especialista de medicina de familia y comunitaria en formación, que se deriva normativamente del que se publicó en 20063.

Para desarrollar el proceso formativo de forma integrada con el libro del residente, la Comisión Nacional de la Especialidad (CNE) de MF y C publicó en 2006 la llamada Guía del portafolio4 (o guía de práctica reflexiva), en la que se indica que el residente debe recoger en su portafolio formativo las pruebas de haber realizado las tareas y actividades formativas propuestas por el programa docente de la especialidad.

El portafolio es un instrumento fundamental de evaluación formativa (aunque también de evaluación sumativa) que consiste en la recopilación de la información en distintos formatos con los que el profesional demuestra su desarrollo profesional y la adquisición de un determinado nivel de competencia, que ya existía o que se ha alcanzado durante el proceso de evaluación5. Un instrumento donde el profesional recoge los resultados de realizar tareas clínicas o formativas concretas6–8.

Esta metodología basada en experiencias llevadas a cabo en distintos países9–11 también se ha ido instaurando en nuestro país a propuesta de la CNE y así se han ido publicando distintas experiencias sobre la práctica formativa y evaluativa de los médicos de familia españoles por medio del portafolio6–8. En esta área destacan las aportaciones del grupo liderado por Ruiz Moral12–14.

El modelo propuesto y que se está implantando poco a poco en nuestro país es el denominado portafolio «semiestructurado» o del tipo «columna vertebral»11, ya que ofrece al residente una orientación sobre las competencias que debe dominar. En la mayoría de los casos también incluye indicaciones sobre el modo de evaluarlas (indicadores operativos) y sugerencias sobre las tareas que se deben realizar en cada caso14.

En el año 2007 se puso en marcha esta metodología de evaluación del portafolio en 4 centros de salud de la Unidad Docente de MF y C de Murcia (posteriormente extendido a toda esa promoción 2007-2011 de residentes), y tras la evaluación positiva de su funcionamiento en 200815 fue presentado y aprobado en la comisión de docencia. A partir de ese año se generalizó de manera obligatoria para todos los residentes y todos los centros de salud docentes de nuestra unidad docente.

Dado que, en este caso, la finalidad de la utilización del portafolio es formativa, una vez realizado por el residente, debe ser evaluado. Entre los aspectos que se evalúan destacan: la aplicación de este instrumento en el proceso de aprendizaje del residente, que se haya utilizado de forma metodológicamente correcta y los resultados formativos obtenidos.

Teniendo en cuenta lo anteriormente expuesto podemos definir los objetivos de nuestro trabajo que son: a) evaluar el cumplimiento de los 10 grupos de tareas formativas previstas en el modelo de portafolio aprobado en nuestra unidad docente, y b) evaluar la calidad de las tareas formativas realizadas por los residentes (estableciendo una calificación-puntuación).

El presente es un estudio transversal realizado en la Unidad Docente de MF y C de Murcia con todos los portafolios cumplimentados por los residentes de las promociones 2007-2011, 2008-2012, 2009-2013 y 2010-2014 (todas ellas corresponden a promociones con un periodo formativo MIR de 4 años de duración). Los portafolios fueron entregados en la unidad docente para su evaluación, conjuntamente con los correspondientes libros del residente, en mayo de 2011.

En el estudio participan todos los residentes que se estaban formando en ese momento en la unidad docente, es decir, 131. La unidad de estudio (caso) es el libro del residente más el portafolio, y las tareas formativas recogidas en él.

Nuestro portafolio incluye de forma normativa 10 grandes grupos de tareas formativas, seleccionadas de las recomendadas por la Comisión Nacional de la Especialidad de MF y C para el portafolio4, con sus correspondientes criterios de calidad, a saber:

• T1 (tarea 1). Aporta el libro del residente de MF y C, modelo oficial aprobado y publicado por la CNE3 correctamente cumplimentado en todos sus apartados.

• T2. El residente ha utilizado la guía de competencias del libro del residente3. Aparecen evaluaciones (puntuaciones) en la plantilla para las competencias del año de residencia correspondiente.

• T3. Está bien presentado, ordenado y estructurado, siguiendo el modelo de portafolio aprobado en la unidad docente, y con distintas partes fácilmente identificables.

• T4. Incluye informes sobre competencias trabajadas, según el anexo ii del libro del residente3: «Informe resumen de la guía de competencias».

• T5. El portafolio incluye informes de autorreflexión del residente, según el anexo i del libro del residente3: «Informe de reflexión sobre el aprendizaje en estancias formativas», uno por cada rotación.

• T6. Incluye incidentes críticos bien elaborados, según el modelo propuesto por la CNE4.

• T7. Incluye entrevistas tutor-residente o informes en los que ha participado el tutor.

• T8. Incluye pruebas de haber presentado sesiones clínicas, sesiones docentes de otro tipo u otras actividades formativas.

• T9. Incluye pruebas de haber presentado comunicaciones a congresos o jornadas, y/o haber publicado artículos científicos.

• T10. Incluye análisis de actividades formativas recibidas según el modelo propuesto por la CNE4.

Además, cada residente podía aportar todas aquellas pruebas de haber realizado otras tareas o actividades formativas que el considerara relevantes en su formación, aunque no se han tenido en cuenta en esta investigación.

Tras la evaluación de cada portafolio, para cada residente y año, se recogen los datos obtenidos en una hoja de evaluación, que luego se incorpora al expediente del residente.

Todos los técnicos de salud (3) de la unidad docente, previamente entrenados en los criterios y el uso de las hojas de evaluación, los aplicaron a todas las actividades y a todos los portafolios, vaciando los resultados en una hoja de recogida de datos diseñada al efecto.

Se verifica el cumplimiento de cada tarea, se identifica como incumplimiento el no haber incluido en el portafolio pruebas de haber realizado esa tarea, y se calcula el porcentaje de cumplimiento sobre el número total de veces que se debía realizar cada tarea formativa. Cada incumplimiento tenía una puntuación de cero.

Además, en cada portafolio se calificó la calidad de cada una de las tareas formativas realizadas, con una escala de 0 (incumplimiento o muy deficiente) a 10 puntos (excelente), teniendo en cuenta el nivel de calidad obtenido comparado con el criterio establecido, y al número de veces que se ha realizado en aquellos ítems donde estaba previsto que se realizaba más de una vez. Se analiza la calidad, incluyendo y no incluyendo los incumplimientos.

Se calcula la media de puntuación obtenida para cada una las tareas; y la media global de todas ellas, que corresponde a la calificación obtenida en su portafolio por cada residente. También se calcula la puntuación global media de todos los portafolios y por promoción de residentes.

El análisis estadístico se realizó mediante el paquete estadístico SPSS v 13.0, calculándose la media y desviación estándar de las calificaciones numéricas obtenidas, así como el porcentaje de cumplimiento de cada criterio. Las medias de los criterios evaluados se compararon mediante la t de Student para datos apareados incluyendo y sin incluir los incumplimientos. Se comprobó previamente la normalidad de la distribución de las variables. Se aplicó el test de ANOVA para comparar varias medias. Se consideró significación estadística cuando el valor de p fue menor de 0,05.

Se obtienen y analizan 131 portafolios (con sus correspondientes libros del residente), que corresponden al 100% de los portafolios y residentes que estaban realizando su formación MIR en ese momento en la unidad docente.

Como podemos apreciar en la tabla 1, la edad media de los residentes es de 31,01 (3,42) años, siendo similar en los varones y mujeres. Se aprecia un incremento de edad de aproximadamente un año por cada año que pasa de la residencia, lo que es coherente tras cada año de formación.

Las 2 terceras partes de los residentes son mujeres (66%), siendo mayor esta proporción entre los residentes de segundo año (76,32%).

Consideramos que los resultados de esta investigación han conseguido cumplir con los objetivos previstos. Así observamos que se ha obtenido una muy aceptable tasa de cumplimiento de cada una de las tareas formativas previstas en el portafolio, se ha evaluado la calidad de las tareas realizadas y se ha establecido la calidad media alcanzada por nuestros residentes por tarea formativa, por portafolio, por promoción, por área a la que están adscritos, y globalmente para todos los residentes.

El estudio pone de manifiesto que los residentes utilizan el portafolio formativo de forma generalizada, a pesar de estar en sus primeros años de implantación este instrumento en la unidad docente.

Consideramos que una media de cumplimiento global de las tareas formativas en un 86,49% es un buen resultado, muy superior al esperado y también superior al obtenido con otros instrumentos formativos que llevan más años en funcionamiento.

Aun con un resultado aceptable, cabe destacar que las tareas formativas que menos se cumplen son: aportar incidentes críticos (67,94%), y haber presentado comunicaciones o publicado artículos científicos (69,47%). Por tanto detectamos 2 oportunidades de mejora importantes en la formación del residente. Respecto a la segunda oportunidad de mejora, para que una investigación sea completa se deben divulgar los resultados obtenidos a la comunidad científica, con las comunicaciones o artículos científicos.

La calidad media global de las tareas formativas, incluyendo los incumplimientos, fue de 6,65, que equivale a un aprobado alto para el conjunto de residentes (y de portafolios).

Si del análisis se excluyen los incumplimientos podemos considerar la calidad media global de la realización de las tareas formativas de los portafolios como muy buena, ya que fue de 7,80, lo que equivale a un notable alto para el conjunto de portafolios (y de residentes). Este hecho se podría justificar porque cuando los residentes no realizan una tarea, probablemente sea debido a que no la conocen adecuadamente y por tanto su formación en ese aspecto es deficiente. Cuando realizan las tareas lo hacen con un nivel de calidad alto. Esto pone de manifiesto la necesidad de potenciar la formación en el conocimiento de las tareas que presentan un mayor incumplimiento.

Podemos decir que desde la implantación del portafolio la cumplimentación ha mejorado para los residentes, pero solo para los R1 (que solo llevan realizándolo 1 año). Paradójicamente, los R3 y R4, a pesar de llevar 3 y 4 años utilizándolo, obtienen peores resultados. Probablemente esto se deba a la mejora de la formación que reciben inicialmente los residentes tras la experiencia adquirida por los docentes de la unidad docente, y la gran repercusión sobre el resultado final de explicar bien y al principio de su periodo formativo cómo se construye y se evalúa nuestro modelo de portafolio formativo. No es muy valorable la influencia del resultado de dar feedback formativo a los residentes tras la evaluación de los portafolios, porque solo se viene haciendo de manera sistemática y programada desde hace 2 años.

En la calidad global de los portafolios de los R4 también puede haber influido que para esa promoción (2007-2011) tenía carácter voluntario, siendo obligatorio su uso en el resto de promociones.

Al descartar los incumplimientos las puntuaciones de las distintas promociones se hacen más elevadas y homogéneas, lo que probablemente se pueda relacionar con que tras varios años implantado estos residentes construyen su portafolio en un entorno en el que está ampliamente difundido y aplicado, por contar con tutores entrenados y sobre todo con residentes mayores que ya lo asumen con naturalidad, que lo utilizan de manera sistemática, y que actúan como referencia y apoyo. Y eso a pesar de que los residentes conocen el peso relativo y globalmente escaso que hasta ahora el portafolio tiene en la calificación final de residencia.

La validez interna podemos considerarla alta, por el número, ya que se ha incluido a toda la población en estudio (todos los residentes), por la sencillez de la metodología empleada y por el entrenamiento previo de los investigadores. No se ha perdido ningún caso (unidad de estudio), por lo que los resultados son plenamente aplicables a dicha población y a nuestra unidad docente.

Los criterios de calidad utilizados para evaluar los portafolios han sido extraídos de la bibliografía existente y basada en las propuestas realizadas y justificadas por la CNE a nivel nacional3,4.

Existe una buena concordancia interobservador tal como se demuestra en el análisis específico realizado en la tabla 5.

Una posible limitación de nuestro trabajo puede estar en el análisis comparativo entre promociones de residentes, debido al menor número de residentes de tercer año respecto al resto de años. Esto se debe a que en dicha promoción no se ocuparon todas las plazas ofertadas en el examen MIR, para nuestra unidad docente.

Respecto a la validez externa podemos considerarla alta ya que existe una gran homogeneidad entre el proceso formativo de los residentes de MF y C, ya que las directrices son propuestas por la CNE que es única para todo el territorio nacional, aunque creemos que su nivel de implantación y aplicación ha sido muy variable dependiendo de las unidades docentes. Creemos que aunque estos resultados no sean totalmente extrapolables para otras unidades docentes de MF y C y/o comunidades autónomas, sí pueden servir como información útil en la aplicación y la evaluación del portafolio en nuestro entorno.

No podemos comparar nuestros resultados con otros trabajos de investigación de nuestro entorno por no haber encontrado ninguno que utilice este método ni una población comparable, aunque nuestro estudio se basa en las propuestas de la CNE, que deber ser conocidas a nivel estatal.

En el estudio realizado los resultados coinciden con los obtenidos en otros estudios citados por Ruiz Moral14, en los que se concluye que para que esta metodología sea aceptada se deben cumplir una serie de premisas como son: la importancia clave de una buena relación tutor-residente, que los tutores estén bien entrenados, y una cuidadosa planificación de su introducción y puesta en marcha. Aspectos que en la Unidad Docente de MF y C de Murcia hemos tenido en cuenta para mejorar su implantación.

Cabe destacar la solicitud que hacen tanto tutores como residentes respecto al formato actual del portafolio de que se mejore, se simplifique para hacerlo más sencillo, más fácil de utilizar y de cumplimentar. Demanda también recogida en otros estudios12,14, señalando además que el portafolio tenga una estructura clara y amigable12,14.

Los resultados del estudio parecen apoyar los obtenidos por otros estudios de nuestro entorno12,14, en el sentido de que este modelo de portafolio es un buen instrumento de evaluación formativa, y además bien aceptado por residentes y tutores.

El presente trabajo demuestra que el esfuerzo realizado por nuestra unidad docente de Murcia y de los tutores que la integran, para una adecuada implementación del portafolio entre los residentes está dando sus frutos.

Como desarrollo futuro en las próximas ediciones del modelo del portafolio formativo en nuestra unidad docente deberíamos incorporar más y mejores tareas formativas, que sirvan para evaluar más fielmente el currículo profesional que deben desarrollar los residentes de MF y C. Se podría aplicar esta metodología en otras unidades docentes para obtener datos comparables y valorar la utilidad y aplicabilidad más generalizada de este tipo de evaluación formativa.

Como conclusiones podemos decir que el cumplimiento global de las tareas previstas en el portafolio por los residentes es muy satisfactorio, ya que la media se acerca al 90%. No obstante, es necesario seguir insistiendo en la correcta realización del portafolio debido a su importancia como instrumento docente, sobre todo en las actividades de peor cumplimiento.

Los autores declaran no tener ningún conflicto de intereses.