Evaluar el cumplimiento y la calidad de los 10 grupos de tareas formativas previstas en el modelo de portafolio formativo que realizan todos los residentes de la Unidad Docente de Medicina de Familia y Comunitaria de Murcia.
DiseñoEstudio transversal realizado con los portafolios cumplimentados y entregados por todos los residentes en mayo de 2011.
ParticipantesTodos los residentes que en ese momento se estaban formando en la unidad docente (131).
MétodoSe establecen 10 grupos de tareas formativas de las recomendadas por la comisión nacional de la especialidad. Se evalúa el cumplimiento de cada una de ellas en cada uno de los portafolios. Se calcula la frecuencia de cumplimiento para cada tarea formativa. Se califica la calidad de la realización de cada una de las tareas, de 0 (muy deficiente) a 10 puntos (excelente).
ResultadosRespecto al grado de cumplimiento, las tareas que más se cumplen: cumplimentar correctamente el libro del residente y utilizar la guía de competencias, ambas con un 99,24%; seguidas de la elaboración de informes de reflexión sobre las estancias formativas. Todas las tareas obtienen un porcentaje de cumplimiento superior al 67%. El porcentaje medio de cumplimiento es del 86,49%. Todas las tareas obtienen una nota media superior a 7 (notable). La calificación media global fue de 7,80 puntos.
ConclusionesEl grado de cumplimiento de las tareas previstas en el portafolio por los residentes es muy satisfactorio. Es necesario seguir insistiendo en la mejora de la realización del portafolio.
To evaluate the performance and quality of the 10 groups of training tasks envisaged in the portfolio training model undertaken by all residents of the Primary Care Teaching Unit in Murcia.
DesignA cross-sectional study was conducted on the portfolios provided and completed by all residents in May 2011.
ParticipantsAll residents who were in training at that time (131).
MethodTen groups of training tasks were established from those recommended by the National Commission for the specialty. The performance of each one in each of the portfolios was evaluated, and the compliance for each training task was calculated. The quality of the performance of each of the tasks was given a score, 0 points (very poor) to 10 points (excellent).
ResultsAs regards compliance, the tasks that were most performed were: filling in the Resident book correctly and using the resident skills guide, both with 99.24%, followed by reflection reports on the training visits. All tasks had a compliance rate higher than 67%. The mean percentage of compliance was 86.49%. All tasks obtained an average score greater than 7 (outstanding). The overall mean score was 7,8 points.
ConclusionsThe level of perfomance of the tasks set out in the portfolio by the residents was very satisfying. It is necessary to continue working on improving the performance of the portfolio.
La evaluación constituye el elemento central de todo proceso formativo. Dentro de la evaluación de los médicos especialistas en formación o médicos residentes (MIR) se distinguen 2 grandes tipos de evaluación según sea su finalidad: la evaluación formativa o continua, y la sumativa o final, tal como define y destaca el Real Decreto 183/20081.
Los elementos que sustentan actualmente la evaluación de los residentes son: el programa docente oficial, actualmente vigente, de la especialidad de Medicina de Familia y Comunitaria (MF y C) publicado en el año 20052, y el Libro del especialista de medicina de familia y comunitaria en formación, que se deriva normativamente del que se publicó en 20063.
Para desarrollar el proceso formativo de forma integrada con el libro del residente, la Comisión Nacional de la Especialidad (CNE) de MF y C publicó en 2006 la llamada Guía del portafolio4 (o guía de práctica reflexiva), en la que se indica que el residente debe recoger en su portafolio formativo las pruebas de haber realizado las tareas y actividades formativas propuestas por el programa docente de la especialidad.
El portafolio es un instrumento fundamental de evaluación formativa (aunque también de evaluación sumativa) que consiste en la recopilación de la información en distintos formatos con los que el profesional demuestra su desarrollo profesional y la adquisición de un determinado nivel de competencia, que ya existía o que se ha alcanzado durante el proceso de evaluación5. Un instrumento donde el profesional recoge los resultados de realizar tareas clínicas o formativas concretas6–8.
Esta metodología basada en experiencias llevadas a cabo en distintos países9–11 también se ha ido instaurando en nuestro país a propuesta de la CNE y así se han ido publicando distintas experiencias sobre la práctica formativa y evaluativa de los médicos de familia españoles por medio del portafolio6–8. En esta área destacan las aportaciones del grupo liderado por Ruiz Moral12–14.
El modelo propuesto y que se está implantando poco a poco en nuestro país es el denominado portafolio «semiestructurado» o del tipo «columna vertebral»11, ya que ofrece al residente una orientación sobre las competencias que debe dominar. En la mayoría de los casos también incluye indicaciones sobre el modo de evaluarlas (indicadores operativos) y sugerencias sobre las tareas que se deben realizar en cada caso14.
En el año 2007 se puso en marcha esta metodología de evaluación del portafolio en 4 centros de salud de la Unidad Docente de MF y C de Murcia (posteriormente extendido a toda esa promoción 2007-2011 de residentes), y tras la evaluación positiva de su funcionamiento en 200815 fue presentado y aprobado en la comisión de docencia. A partir de ese año se generalizó de manera obligatoria para todos los residentes y todos los centros de salud docentes de nuestra unidad docente.
Dado que, en este caso, la finalidad de la utilización del portafolio es formativa, una vez realizado por el residente, debe ser evaluado. Entre los aspectos que se evalúan destacan: la aplicación de este instrumento en el proceso de aprendizaje del residente, que se haya utilizado de forma metodológicamente correcta y los resultados formativos obtenidos.
Teniendo en cuenta lo anteriormente expuesto podemos definir los objetivos de nuestro trabajo que son: a) evaluar el cumplimiento de los 10 grupos de tareas formativas previstas en el modelo de portafolio aprobado en nuestra unidad docente, y b) evaluar la calidad de las tareas formativas realizadas por los residentes (estableciendo una calificación-puntuación).
Material y métodoEl presente es un estudio transversal realizado en la Unidad Docente de MF y C de Murcia con todos los portafolios cumplimentados por los residentes de las promociones 2007-2011, 2008-2012, 2009-2013 y 2010-2014 (todas ellas corresponden a promociones con un periodo formativo MIR de 4 años de duración). Los portafolios fueron entregados en la unidad docente para su evaluación, conjuntamente con los correspondientes libros del residente, en mayo de 2011.
En el estudio participan todos los residentes que se estaban formando en ese momento en la unidad docente, es decir, 131. La unidad de estudio (caso) es el libro del residente más el portafolio, y las tareas formativas recogidas en él.
Nuestro portafolio incluye de forma normativa 10 grandes grupos de tareas formativas, seleccionadas de las recomendadas por la Comisión Nacional de la Especialidad de MF y C para el portafolio4, con sus correspondientes criterios de calidad, a saber:
T1 (tarea 1). Aporta el libro del residente de MF y C, modelo oficial aprobado y publicado por la CNE3 correctamente cumplimentado en todos sus apartados.
T2. El residente ha utilizado la guía de competencias del libro del residente3. Aparecen evaluaciones (puntuaciones) en la plantilla para las competencias del año de residencia correspondiente.
T3. Está bien presentado, ordenado y estructurado, siguiendo el modelo de portafolio aprobado en la unidad docente, y con distintas partes fácilmente identificables.
T4. Incluye informes sobre competencias trabajadas, según el anexo ii del libro del residente3: «Informe resumen de la guía de competencias».
T5. El portafolio incluye informes de autorreflexión del residente, según el anexo i del libro del residente3: «Informe de reflexión sobre el aprendizaje en estancias formativas», uno por cada rotación.
T6. Incluye incidentes críticos bien elaborados, según el modelo propuesto por la CNE4.
T7. Incluye entrevistas tutor-residente o informes en los que ha participado el tutor.
T8. Incluye pruebas de haber presentado sesiones clínicas, sesiones docentes de otro tipo u otras actividades formativas.
T9. Incluye pruebas de haber presentado comunicaciones a congresos o jornadas, y/o haber publicado artículos científicos.
T10. Incluye análisis de actividades formativas recibidas según el modelo propuesto por la CNE4.
Además, cada residente podía aportar todas aquellas pruebas de haber realizado otras tareas o actividades formativas que el considerara relevantes en su formación, aunque no se han tenido en cuenta en esta investigación.
Tras la evaluación de cada portafolio, para cada residente y año, se recogen los datos obtenidos en una hoja de evaluación, que luego se incorpora al expediente del residente.
Todos los técnicos de salud (3) de la unidad docente, previamente entrenados en los criterios y el uso de las hojas de evaluación, los aplicaron a todas las actividades y a todos los portafolios, vaciando los resultados en una hoja de recogida de datos diseñada al efecto.
Se verifica el cumplimiento de cada tarea, se identifica como incumplimiento el no haber incluido en el portafolio pruebas de haber realizado esa tarea, y se calcula el porcentaje de cumplimiento sobre el número total de veces que se debía realizar cada tarea formativa. Cada incumplimiento tenía una puntuación de cero.
Además, en cada portafolio se calificó la calidad de cada una de las tareas formativas realizadas, con una escala de 0 (incumplimiento o muy deficiente) a 10 puntos (excelente), teniendo en cuenta el nivel de calidad obtenido comparado con el criterio establecido, y al número de veces que se ha realizado en aquellos ítems donde estaba previsto que se realizaba más de una vez. Se analiza la calidad, incluyendo y no incluyendo los incumplimientos.
Se calcula la media de puntuación obtenida para cada una las tareas; y la media global de todas ellas, que corresponde a la calificación obtenida en su portafolio por cada residente. También se calcula la puntuación global media de todos los portafolios y por promoción de residentes.
El análisis estadístico se realizó mediante el paquete estadístico SPSS v 13.0, calculándose la media y desviación estándar de las calificaciones numéricas obtenidas, así como el porcentaje de cumplimiento de cada criterio. Las medias de los criterios evaluados se compararon mediante la t de Student para datos apareados incluyendo y sin incluir los incumplimientos. Se comprobó previamente la normalidad de la distribución de las variables. Se aplicó el test de ANOVA para comparar varias medias. Se consideró significación estadística cuando el valor de p fue menor de 0,05.
Resultados
Se obtienen y analizan 131 portafolios (con sus correspondientes libros del residente), que corresponden al 100% de los portafolios y residentes que estaban realizando su formación MIR en ese momento en la unidad docente.
Como podemos apreciar en la tabla 1, la edad media de los residentes es de 31,01 (3,42) años, siendo similar en los varones y mujeres. Se aprecia un incremento de edad de aproximadamente un año por cada año que pasa de la residencia, lo que es coherente tras cada año de formación.
Distribución por edad y género de los residentes
| Residentes | Total | Varones | Mujeres | |||
| Número | Edad media (DE) | Número (%) | Edad media (DE) | Número (%) | Edad media (DE) | |
| Residentes 1.er año | 44 | 28,98 (3,12) | 17 (38,64) | 28,88 (3,42) | 27 (61,36) | 29,04 (2,71) |
| Residentes 2.o año | 38 | 30,97 (4,90) | 9 (23,68) | 31,9 (2,73) | 29 (76,32) | 30,66 (6,70) |
| Residentes 3.er año | 19 | 33 (3,34) | 6 (31,56) | 35,29 (2,91) | 13 (68,44) | 31,86 (3,51) |
| Residentes 4.o año | 30 | 32,73 (3,81) | 12 (40) | 31,5 (3,12) | 18 (60) | 33,56 (4,41) |
| Total residentes | 131 | 31,01 (3,42) | 44 (34) | 31,20 (3,12) | 87 (66) | 30,92 (4,62) |
Las 2 terceras partes de los residentes son mujeres (66%), siendo mayor esta proporción entre los residentes de segundo año (76,32%).
Cumplimiento de las tareas formativas previstasComo se observa en la tabla 2, las tareas que obtienen un mayor porcentaje de cumplimiento son: cumplimentar correctamente el libro del residente, y utilizar la guía de competencias, ambas con el 99,24%; seguidos de la elaboración de informes de reflexión sobre las estancias formativas, 94,66%.
Cumplimiento de las tareas formativas previstas en el portafolio
| Tareas formativas | Número de residentes (portafolios) que sí cumplen | Porcentaje de cumplimientos |
| T1: Aporta el libro del residente | 130 | 99,24 |
| T2: Utiliza la guía de competencias | 130 | 99,24 |
| T3: Portafolio bien presentado | 117 | 89,31 |
| T4: Incluye informes de las competencias trabajadas (anexo ii) | 119 | 90,84 |
| T5: Incluye Informes de autorreflexión (anexo i) | 124 | 94,66 |
| T6: Incluye incidentes críticos | 89 | 67,94 |
| T7: Incluye entrevistas tutor-residente | 118 | 90,08 |
| T8: Ha presentado sesiones clínicas | 120 | 91,60 |
| T9: Ha presentado comunicaciones y/o publicado artículos científicos | 91 | 69,47 |
| T10: Incluye análisis de actividades formativas recibidas | 95 | 72,52 |
| Media de cumplimiento para todos los residentes (portafolios) | 86,49 |
El menor porcentaje de cumplimiento lo obtiene la tarea inclusión de incidentes críticos bien elaborados, 67,94%, seguida de presentar comunicaciones o publicar artículos científicos: 69,47%.
Todas las tareas obtienen un porcentaje de cumplimiento superior al 67%. El porcentaje medio de cumplimiento es del 86,49%.
Evaluación de la calidad de las actividades formativasResultados obtenidos incluyendo y calificando con cero (0 puntos) los incumplimientosLas tareas que obtienen la calificación media más alta son: la tarea formativa 2 (T2) utilizar la guía de competencias con 8,53 puntos sobre 10; T1, cumplimentar el libro del residente=7,81, y T5, los informes de reflexión de estancias formativas=7,55.
La calificación media más baja la obtienen (T9) las comunicaciones y artículos científicos=4,93; seguida de T6, los incidentes críticos=4,99.
Todas las tareas excepto estas 2 últimas obtienen una nota media superior a 5 (aprobado). La calificación media global fue de 6,65 puntos.
Cuatro de las tareas obtienen una calificación superior a 7 (notable), tal y como se aprecia en la tabla 3.
Calidad (calificación media) de cada actividad formativa y global del portafolio
| Puntuación con incumplimientos | Puntuación sin incumplimientos | p | |
| A1: Aporta el libro del residente | 7,81 (1,62) | 7,99 (1,60) | NS |
| A2: Utiliza la guía de competencias | 8,53 (1,30) | 8,64 (1,28) | NS |
| A3: Portafolio bien presentado | 6,68 (2,91) | 7,78 (2,53) | < 0,05 |
| A4: Incluye informes de las competencias trabajadas (anexo ii) | 7,06 (2,58) | 7,83 (2,50) | NS |
| A5: Incluye informes de autorreflexión (anexo i) | 7,55 (2,91) | 8,05 (2,14) | NS |
| A6: Incluye Incidentes críticos | 4,99 (3,65) | 7,38 (2,60) | < 0,05 |
| A7: Incluye entrevistas tutor-residente | 6,68 (2,64) | 7,54 (2,06) | < 0,05 |
| A8: Ha presentado sesiones clínicas | 6,55 (2,50) | 7,36 (2,02) | < 0,05 |
| A9: Ha presentado comunicaciones y/o publicado artículos científicos | 4,93 (3,60) | 7,46 (2,44) | < 0,05 |
| A10: Incluye análisis de actividades formativas recibidas | 5,83 (3,39) | 8,00 (1,78) | < 0,05 |
| Calificación media de todos los portafolios (residentes) | 6,65 (2,14) | 7,80 (1,82) | < 0,05 |
p: significación estadística entre las medias con y sin incumplimientos.
Las tareas que obtienen la calificación media más alta son: T2, utilizar la guía de competencias con 8,64 puntos sobre 10; T5, incluir informes de autorreflexión=8,05, y T10, informes de actividades formativas recibidas=8,00 (tabla 3).
La calificación media más baja la obtienen: T8, haber presentado sesiones clínicas=7,36; T6, los incidentes críticos=7,38, y T9, las comunicaciones y artículos científicos=7,46.
Todas las tareas obtienen una nota media superior a 7 (notable). La calificación media global fue de 7,80 puntos (tabla 3).
Comparación interevaluadorTal y como se aprecia en la tabla 4, el análisis multivariante no evidencia diferencias significativas en la puntuación obtenida en la evaluación del cumplimiento de las tareas formativas según el evaluador.
Comparación de la calidad (calificación media) de cada tarea formativa y del portafolio según el evaluador
| Evaluador tareas formativas | N (n=31)Puntuación (DE) | E (n=56)Puntuación (DE) | J (n=44)Puntuación (DE) |
| T1: Aporta el libro del residente | 8,45 (± 0,81) | 8,05 (± 1,31) | 7,05 (± 2,08) |
| T2: Utiliza la guía de competencias | 8,73 (± 0,79) | 8,65 (± 1,31) | 8,24 (± 1,55) |
| T3: Portafolio bien presentado | 5,86 (± 2,86) | 6,86 (± 3,59) | 7,03 (± 1,66) |
| T4: Incluye informes de las competencias trabajadas (anexo ii) | 5,79 (± 3,13) | 7,87 (± 2,05) | 6,92 (± 2,42) |
| T5: Incluye informes de autorreflexión (anexo i) | 6,95 (± 2,55) | 7,68 (± 2,37) | 7,82 (± 1,57) |
| T6: Incluye Incidentes críticos | 3,23 (± 3,69) | 4,91 (± 3,81) | 6,33 (± 2,85) |
| T7: Incluye entrevistas tutor-residente | 6,34 (± 2,08) | 7,06 (± 2,42) | 6,44 (± 3,20) |
| T8: Ha presentado sesiones clínicas | 6,05 (± 2,64) | 6,66 (± 2,55) | 6,75 (± 2,33) |
| T9: Ha presentado comunicaciones y/o publicado artículos científicos | 5,79 (± 3,49) | 3,76 (± 3,86) | 5,84 (± 2,90) |
| T10: Incluye análisis de actividades formativas recibidas | 4,37 (± 3,67) | 5,59 (± 4,29) | 7,15 (± 2,68) |
| Calificación media de todos los portafolios (residentes) | 6,15 (± 1,84) | 6,69 (± 1,58) | 7,00 (± 1,46) |
ANOVA no significativo. No proceden pruebas post hoc.
Si se incluyen los incumplimientos, los R1 realizan mejor y obtienen mejores puntuaciones en las tareas formativas (y del conjunto del portafolio) que los R3 y los R4, de forma significativa. Las notas medias obtenidas son de notable para los R1 y de aprobado para el resto de residentes.
Sin embargo, al excluir los incumplimientos en el análisis multivariante no hay diferencias significativas en las puntuaciones obtenidas por las diferentes promociones. Aunque, como se aprecia en la tabla 5, sí se observan estas diferencias significativas si para los R2, R3 y R4 se comparan los resultados de cada promoción con y sin incumplimientos.
Comparación de la calidad (calificación media) de cada actividad formativa y global del portafolio según el año de residencia
| Residentes 1.er año (n=44) | Residentes 2.o año (n=38) | Residentes 3.er año (n=19) | Residentes 4.o año (n=30) | |||||||||
| Puntuaciones (DE) | Con inc. | Sin inc. | p | Con inc. | Sin inc. | p | Con inc. | Sin inc. | p | Con inc. | Sin inc. | p |
| A1 | 8,161,39 | 8,271,38 | NS | 7,531,50 | 7,531,50 | NS | 7,711,33 | 7,711,33 | NS | 7,722,15 | 8,132,12 | NS |
| A2 | 8,850,83 | 8,850,83 | NS | 8,680,50 | 8,680,50 | NS | 8,451,55 | 8,751,50 | NS | 7,922,06 | 8,192,00 | NS |
| A3 | 7,601,52 | 7,711,50 | NS | 7,501,92 | 7,831,88 | NS | 7,162,82 | 7,942,78 | NS | 3,983,89 | 7,682,19 | < 0,05 |
| A4 | 7,831,22 | 7,911,20 | NS | 6,682,90 | 7,702,62 | < 0,05 | 7,162,87 | 8,002,67 | NS | 6,333,18 | 7,752,88 | < 0,05 |
| A5 | 7,991,29 | 8,011,28 | NS | 7,642,10 | 8,072,00 | NS | 7,052,91 | 7,882,48 | NS | 7,122,74 | 8,062,44 | NS |
| A6 | 6,132,69 | 7,092,01 | NS | 5,973,37 | 7,691,98 | < 0,05 | 3,553,90 | 7,501,98 | < 0,05 | 2,984,04 | 7,461,98 | < 0,05 |
| A7 | 7,271,87 | 7,621,80 | NS | 7,072,13 | 7,462,03 | NS | 4,973,41 | 7,042,41 | < 0,05 | 6,423,22 | 7,852,82 | < 0,05 |
| A8 | 7,231,89 | 7,571,79 | NS | 6,282,36 | 6,982,26 | NS | 5,033,57 | 7,462,58 | < 0,05 | 6,852,29 | 7,432,12 | NS |
| A9 | 4,863,52 | 7,292,02 | < 0,05 | 4,303,87 | 7,641,87 | < 0,05 | 3,613,65 | 6,852,61 | < 0,05 | 6,702,73 | 7,752,43 | < 0,05 |
| A10 | 7,791,60 | 7,901,56 | NS | 6,383,61 | 8,082,31 | < 0,05 | 5,394,06 | 7,882,16 | < 0,05 | 2,524,01 | 8,392,02 | < 0,05 |
| Media | 7,371,14 | 7,831,12 | NS | 6,791,32 | 7,711,22 | < 0,05 | 5,971,91 | 7,661,62 | < 0,05 | 5,851,92 | 7,871,70 | < 0,05 |
ANOVA: NS; con inc.: con incumplimientos; p: significación estadística entre las medias con y sin incumplimientos; sin inc.: sin incumplimientos.
No se evidencian diferencias significativas en la evaluación de la calidad de las tareas formativas (ni del conjunto del portafolio) según el área de salud al que pertenece el residente, tanto si se incluyen como no los incumplimientos. Lo mismo sucede respecto al centro de salud de procedencia.
Descartando del análisis los incumplimientos, la calificación media por actividad está por encima de 7 y la calificación media para el conjunto de los portafolios de los residentes es 7,80 (notable), tal y como se observa en la tabla 3.
DiscusiónConsideramos que los resultados de esta investigación han conseguido cumplir con los objetivos previstos. Así observamos que se ha obtenido una muy aceptable tasa de cumplimiento de cada una de las tareas formativas previstas en el portafolio, se ha evaluado la calidad de las tareas realizadas y se ha establecido la calidad media alcanzada por nuestros residentes por tarea formativa, por portafolio, por promoción, por área a la que están adscritos, y globalmente para todos los residentes.
El estudio pone de manifiesto que los residentes utilizan el portafolio formativo de forma generalizada, a pesar de estar en sus primeros años de implantación este instrumento en la unidad docente.
Consideramos que una media de cumplimiento global de las tareas formativas en un 86,49% es un buen resultado, muy superior al esperado y también superior al obtenido con otros instrumentos formativos que llevan más años en funcionamiento.
Aun con un resultado aceptable, cabe destacar que las tareas formativas que menos se cumplen son: aportar incidentes críticos (67,94%), y haber presentado comunicaciones o publicado artículos científicos (69,47%). Por tanto detectamos 2 oportunidades de mejora importantes en la formación del residente. Respecto a la segunda oportunidad de mejora, para que una investigación sea completa se deben divulgar los resultados obtenidos a la comunidad científica, con las comunicaciones o artículos científicos.
La calidad media global de las tareas formativas, incluyendo los incumplimientos, fue de 6,65, que equivale a un aprobado alto para el conjunto de residentes (y de portafolios).
Si del análisis se excluyen los incumplimientos podemos considerar la calidad media global de la realización de las tareas formativas de los portafolios como muy buena, ya que fue de 7,80, lo que equivale a un notable alto para el conjunto de portafolios (y de residentes). Este hecho se podría justificar porque cuando los residentes no realizan una tarea, probablemente sea debido a que no la conocen adecuadamente y por tanto su formación en ese aspecto es deficiente. Cuando realizan las tareas lo hacen con un nivel de calidad alto. Esto pone de manifiesto la necesidad de potenciar la formación en el conocimiento de las tareas que presentan un mayor incumplimiento.
Podemos decir que desde la implantación del portafolio la cumplimentación ha mejorado para los residentes, pero solo para los R1 (que solo llevan realizándolo 1 año). Paradójicamente, los R3 y R4, a pesar de llevar 3 y 4 años utilizándolo, obtienen peores resultados. Probablemente esto se deba a la mejora de la formación que reciben inicialmente los residentes tras la experiencia adquirida por los docentes de la unidad docente, y la gran repercusión sobre el resultado final de explicar bien y al principio de su periodo formativo cómo se construye y se evalúa nuestro modelo de portafolio formativo. No es muy valorable la influencia del resultado de dar feedback formativo a los residentes tras la evaluación de los portafolios, porque solo se viene haciendo de manera sistemática y programada desde hace 2 años.
En la calidad global de los portafolios de los R4 también puede haber influido que para esa promoción (2007-2011) tenía carácter voluntario, siendo obligatorio su uso en el resto de promociones.
Al descartar los incumplimientos las puntuaciones de las distintas promociones se hacen más elevadas y homogéneas, lo que probablemente se pueda relacionar con que tras varios años implantado estos residentes construyen su portafolio en un entorno en el que está ampliamente difundido y aplicado, por contar con tutores entrenados y sobre todo con residentes mayores que ya lo asumen con naturalidad, que lo utilizan de manera sistemática, y que actúan como referencia y apoyo. Y eso a pesar de que los residentes conocen el peso relativo y globalmente escaso que hasta ahora el portafolio tiene en la calificación final de residencia.
La validez interna podemos considerarla alta, por el número, ya que se ha incluido a toda la población en estudio (todos los residentes), por la sencillez de la metodología empleada y por el entrenamiento previo de los investigadores. No se ha perdido ningún caso (unidad de estudio), por lo que los resultados son plenamente aplicables a dicha población y a nuestra unidad docente.
Los criterios de calidad utilizados para evaluar los portafolios han sido extraídos de la bibliografía existente y basada en las propuestas realizadas y justificadas por la CNE a nivel nacional3,4.
Existe una buena concordancia interobservador tal como se demuestra en el análisis específico realizado en la tabla 5.
Una posible limitación de nuestro trabajo puede estar en el análisis comparativo entre promociones de residentes, debido al menor número de residentes de tercer año respecto al resto de años. Esto se debe a que en dicha promoción no se ocuparon todas las plazas ofertadas en el examen MIR, para nuestra unidad docente.
Respecto a la validez externa podemos considerarla alta ya que existe una gran homogeneidad entre el proceso formativo de los residentes de MF y C, ya que las directrices son propuestas por la CNE que es única para todo el territorio nacional, aunque creemos que su nivel de implantación y aplicación ha sido muy variable dependiendo de las unidades docentes. Creemos que aunque estos resultados no sean totalmente extrapolables para otras unidades docentes de MF y C y/o comunidades autónomas, sí pueden servir como información útil en la aplicación y la evaluación del portafolio en nuestro entorno.
No podemos comparar nuestros resultados con otros trabajos de investigación de nuestro entorno por no haber encontrado ninguno que utilice este método ni una población comparable, aunque nuestro estudio se basa en las propuestas de la CNE, que deber ser conocidas a nivel estatal.
En el estudio realizado los resultados coinciden con los obtenidos en otros estudios citados por Ruiz Moral14, en los que se concluye que para que esta metodología sea aceptada se deben cumplir una serie de premisas como son: la importancia clave de una buena relación tutor-residente, que los tutores estén bien entrenados, y una cuidadosa planificación de su introducción y puesta en marcha. Aspectos que en la Unidad Docente de MF y C de Murcia hemos tenido en cuenta para mejorar su implantación.
Cabe destacar la solicitud que hacen tanto tutores como residentes respecto al formato actual del portafolio de que se mejore, se simplifique para hacerlo más sencillo, más fácil de utilizar y de cumplimentar. Demanda también recogida en otros estudios12,14, señalando además que el portafolio tenga una estructura clara y amigable12,14.
Los resultados del estudio parecen apoyar los obtenidos por otros estudios de nuestro entorno12,14, en el sentido de que este modelo de portafolio es un buen instrumento de evaluación formativa, y además bien aceptado por residentes y tutores.
El presente trabajo demuestra que el esfuerzo realizado por nuestra unidad docente de Murcia y de los tutores que la integran, para una adecuada implementación del portafolio entre los residentes está dando sus frutos.
Como desarrollo futuro en las próximas ediciones del modelo del portafolio formativo en nuestra unidad docente deberíamos incorporar más y mejores tareas formativas, que sirvan para evaluar más fielmente el currículo profesional que deben desarrollar los residentes de MF y C. Se podría aplicar esta metodología en otras unidades docentes para obtener datos comparables y valorar la utilidad y aplicabilidad más generalizada de este tipo de evaluación formativa.
Como conclusiones podemos decir que el cumplimiento global de las tareas previstas en el portafolio por los residentes es muy satisfactorio, ya que la media se acerca al 90%. No obstante, es necesario seguir insistiendo en la correcta realización del portafolio debido a su importancia como instrumento docente, sobre todo en las actividades de peor cumplimiento.
- •
La evaluación constituye el elemento central de todo proceso formativo.
- •
El portafolio es un sistema de evaluación formativa (y de evaluación sumativa) que consiste en la recopilación de la información en distintos formatos con los que el profesional demuestra su desarrollo profesional y la adquisición de un determinado nivel de competencia, que ya existía o que se ha alcanzado durante el proceso de evaluación.
- •
Lo que se evalúa en el portafolio es que se haya aplicado este instrumento en el proceso de aprendizaje del residente, que se haya hecho de forma metodológicamente correcta y los resultados formativos obtenidos.
- •
Los residentes de medicina de familia y comunitaria cumplen de forma satisfactoria las tareas propuestas para portafolio formativo, a pesar de ser un instrumento formativo de reciente introducción.
- •
Es necesario seguir insistiendo en la correcta realización del portafolio debido a su importancia como instrumento docente, sobre todo en las tareas de peor cumplimiento.
- •
La calidad con la que se cumplen las criterios de calidad en las tareas propuestas para el portafolio formativo es adecuada, siendo muy satisfactoria si se excluyen los incumplimientos (tareas formativas no realizadas).
Los autores declaran no tener ningún conflicto de intereses.
A todos los residentes de medicina de familia y a sus tutores de las promociones 2007-2011, 2008-2012, 2009-2013 y 2010-2014, por su colaboración y por cumplir con sus tareas formativas, de supervisión del portafolio y de evaluación.
La Unidad Docente de Medicina de Familia y Comunitaria de Murcia se ha dividido en otras 2 unidades docentes que aquí se mencionan en el lugar de trabajo de los autores, en un proceso que se inició en 2011 y que ha finalizado el 14 de mayo de 2012.
