Presentamos, mediante un estudio descriptivo, nuestra experiencia con una herramienta de evaluación de la actividad de médicos internos residentes en los servicios de urgencias durante las jornadas de atención continuada, coloquialmente conocidas como «guardias». Nuestra herramienta fue desarrollada en el 2015 y cuenta, en la actualidad, con una experiencia acumulada de 3 años y 1.497 registros. Describimos el proceso de evolución de la herramienta, su aplicación a lo largo de los últimos 3 años y un análisis de correlación con el sistema clásico de evaluación de residentes. Creemos que nuestra herramienta aporta ventajas respecto del sistema clásico de evaluación (por ser multievaluador, tener un carácter documentable y ser prospectiva), y que satisface las recomendaciones consensuadas y al reclamo de nuestros propios médicos residentes.
A descriptive study of our experience with a tool for evaluating the activity of Internal Resident Physicians in the emergency departments during their corresponding on-call periods. The tool was developed in 2015 and has, at present, an accumulated experience of three years and 1,497 records. The evolution process of the tool is presented along with a summary of its application over the last three years. It is believed that the present tool provides advantages over the classical evaluation system (because it is multi-evaluative, has a documentable nature and is prospective) and that it satisfies the consensus recommendations and the approval of our own resident doctors.
La evaluación de los médicos internos residentes (MIR) a lo largo del recorrido de su programa formativo es una labor fundamental que todos los dispositivos docentes están obligados a realizar al menos de forma anual, según lo recoge la normativa vigente1. Esta misma normativa y la opinión de múltiples expertos coinciden en establecer que la evaluación anual debe incluir la valoración de los correspondientes tutores2,3. Un interés especial tiene la evaluación del MIR durante su actividad en las urgencias hospitalarias por dos características especiales. En primer lugar, la no existencia de una especialidad reconocida de medicina de urgencias convierte a todos los residentes en rotantes externos a lo largo de todo el tiempo que estos lleven a cabo su actividad en estas unidades. Esta condición exige que todos los cuerpos docentes de los servicios de urgencias elaboren programas formativos y protocolos de supervisión adaptados a sus correspondientes logísticas con el inconveniente de heterogeneidad que esto supone entre distintos servicios4-8. En segundo lugar, hay que tener presente que las urgencias hospitalarias son puntos críticos en los que la seguridad del paciente debe anteponerse a cualquier iniciativa docente, por lo que la supervisión de los residentes con menos experiencia debe ser cuidadosa y pormenorizada9,10. Esto exige que la evaluación que deban superar los residentes para hacerse con mayores grados de responsabilidad —y por tanto menor necesidad de supervisión— deba ser óptima y segura.
El papel que los MIR tienen dentro de un servicio de urgencias se puede dividir en dos situaciones diferentes: la rotación en el servicio de urgencias y la actividad durante las jornadas de atención continuada (JAC), conocidas como guardias de urgencias. Las rotaciones en los servicios de urgencias no forman parte de todos los programas formativos de los MIR y el periodo de duración no es uniforme11. Como otras rotaciones, se realiza por la mañana y goza de un nivel de supervisión alto. Las guardias de urgencia se realizan a lo largo de uno a 5 años, en función de la especialidad, y el grado de supervisión está sujeto a la experiencia que tiene el MIR y condicionado a superar las evaluaciones anuales1.
La relación entre los servicios de urgencias y los MIR es compleja: por un lado se entiende como formativa, sin embargo, no deja de ser asistencial12. Contrario a la opinión general, no está demostrado que su actividad sustituya carencias asistenciales, sin embargo, la carga de trabajo que estas guardias suponen ha merecido la atención de múltiples estudios de investigación nacionales e internacionales12-14.
Durante el primer encuentro de tutores y colaboradores docentes de urgencias celebrado en 2015, se determinaron las características de un sistema de evaluación ideal: llevado a cabo por varios evaluadores —tantos como sea posible—, desarrollado a lo largo del tiempo, en contraposición con la evaluación tradicional de fin de rotación o de final de año, documentable, objetivo y sencillo de realizar y analizar15.
En el año 2015, nuestro servicio de urgencias puso en marcha una iniciativa sin precedente conocido en el campo de la evaluación de residentes consistente en un sistema de evaluación orientado a satisfacer estas características ideales. El propósito del presente estudio es describir nuestra experiencia a lo largo de los cursos 2015-2016, 2016-2017 y 2017-2018 utilizando esta herramienta.
MétodoEl presente es un estudio de tipo descriptivo en el que se da cuenta del proceso de elaboración, desarrollo, puesta en marcha y evolución de nuestra herramienta de evaluación a lo largo de 3 periodos lectivos. Incluimos resultados de una prueba de equivalencia con el sistema tradicional de evaluación que utilizábamos previamente en nuestro centro.
Para la realización del presente estudio, los autores no han recibido financiación externa de ningún tipo.
Desarrollo de la herramientaEl objetivo de la herramienta fue el de registrar guardia a guardia una evaluación puntual del residente, documentarla y analizarla junto con las que se fueran generando. A lo largo de los años 2013 y 2014 se probó el funcionamiento piloto de una encuesta estructurada para ser cumplimentada por los adjuntos supervisores de residentes de primer año, inmediatamente después de una guardia. A partir de esta experiencia preliminar y de las observaciones de los evaluadores elaboramos la primera versión de la herramienta, que consistió en un formulario en papel en el que se consignaban tres apartados claramente distinguibles: identificación del residente, aspectos relacionados con la actitud durante la jornada de trabajo y aspectos relacionados con las competencias demostradas. La denominación de la herramienta fue «Fichas de evaluación de jornadas de formación continuada» o fichas JAC. Cada formulario debía ser cumplimentado por el supervisor del residente y puesto a disposición del equipo de tutores del servicio para su correspondiente registro electrónico en una base de datos. La cumplimentación de este formulario requería aproximadamente 5 minutos. Aunque tenía un espacio para comentarios libres, todas las valoraciones se respondían a través de un dato numérico ordinal ascendente que correspondía a un grado de acuerdo con los enunciados propuestos (escala de valoración Likert). Así, la ficha arrojaba dos puntuaciones obtenidas a partir de la mediana de las dos valoraciones realizadas (se evitó el uso de medias aritméticas debido al carácter ordinal de las opciones de respuesta). Los contenidos del formulario se elaboraron a partir de la ficha de evaluación de rotación que nuestra unidad de docencia distribuía a todos los servicios por los que rotaban residentes. El formulario no se modificó a lo largo del primer año lectivo. No existía obligatoriedad por parte de los facultativos supervisores de realizar la cumplimentación del formulario en todas las guardias, sin embargo, la jefatura del servicio recomendó su realización tantas veces como fuera posible. Dadas las características de nuestro servicio, solamente se llenaron fichas JAC de residentes de primer año. Tres meses antes del término del año lectivo se realizó un análisis de las fichas JAC y se formalizó una entrevista con 6 residentes cuyos resultados se encontraron en el percentil 25.
En el curso 2016-2017, se trasladó la herramienta en papel a un formulario electrónico a través de la plataforma Google Forms® que permitió distribuir la ficha JAC por medio de una aplicación informática instalable como página web en cualquier plataforma de teléfono inteligente (iOS o Android). El formulario pasó desde entonces a su versión electrónica (denominada desde entonces ficha e-JAC). Se mantuvieron las tres partes originales y se realizaron dos modificaciones: las respuestas dejaron de tener carácter ordinal y pasaron a tener carácter numérico. Esto permitió solicitar al evaluador una puntuación sobre los correspondientes aspectos a valorar a diferencia de la ficha previa en la que se solicitaba un grado de acuerdo. Como resultado de esta modificación se pudieron calcular medias aritméticas de las puntuaciones alcanzadas. Se añadió la posibilidad de responder «no aplica» a ciertas preguntas en las que se estimó que según el tiempo transcurrido desde la incorporación al sistema MIR pudieran no ser susceptibles de ser evaluadas. Dos ejemplos de ello son la valoración del plan terapéutico o la interpretación de los resultados de pruebas complementarias. La cumplimentación de este formulario tomaba menos de 3 minutos y el campo de texto libre permitía incorporar cualquier comentario que el evaluador quisiera transmitir al cuerpo docente del servicio. La ficha e-JAC tampoco tuvo carácter obligatorio. Su análisis se realizaba cada 3 meses y los resultados se distribuían directamente, a partir de la base de datos, a los responsables docentes del servicio y la coordinación.
Consideraciones éticasEn este estudio no se realizaron consultas a registros médicos ni se utilizaron datos de pacientes. El contenido del presente estudio se basa fundamentalmente en los registros de evaluación de residentes elaborados en el seno del grupo de trabajo de docencia y formación continuada de nuestro servicio de urgencias. Ninguno de los análisis realizados en el presente estudio incluyó información identificativa de los residentes evaluados. Todos los autores son —a su vez— responsables docentes de nuestro centro, por lo que se garantiza que ningún agente no vinculado con la tutorización de residentes tuvo contacto con los datos procedentes de los registros. Finalmente, los autores dejan constancia de que los datos utilizados para los análisis del presente estudio son los mismos que se utilizan para la elaboración de informes anuales de evaluación y por lo tanto son de manejo habitual, tanto por los responsables docentes (tutores) como por la unidad docente local, y accesibles y consultables por los propios residentes.
La última versión de la ficha e-JAC se elaboró para el curso 2017-2018. Esta versión mantuvo las tres partes distinguibles de las dos versiones previas. Incluyó además una puntuación global del 0 al 10, que se solicitaba al evaluador con el propósito de emitir una valoración consolidada de la actividad durante la guardia. Además de esta modificación, esta ficha e-JAC implementó dos cambios adicionales mayores: por un lado, se abrió a la evaluación de residentes de segundo y tercer año; y, por otro lado, tuvo un carácter dinámico e inteligente a lo largo del año. Esto es, que las preguntas realizadas al evaluador se ajustaron al trimestre en curso teniendo en cuenta la experiencia que pudiera tener el residente de primer año. Esta versión de la ficha e-JAC incorporó un aspecto adicional a su interpretación: si bien se mantuvo la expresión de puntuaciones mediante una media aritmética, el sistema se modificó de forma que indicara alarmas cuando una valoración puntual fuera especialmente baja, independientemente del resultado global de las medias aritméticas. La tabla 1 resume los contenidos de la ficha JAC a lo largo de los 3 periodos de observación. Para acceder a una ficha e-JAC elaborada y correspondiente a la versión de evaluación del segundo trimestre del año académico, y para ejemplificar su funcionamiento sin afectar la base de datos original, se puede hacer uso del siguiente enlace https://goo.gl/forms/Mayb6Dg07xUMgo9g1.
Descripción evolutiva de las fichas JAC/e-JAC a lo largo de los 3 periodos de uso hasta la actualidad
| 2015-2016Ficha JAC | 2016-2017Ficha e-JAC | 2017-2018Ficha e-JAC | |
|---|---|---|---|
| Identificación | Nombre y especialidad | Nombre y especialidad | Nombre, especialidad y año de residencia |
| Tipo de guardia | Fin de semana/entre semana | — | — |
| Identificación del evaluador | Ausente en los primeros 3 meses | Presente | Presente |
| Ámbito de actitudes | Responsabilidad, dedicación, organización y trabajo en equipo | Responsabilidad, dedicación, organización, trabajo en equipo, control del estrés y comunicación | Responsabilidad, dedicación, organización, trabajo en equipo, control del estrés, uso racional de recursos y comunicación |
| Ámbito de competencias | Confección de historia clínica, solicitud de pruebas complementarias, elaboración de plan de trabajo | Confección de historia clínica, elaboración de plan diagnóstico, órdenes de tratamiento preliminares, interpretación de pruebas complementarias e indicaciones terapéuticas | Mismas competencias del periodo 2016-2017 adaptadas al tiempo desde la incorporación |
| Valoración global | — | Numérica | Numérica |
| Comentarios | Texto libre | Texto libre | Texto libre |
La ficha JAC del periodo 2015-2016 exigía la inclusión de la información de los formularios en papel en la base de datos en formato Excel®. En los periodos 2016-2017 y 2017-2018, la información procedente de los dispositivos móviles a través de la aplicación Google Form® se depositaba directamente en la base de datos. En el primer periodo, los informes se elaboraron a demanda de los tutores y en marzo del 2016 se efectuó el primer análisis global. En los dos periodos siguientes los análisis se hicieron cada 2 meses y se distribuyeron al cuerpo docente del servicio para su consideración.
Los informes contienen datos globales de tres ámbitos: índice de cumplimentación de fichas, resumen de resultado de actitudes y resumen de resultado de competencias. Los residentes con evaluaciones interpretadas como negativas fueron notificados previa citación y durante una entrevista con el correspondiente tutor y resto de miembros del cuerpo docente del servicio.
EstadísticaPara la validación de los resultados de las evaluaciones JAC se realizó un estudio comparativo de correlación kappa. Para ello, se eligieron los registros JAC de 30 residentes al azar del periodo 2016-2017. Un grupo de 8 tutores de urgencias evaluó retrospectivamente a dichos residentes utilizando como única referencia su identidad. Los tutores tuvieron que emitir un juicio de valor numérico así como una valoración global de apto o no apto.
ResultadosMultiplicando el número de puestos de residentes de primer año por el número de guardias programadas a lo largo de los 3 años, la tasa de fichas JAC o e-JAC cumplimentadas en todo el periodo de la observación fue de 1.497, que representa el 22,7% de todas las potenciales valoraciones posibles. La totalidad de los residentes que realizaron guardias en urgencias en los 3 periodos de observación fueron evaluados. La media del número de evaluaciones fue de 3,99 por residente, con un rango de entre 1 y 18. La figura 1 muestra la distribución del número de fichas JAC por número de residentes.
En los 3 periodos de observación, en el primer y el penúltimo bimestre del año (junio-julio y febrero-marzo) se registraron los más altos volúmenes de fichas JAC o e-JAC cumplimentadas. En el primer periodo se cumplimentaron 443 fichas, en el segundo periodo 506 y en el tercer periodo 548. La más alta tasa de cumplimentación de fichas se produjo en el primer bimestre del periodo 2017-2018 (31,5%), y la más baja en el tercer bimestre del periodo 2015-2016 (17%). La figura 2 muestra la distribución de la tasa de cumplimentación de fichas a lo largo de los 6 bimestres de los 3 periodos anuales.
En el periodo 2015-2016 la proporción de valoraciones interpretadas como negativas siguió un orden decreciente bimestre a bimestre, tanto en el ámbito de actitudes como de competencias. En el periodo 2016-2017 la proporción de valoraciones inferiores a 5,0 siguió la misma tendencia en el ámbito de las competencias mas no en el caso de las actitudes, que se mantuvieron homogéneas a lo largo del tiempo. En el periodo 2017-2018, el ámbito de competencias mostró una tendencia descendente a lo largo del tiempo. La figura 3 sintetiza la evolución de evaluaciones negativas a lo largo de los periodos observados.
El promedio aritmético de las valoraciones e-JAC de los 30 residentes aleatoriamente seleccionados fue de 6,82±1,25 en el apartado de actitudes y 6,85±0,77 en el de competencias. La mediana de las valoraciones realizadas por los 8 tutores fue de 7 en ambos aspectos (todos los tutores utilizaron valoraciones expresadas en números enteros). El promedio de las diferencias absolutas de la valoración de actitudes y competencias, expresadas en términos porcentuales, de cada uno de los residentes evaluados por el sistema JAC y el sistema clásico fue de 5,3 y 4,9%, respectivamente. La concordancia entre las condiciones de suspenso y apto de los 30 residentes fue del 100%.
La figura 4 muestra detalladamente los resultados de las valoraciones e-JAC de los 30 residentes seleccionados aleatoriamente y del consenso de tutores.
Discusión
La evaluación de residentes es una tarea de alta relevancia e irrenunciable que debe llevarse a cabo al menos anualmente. En el caso de la medicina de urgencias, la evaluación otorga además una constancia, una garantía de que el personal en formación puede acceder a progresivos niveles de responsabilidad9,10. No existe una regulación específica para la elaboración de protocolos docentes en urgencias y tampoco para el desarrollo de estrategias de evaluación.
Recientemente, un consenso de tutores de urgencias de nuestro medio elaboró recomendaciones para la confección de un sistema ideal de evaluación de residentes en urgencias15. Las características que consiguieron mayor consenso entre los panelistas fueron: multievaluador, documentable, analizable y prospectiva; todo ello en contraposición con la evaluación a cargo de un único evaluador, basada en valoraciones subjetivas y retrospectiva anual o al final de la rotación.
En una encuesta de ámbito nacional realizada en 38 hospitales españoles11, los residentes expresaron mayoritariamente preferir un sistema de evaluación de su actividad en urgencias con las mismas características y subrayaron la importancia de que dicha evaluación tenga una repercusión curricular posterior.
Las fichas JAC cumplen con las demandas realizadas por los propios residentes en materia de evaluación y por las recomendaciones señaladas y se ajustan a las características de una evaluación ideal planteadas por los tutores15. La objetividad, sin embargo, sigue siendo una característica que los actuales sistemas de evaluación —incluida la ficha e-JAC— no son capaces de cumplir. Desde nuestro punto de vista, esto se debe a que muchas de las valoraciones son difícilmente susceptibles de evaluación por medio de medidas numéricas comparables (responsabilidad, iniciativa, implicación, trabajo en equipo) y en ellas el error interobservador solamente puede ser superado utilizando medias de un amplio número de evaluadores. El uso de exámenes, en un número suficiente, también contribuye a la objetividad a expensas de la demanda de tiempo que exigen. Otros medios de valoración objetiva pueden ser el alcanzar un número determinado de guardias realizadas, de procedimientos específicos completados, de publicaciones o comunicaciones científicas elaboradas o de ponencias presentadas. Como en otros aspectos, en ausencia de una normativa homogénea de evaluación de competencias y destrezas, cada dispositivo docente elabora sus propias estrategias en función de sus capacidades y puede implementar mayor participación de la objetividad en la evaluación integral del residente, junto con otros instrumentos como el que presentamos.
Otra limitación remarcable radica en su no obligatoriedad de cumplimentación. El carácter voluntario ha limitado las evaluaciones a un cuarto del potencial volumen. A lo largo de los ejercicios docentes más recientes, la proporción se ha elevado notoriamente, probablemente gracias a la utilidad que se le ha venido dando en nuestro servicio. La falta de una valoración del 100% de las guardias no ha evitado disponer de material suficiente para la emisión de informes y la puesta en marcha de medidas ante la detección de evaluaciones con desviaciones significativas respecto del grueso de residentes. Finalmente, es de destacar que la herramienta no contempla la valoración directa de la adquisición de competencias indispensables en cada nivel de responsabilidad mediante el formato de rúbrica. Esta limitación ha de ser la base del planteamiento de futuras versiones de la herramienta.
Se ha observado que la proporción de fichas cumplimentadas tiene un pico al principio del año lectivo y en el penúltimo bimestre. Entendemos que la iniciativa de cumplimentar una ficha JAC se basa en la necesidad de expresar una evaluación, especialmente cuando esta es negativa. La complejidad y el tiempo necesario para cumplimentar cada ficha probablemente influyen negativamente en la iniciativa de rellenarla. Entendemos, por tanto, que la natural inexperiencia de los residentes al principio del año lectivo influye en el primer pico de volumen de fichas cumplimentadas. El segundo pico se produce, probablemente, por la cercanía al periodo de evaluación, en el que —con toda probabilidad— los tutores insisten en pedir que se cumplimenten.
La modificación realizada en la última versión de la herramienta y aplicada desde 2017 y hasta la actualidad, consistente en la adaptación de los apartados de la evaluación al periodo a evaluar, tendió a homogenizar los resultados del ámbito de competencias a lo largo del año, teniendo mucho menor efecto en la valoración de las actitudes.
En la actualidad, nuestra herramienta permite realizar evaluaciones prospectivas a lo largo de todo el año. El azar determina quién evaluará al residente a lo largo de la guardia. Cada evaluación toma actualmente no más de 3 minutos y la información pasa directamente a una base de datos que se analiza cada 2 meses. Dado que la concordancia con el método clásico es muy satisfactoria, entendemos que la herramienta aporta ventajas considerables respecto de dicho método. Nuestro propósito, a futuro, es conseguir un número de fichas e-JAC del 75% de todas las guardias realizadas por un residente e incorporar un sistema de contabilidad de procedimientos realizados durante la guardia. Finalmente, en la última versión de la ficha se incorporará un apartado para residentes en periodo de recuperación por una evaluación final negativa.
Conflicto de interesesLos autores declaran no tener ningún conflicto de intereses.
A todos los miembros del grupo de docencia y formación continuada de nuestro servicio de urgencias: Adela Braña, Ángela Trueba, David de la Rosa, Diana Salor, Elena Machín, María Hernández, Noiva Díaz y Nuria Pérez. A todos los evaluadores que participaron en la cumplimentación de las fichas JAC/e-JAC: Alina Botenau, Audrey Morales, Celia Ferro, César Carballo, Deysi Barrios, Estefanía Pérez, Javier Marcos, Jonathan Grandío, José María Mazarico, José Ramón País, Julieta Zlatkes, Leonard Roman, Luis Díaz, Magdalena Muedra, María Carpena, Mariano Aguado, Mario Sánchez, Marta Najarro, Moisés Alonso, Nuria García, Paloma Molina, Patricia Alva, Rayna Ramirez, Sara Rodrigo, Susana Pérez, William Blanco y Yolanda Aranda.
