La recopilación de información a partir del usuario sobre un servicio o producto es esencial para la mejora del mismo. En medicina de urgencias, la pedagogía y supervisión no están sujetas a normativas homogéneas habituales en especialidades reconocidas y por lo tanto, con frecuencia, requieren modificaciones. Nos planteamos, cuál es el mejor método de recopilar la opinión de nuestros residentes: la encuesta retrospectiva anual, utilizada en la actualidad, o la recolección de información inmediatamente después de una guardia, atendiendo a una extrapolación de las técnicas de generación de índices de satisfacción del consumidor.
MétodoEncuestamos a 75 residentes de 4 hospitales distintos preguntando por su grado de acuerdo con 5 enunciados sobre sus guardias, tanto de forma retrospectiva anual como con respecto a la última guardia. Añadimos una pregunta control sobre la comida proveída por la correspondiente cafetería del hospital.
ResultadosEn todas las dimensiones encuestadas, los residentes fueron mucho más críticos cuando hicieron valoraciones retrospectivas que cuando opinaron sobre su guardia más reciente. Al repetir la encuesta en 35 residentes, preguntando por otra guardia de forma puntual, los porcentajes de acuerdo se mantuvieron similares.
ConclusiónNuestros resultados indican que, con el propósito de recoger información sobre supervisión y actividad asistencial en urgencias, la técnica de encuestas retrospectivas tiende a infravalorar la opinión real de los residentes. Estas observaciones coinciden con las recomendaciones universales sobre índices de satisfacción del consumidor y estrategias de corrección de los sesgos de memoria.
Our aim is to determine which way to gather feedback form our residents Is better: an annual retrospective survey which is used nowadays, or to collect information immediately after an emergency ward, given the knowledge gained from the technics of development of customer satisfaction.
MethodA survey was carried out on 75 residents from four different hospitals asking about their level of agreement with five statements related to their emergency wards, both retrospectively during the previous year and their last on-call session. A control question was also including asking their opinion about the meals provided by the hospital dining service.
ResultsIn all the dimensions of the questionnaire, residents were much more critical when they made yearly retrospective assessments than when they asked about their last emergency on-call session. When the survey was repeated among 35 residents asking about another last emergency on-call session, the results remained similar.
ConclusionOur results show that a retrospective survey tends to underestimate the real opinion of residents about their experience during emergency sessions. This observation is coincident with the universal recommendations on user satisfaction index and strategies to avoid memory bias.
La evaluación del residente es un proceso complejo incluido como deber de los dispositivos docentes y que viene recogido como tal en la normativa vigente1-4. La evaluación es una necesidad, además, porque permite garantizar que la progresiva responsabilidad que adquiere un residente se correlacione con competencias adquiridas debidamente acreditadas1,5-7.
Un proceso tan importante como la propia evaluación es la información que el sistema docente recibe del residente y que permite realizar modificaciones para mejorar aspectos específicos del contenido del programa, del sistema de supervisión o de la propia evaluación. El fin último de estas mejoras es siempre garantizar la seguridad del paciente en un ámbito tan delicado como el entorno de la medicina de urgencias8. A este ejercicio de recabar información de parte del residente con el propósito de mejorar la administración de la docencia, le llamamos retroalimentación o feedback9,10.
En el campo de la medicina de urgencias, la falta de un programa formativo homogéneo supone que el correspondiente dispositivo docente elabore contenidos, protocolos de supervisión y criterios de evaluación propios. En estos escenarios, el feedback es fundamental para realizar modificaciones al sistema formativo que contribuyan a mejorar su eficacia. La estrategia más común de feedback es la aplicación de encuestas incluidas en el libro del residente o memoria del residente que pretenden recoger la opinión del residente a lo largo del correspondiente curso lectivo de forma retrospectiva5,10.
No existe ninguna recomendación basada en estudios científicos para realizar un feedback a residentes que han realizado una rotación en urgencias o que desempeñan funciones de atención continuada en un servicio de urgencias. A partir de la extrapolación de las estrategias de feedback para valorar la satisfacción del cliente, podemos observar que la recopilación de información retrospectiva a largo plazo es escasamente recomendada, mientras que lo más útil es realizar valoraciones sucesivas o aleatorias de la opinión inmediatamente después de recibir un producto o un servicio11,12.
Nos planteamos si la metodología retrospectiva anual es la mejor forma de realizar un análisis que conduzca a una oportuna toma de decisiones en relación con la actividad de los residentes en servicios de urgencias o si, por el contrario, la estrategia de recabar información inmediatamente después de una jornada de atención continuada (guardia) podría tener mayor valor.
MétodoA lo largo de un periodo de 30 días se realizaron encuestas a médicos internos residentes de segundo año en las siguientes 24 horas después de una guardia de urgencias. El número total de residentes encuestados fue 90. Los residentes se encontraban realizando sus correspondientes programas de especialización en 4 centros hospitalarios distintos: Hospital Universitario Gregorio Marañón, Hospital Universitario La Paz, Hospital Fundación Jiménez Díaz y Hospital Virgen de la Victoria. El estudio siguió un diseño observacional de tipo trasversal.
Las encuestas se administraron por medio de una plataforma electrónica, de modo que se pudo contestar desde dispositivos móviles. Las encuestas tuvieron 5 preguntas elegidas arbitrariamente por consenso de los autores. Cada pregunta se respondía mediante un grado de acuerdo respecto de un enunciado específico a través de una escala Likert convencional de 5 estratos. Las preguntas pretendían indagar sobre la opinión del residente acerca de los aspectos relacionados específicamente con el flujo de pacientes, supervisión recibida, sensación o percepción de respaldo por parte del supervisor, sensación de seguridad en la toma de decisiones y disponibilidad del supervisor. Se incluyó una sexta pregunta «control» en la que se preguntó por la opinión al respecto de la comida provista por el comedor del correspondiente hospital. La tabla 1 describe las 5 preguntas realizadas y la pregunta control. Cada juego de 6 preguntas se hizo dos veces en la misma encuesta. En el primer juego de preguntas se solicitó una valoración de los últimos 12 meses y en el segundo juego de preguntas se solicitó una valoración solamente de la última guardia (tabla 1). Ningún médico adjunto de los servicios implicados estuvo al tanto de la realización del presente estudio. Ninguno de los investigadores realizó una guardia el día previo a la aplicación de las encuestas.
Contenido de la encuesta distribuida
| Dimensión | Enunciado |
|---|---|
| Primer juego de preguntas: Última guardia | |
| Carga asistencial | La cantidad de pacientes que valoré o atendí a lo largo de la guardia fue idónea |
| Supervisión | La supervisión que tuve a lo largo de la guardia fue idónea |
| Respaldo asistencial | A lo largo de la guardia he percibido una sensación de respaldo por parte del adjunto supervisor |
| Toma de decisiones | Me he sentido seguro al momento de tomar decisiones durante la guardia |
| Disponibilidad del supervisor | El adjunto supervisor ha estado disponible durante la guardia |
| Pregunta control | La calidad de la comida servida en la cafetería ha sido adecuada en la guardia |
| Segundo juego de preguntas: Opinión respecto al último año | |
| Carga asistencial | La cantidad de pacientes que valoré o atendí en las guardias a lo largo del año ha sido idónea |
| Supervisión | La supervisión que tuve a lo largo de las guardias del último año fue idónea |
| Respaldo asistencial | A lo largo de las guardias del último año, he percibido una sensación de respaldo por parte del adjunto supervisor |
| Toma de decisiones | Durante las guardias del último año, me he sentido seguro al momento de tomar decisiones |
| Disponibilidad del supervisor | El adjunto supervisor ha estado disponible durante las guardias del último año |
| Pregunta control | A lo largo del último año, la calidad de la comida servida en la cafetería durante las guardias ha sido adecuada |
El porcentaje de acuerdo se obtuvo de la suma aritmética de las proporciones de respuestas «Parcialmente de acuerdo» y «Completamente de acuerdo».
Todos los residentes encuestados aceptaron voluntariamente participar en el estudio mediante una pregunta de consentimiento incluida en un apartado de aspectos demográficos del encuestado.
ResultadosLa encuesta fue administrada a 90 residentes en un plazo no mayor de 24 horas de la última guardia. Quince encuestas fueron descartadas en tanto que se cumplimentaron fuera de plazo o no se cumplimentaron. La media de edad de los encuestados fue de 26,5 años, con desviación estándar (DE) de 0,5 años. El número de mujeres fue 46 (61,3%). El número de residentes con nacionalidad española fue 66 (88%). Veintidós residentes se encontraban realizando su programa MIR en el Hospital Universitario Gregorio Marañón, 19 en el Hospital Universitario La Paz y 17 en el Hospital Fundación Jiménez Díaz y Hospital Virgen de la Victoria. Ninguno de los residentes encuestados se encontraba realizando una especialidad quirúrgica o de servicios centrales. No hubo diferencias estadísticamente significativas en las características demográficas de los residentes encuestados (datos no mostrados). Treinta y cinco residentes fueron, además, encuestados en una oportunidad adicional tras otra jornada de atención continuada en urgencias.
La proporción de acuerdo con los 5 enunciados (carga asistencial, supervisión, respaldo asistencial, toma de decisiones y disponibilidad del supervisor) fue respectivamente 44, 64, 73,3, 53,3, 74,6 y 65,3% cuando el encuestado valoró la última guardia. Cuando el encuestado valoró las guardias del último año las proporciones de acuerdo fueron 10,6, 14,6, 16, 52 y 18,6%. Con excepción de la proporción de acuerdo en la seguridad al momento de la toma de decisiones, todas las proporciones de acuerdo de la última guardia fueron significativamente mayores que las proporciones de acuerdo respecto de las guardias del último año (p<0,01, en todas las comparaciones, prueba de Chi cuadrado). La pregunta control siguió el mismo patrón: el grado de acuerdo con la idoneidad de la calidad de la comida fue del 65,3% en la valoración puntual y del 2,6% en la valoración anual (fig. 1).
En los 35 residentes que respondieron la encuesta una vez más, la proporción de acuerdo con los enunciados en la valoración puntual fue, respectivamente, 40, 59, 69, 50 y 70%. No hubo diferencias estadísticamente significativas con respecto a la valoración puntual previa. Con excepción de la proporción de acuerdo con la seguridad en la toma de decisiones, existieron diferencias estadísticamente significativas entre esta segunda valoración puntual y la anual. El grado de acuerdo con la pregunta control en esta segunda valoración fue del 65% (p>0,05, prueba de Chi cuadrado) (fig. 2).
Discusión
La medicina de urgencias no es, a fecha de hoy, una especialidad médica. No cuenta, por tanto, con un programa formativo, con objetivos específicos ni generales y tampoco con un sistema de evaluación homogéneo. Como consecuencia de ello, cada unidad docente ha tenido que desarrollar distintas estrategias para protocolizar los objetivos formativos, la evaluación del alcance de dichos objetivos y la aplicación de la normativa que regula la actividad de los residentes en los correspondientes servicios de urgencias. Ante esta variabilidad, se han planteado objetivos comunes en el área de la docencia que podrían servir de base para futuros programas formativos en los que la opinión del residente forma parte elemental5.
En el desarrollo de la actividad de todas las especialidades, la adaptación de sus protocolos docentes es un menester ineludible y que se ejerce a partir de la opinión de los tutores, colaboradores docentes y del aporte de los propios residentes1,4,13. En la medicina de urgencias es comprensible que esta necesidad de adaptación sea muy importante. En este ámbito en particular, la opinión del residente es especialmente importante, dados los documentados argumentos que apuntan que la actividad del residente en las urgencias es altamente exigente y demandante10,14. Conviene revisar, sin embargo, cómo es que se han obtenido estos argumentos.
La opinión retrospectiva semestral y, mucho más, la anual, está sujeta al sesgo selectivo de la memoria de aquello que más recuerda el individuo15. Es natural, por tanto, que al preguntar al residente por su opinión retrospectiva, este tienda a emitir un juicio respecto del peor de sus recuerdos y omita incluir en su valoración el resto de experiencias. El contraste demostrado en este sencillo estudio es la aplicación de conceptos elementales de la obtención de índices de satisfacción que se vienen utilizando desde hace décadas en la toma de decisiones de las empresas.
En la medicina de urgencias, y en particular en la supervisión de la labor de los residentes, la opinión del residente requiere ser atendida y utilizada en la implementación de medidas que redunden en la mayor seguridad de los pacientes a la vez que en una atención de calidad. Sobre ello, existen algunos antecedentes en la literatura científica. En un estudio que valoró la opinión de residentes de último año sobre su actividad como supervisores de residentes de primer año, el 70,7% de los encuestados estuvieron de acuerdo en que la función del feedback era punitiva, mientras que solamente un 14,2% reconoció recibir feedback en cada guardia16. El reconocimiento de la importancia de un feedback inmediatamente después de una evaluación se ha demostrado cuando el evaluado es un residente17 y se ha demostrado su utilidad al menos en términos de la propia opinión del evaluado17,18. El planteamiento de valorar la opinión del residente sobre la supervisión que ha recibido durante una jornada de atención continuada es, hasta donde sabemos, inédito hasta la fecha.
Nuestros resultados permiten extrapolar esa experiencia a la recolección de información para la toma de decisiones en temas relacionados con la docencia y supervisión en la medicina de urgencias. Dado que esta actividad no cuenta con una protocolización propia de una especialidad al uso, creemos que el feedback obtenido de forma puntual es, con diferencia, mucho más útil que el retrospectivo, para la toma de decisiones y elaboración de medidas de enmienda de los protocolos locales vigentes.
Conflicto de interesesLos autores declaran no tener ningún conflicto de intereses.
