La evaluación de la satisfacción con la formación que reciben las personas que están cursando su formación sanitaria especializada bajo el sistema de residencia es, en España, una obligación legal para las instituciones responsables de la misma (Artículo 29.5 del Real Decreto 183/2008 de 8 de febrero, por el que se determinan y clasifican las especialidades en Ciencias de la Salud y se desarrollan determinados aspectos del sistema de formación sanitaria especializada: «5. Las comunidades autónomas, con la finalidad de efectuar el seguimiento de la calidad de la formación especializada, realizarán, a través de los órganos competentes en la materia, una encuesta anual y anónima a todos los residentes que se formen en sus respectivos ámbitos, para comprobar su grado de satisfacción en cuanto a la formación recibida»1). Más allá de eso, conocer a través de encuestas de satisfacción, u otros métodos adecuados, cómo podemos mejorar la formación, es una obligación moral que, en tanto responsables de poner a disposición de la sociedad especialistas autónomos y eficientes, no debemos olvidar.

Sin embargo, no es sencillo diseñar e implementar instrumentos de medida que realmente sean fiables y válidos. Es frecuente en comunicaciones, ponencias, mesas redondas e informes, presentar conclusiones obtenidas con base en cuestionarios que no han sido elaborados siguiendo las pautas necesarias para ello, ni validados estadísticamente, y como consecuencia, quizá, esas conclusiones no sean generalizables e incluso tampoco deban ser creíbles.

Los errores en el diseño de cuestionarios de satisfacción vienen, a menudo, desde el inicio. Si no se tiene claro qué es lo que se quiere medir y en qué colectivo se quiere hacer, difícilmente podremos encontrar las preguntas adecuadas para ello. Lo primero debería ser, entonces, determinar claramente el objeto y el ámbito a evaluar. El siguiente paso consistirá en elaborar preguntas que nos lleven a obtener esa información; preguntas claras, que, inequívocamente, ofrezcan información válida por sí misma y que, en conjunto, conformen un cuestionario que permita obtener conclusiones. Posteriormente, y de manera especial en nuestro ámbito, será crucial elegir el momento del año o del curso en el que se lleva a cabo la campaña de encuestación. Elegir adecuadamente la vía de realización de la encuesta, en función de las características del colectivo cuya satisfacción queremos medir, también es determinante para su éxito. La fase siguiente, esencial, pero muy a menudo no tenida en cuenta, consiste en validar estadísticamente el cuestionario, para obtener la garantía de que la información que obtenemos a través de la muestra encuestada representa al universo que vamos a estudiar. Finalmente, procederemos al análisis de los resultados y a su difusión. Por supuesto, no debemos olvidar que la encuesta se lleva a cabo, en definitiva, para acometer acciones de mejora como resultado de la misma. De los resultados del proceso de evaluación saldrán una serie de medidas a tomar, bien particulares, referidas a un ámbito formativo concreto, o generales sobre el colectivo completo; en cualquier caso, la encuesta requerirá, para ser culminada con éxito, que las personas que son consultadas tengan la percepción de que su participación tiene consecuencias. A lo largo de este camino se hace necesario contar con todos los agentes que, de una manera u otra, intervienen en la formación, incluidos los propios encuestados.

En este artículo de Educación Médica se ofrecen al lector unas explicaciones iniciales y sencillas para elaborar sus propios instrumentos de medida. El marco referencial que utilizaremos será el de la formación sanitaria especializada en España y lo que hemos tenido en mente a la hora de elaborar este pequeño texto, es la encuesta anual que las comunidades autónomas deben realizar a sus residentes. Cada residente será encuestado dos, cuatro o cinco veces a lo largo de la residencia (en función de la duración de su especialidad), por lo que debemos pensar en un cuestionario que se repetirá tantas veces como años dure su formación. La estabilidad del cuestionario, es decir, que se mantengan año tras año tanto las preguntas en sí como el modo de realización, permitirá medir la evolución de los resultados, y contrastar si las medidas correctoras que implementamos como consecuencia del proceso de evaluación, tienen realmente efecto.

Teniendo en cuenta que la organización de la formación sanitaria especializada en España es muy variada en las distintas comunidades autónomas, caben distintas formas de aplicación de la encuesta a residentes. Nosotros vamos a hablar fundamentalmente de dos.

Puede ser una aplicación dirigida, en la que la persona encargada de la aplicación debe estar presente mientras el grupo de encuestados responden por escrito el cuestionario. Tiene varias ventajas: nos aseguramos de un nivel de respuesta alto, facilita la resolución de dudas que puedan tener los encuestados y dispondremos al momento del conjunto de cuestionarios; tiene la importante desventaja de que necesitamos contar con recursos suficientes para acudir presencialmente a todas las unidades docentes, y esto no es fácil de conseguir. Si contamos con medios locales, o sea, personas de las propias unidades docentes que colaboran en el proceso, el residente podría pensar que sus respuestas van a poder ser vistas directamente por el centro. Ante esto, o no contesta o, si lo hace, sus respuestas no tendrán tanto valor. Por otra parte, como los residentes han contestado en papel, hay que transcribir los resultados a la plantilla o aplicación informática en la que se recogen los datos, lo que, con un volumen alto de residentes, es una tarea costosa y no exenta de errores.

La otra forma de aplicar el cuestionario que resulta adecuada para el ámbito de la formación sanitaria especializada es la autoaplicación, en la que no se requiere nuestra presencia. Normalmente tras recibir un correo electrónico los residentes acceden, a través de distintas vías (tableta, móvil, PC) a una página de Internet en la que está alojado el cuestionario, se identifican y lo completan en una o varias sesiones. Deben disponer de un plazo de tiempo suficiente para finalizarlo y enviarlo. Esta forma de aplicación permite que las personas rellenen el cuestionario cuando lo estimen conveniente, incluso en varias sesiones. Como ventaja, además, ofrece a los realizadores del estudio disponer de los datos según los introduce la persona, sin tener que tomarse el trabajo de grabarlos y eliminar así la fuente de error que ello supone. Su mayor inconveniente estriba en el bajo nivel de respuesta que se obtiene. En caso de utilizar esta vía recomendamos que el proceso de encuesta tenga un «lanzamiento» importante entre todos los agentes intervinientes en la formación sanitaria especializada. Se debe enviar un mensaje motivacional (fig. 2) a través de correos electrónicos personalizados, a tutores, jefes de estudio, técnicos de docencia y los propios residentes, comunicando que se inicia el periodo para la encuesta y los plazos para completarla, la importancia que tiene que el máximo número de residentes conteste para poder obtener información relevante que ayude a consolidar aquellos aspectos de la formación que están bien y a determinar las áreas de mejora.

Figura 2.

Correo electrónico enviado a residentes.

(0.96MB).

Por nuestra experiencia recomendamos esta segunda opción, sin embargo, para obtener un número de encuestas suficiente, y que la muestra sea representativa no solo en conjunto, sino de los diversos ámbitos de aplicación: hospitales, unidades docentes, profesiones, especialidades, año de residencia, etc., es necesario insistir en diversos momentos del proceso, tanto a través de los propios residentes como de sus tutores. También hay que tener en cuenta que el nivel de respuesta puede crecer año a año si los residentes ven la utilidad de la encuesta, puesto que se tienen en cuenta sus opiniones (fig. 3).

Figura 3.

Forma de entrada a la encuesta de la Comunidad Autónoma del País Vasco.

(0.39MB).

Sobre la época del curso en la que debe ponerse en marcha el proceso, lo más adecuado, según nuestra experiencia, es en el último trimestre del año de formación. Lanzar el proceso en abril, para tener los datos en mayo (cuatro, cinco o seis semanas para completar la encuesta on line). Llevar a cabo el proceso de validación estadística y de obtención de resultados a lo largo de mayo y junio y, ya en julio, poner los resultados e informes a disposición de los responsables del proceso formativo, las distintas unidades docentes, y los propios residentes, con el fin de que se analicen en los distintos ámbitos y se tomen las medidas oportunas.

El análisis estadístico del cuestionario de los resultados deberá contemplar, como mínimo, los siguientes aspectos: representatividad de la muestra, fiabilidad y validez. Analicemos cada uno de estos puntos.

En cuanto a la representatividad de la muestra se debe contrastar el nivel de ajuste entre la muestra obtenida y el universo (conjunto de los residentes) en aquellas variables que son conocidas. Para ello se debe analizar la distribución de frecuencias entre las variables conocidas del universo y de la muestra (unidad docente, especialidad, año de residencia) y para determinar si las diferencias percibidas son significativas o no hay que realizar una prueba de bondad de ajuste. Esto es importante, pues si de las pruebas realizadas se desprende que la muestra no es representativa del universo, no podremos obtener conclusiones válidas.

La fiabilidad se puede entender como «la consistencia o estabilidad de las medidas cuando el proceso de medición se repite»3. La fiabilidad, como concepto genérico, nos habla de la precisión con la que mide la escala. Así, una escala con una fiabilidad alta dará resultados semejantes en sucesivas aplicaciones de la misma.

La validez hace referencia a si la escala mide lo que pretende medir, en nuestro caso, la escala será válida si mide la satisfacción de los residentes con la formación que están recibiendo a través de las distintas dimensiones en las que ésta se expresa.

Los resultados de nuestra encuesta serán útiles y nos permitirán obtener conclusiones válidas si realmente mide la satisfacción (lo que queremos medir) con un margen de error pequeño. Y esto es importante. Podemos afirmar categóricamente, que no es posible obtener conclusiones de unos resultados que no hayan sido validados estadísticamente. Hay diferentes herramientas estadísticas que nos pueden ayudar en este análisis, en cualquier caso, es un proceso un tanto complejo y si no estamos seguros de poder llevarlo a cabo correctamente, deberemos apoyarnos en manos expertas.

Si todos los pasos anteriores se han llevado a cabo de la manera correcta, obtendremos resultados que nos permitirán tomar decisiones y acometer acciones de mejora en la formación que ofrecemos. Ahora se trata de presentar y difundir los resultados de forma comprensible y digerible. Tanto en su totalidad como, si la muestra lo permite, hospital por hospital, unidad docente por unidad docente y especialidad por especialidad.

Sería deseable ofrecer varios niveles de información. En primer lugar, a nivel macro (comunidad autónoma). Debe elaborarse un informe que recoja tanto la revisión metodológica y estadística, como el estudio de la satisfacción a través de las diferentes dimensiones que se han establecido para el estudio, con conclusiones y recomendaciones. En segundo lugar, un informe similar, pero obviando el análisis estadístico no estrictamente necesario, que se pueda colgar en la página web y que se devuelva a todas las personas que han participado en el proceso, especialmente a los residentes. Finalmente, debe ser posible obtener y enviar a cada unidad docente los resultados de todas las especialidades en las que se forman residentes. Aquí se debe mostrar la puntuación obtenida en cada ítem. Lógicamente, y esto es muy importante, nunca se debe llegar al nivel de desagregación que permita identificar al residente que conteste, por lo que si en una especialidad, en una unidad docente, solo hay un residente, no se debería dar a la misma resultados de esa especialidad. Así podremos conseguir un mayor nivel de respuesta en años posteriores por la confianza que ganamos en el colectivo de residentes. No hay que olvidar que, a veces, a través de las encuestas, sobre todo a través de las preguntas libres de las mismas, podemos llegar a obtener información delicada que tendremos que tratar con cuidado y que puede llevar, tras los oportunos contrastes, a los responsables de las comunidades autónomas a llevar a cabo investigaciones más dirigidas en unidades docentes donde se hayan detectado situaciones especialmente sensibles.

El proceso de valoración de la satisfacción de los residentes debe nacer con vocación de continuidad. Ya hemos comentado anteriormente que es necesaria una estabilidad del cuestionario y del proceso de encuestación, pero eso no quita, que cada año, se revise el proceso, buscando la mejora del mismo a través de los ajustes que sean necesarios. Por otra parte, es necesario revisar si las medidas que hemos tomado para mejorar la docencia o corregir las deficiencias detectadas en el proceso de evaluación han sido eficaces.

Un ejemplo concreto. Diez años de medida de la satisfacción de los residentes de Formación Sanitaria Especializada en la Comunidad Autónoma del País Vasco4

Con la publicación en marzo de 2008 del Real Decreto 183/2008 que regula la formación sanitaria especializada en España, nace la obligación legal para las comunidades autónomas de llevar a cabo, anualmente, una encuesta anónima a sus residentes para comprobar su grado de satisfacción en cuanto a la formación recibida. En la Comunidad Autónoma del País Vasco, el Servicio de Docencia y Desarrollo Profesional, perteneciente a la Dirección de Planificación, Ordenación y Evaluación Sanitarias, del Departamento de Salud, conjuntamente con las jefaturas de estudios de los centros y unidades docentes de la comunidad, diseñó y puso en marcha el proceso de evaluación de la satisfacción a lo largo del curso 2008-2009. En adelante, y sobre la base de los distintos pasos que hemos reflejado anteriormente, hablaremos de la encuesta de residentes a lo largo de los 10 años de vigencia del modelo, hasta su revisión en 2019.

La construcción de la encuesta se inició con la revisión de distintos modelos que ya se venían aplicando en unidades docentes de nuestra comunidad autónoma, en otras comunidades autónomas, e incluso en otros sistemas de salud de países de nuestro entorno. Se diseñó un primer cuestionario con la colaboración de expertos en investigación social que, corregido con la ayuda de los jefes de estudio de la comunidad, se aplicó en forma piloto a un grupo de residentes. La versión final se estructuró en torno a tres dimensiones que pensábamos explicarían la satisfacción del residente con la formación que estaba recibiendo: su tutor (seis preguntas), la unidad docente/centro de salud donde realiza la especialidad (14 preguntas) y el centro hospitalario o unidad docente de medicina familiar y comunitaria (18 preguntas), así como un bloque de 10 preguntas para cada rotación fuera de su unidad docente que se hubiera realizado a lo largo del curso. El cuestionario se mantuvo vigente, salvo pequeños cambios en algunos ítems, a lo largo de los 10 años.

La encuesta se alojaba en una página web y el enlace a la misma se remitió a todos los residentes por correo electrónico. Para asegurar un alto nivel de participación se enviaron, además, comunicaciones a los tutores y unidades docentes. Este proceso se ha desarrollado de esta manera a lo largo de los 10 años de utilización del cuestionario. La participación en el primer año fue del 54,7%, elevada para una encuesta que se rellena vía web y siendo además la primera vez que se llevaba a cabo un proceso de este tipo en nuestra comunidad autónoma. A lo largo de los años la tasa de respuesta fue creciendo hasta alcanzar el 83,2% en 2018 (fig. 4).

Figura 4.

Evolución de la participación de residentes en la encuesta de la Comunidad Autónoma del País Vasco de los años 2009 a 2018.

(0.2MB).

El análisis estadístico realizado anualmente con ayuda de expertos en investigación social nos confirma una muestra fiel reflejo del universo y representativa para las distintas variables (centro/unidad docente, especialidad y año de residencia). En cuanto a la fiabilidad, se puede afirmar que el cuestionario es preciso, aumentando, además, a lo largo de los años, con pequeños cambios en algunos ítems. Para estudiar la validez se utilizó un análisis factorial de componentes principales que no confirma la hipótesis inicial de los tres factores (tutor/tutora, unidad docente/centro de salud, hospital/unidad docente de MFyC) sino que revela la existencia de un esquema de siete dimensiones que se mantiene estable a lo largo de los 10 años de vigencia del cuestionario:

• •

  Organización docente: oferta formativa e investigadora y la organización de la docencia.

• •

  Competencias complementarias: variables relacionadas con la investigación, gestión, manejo de información, medicina basada en la evidencia.

• •

  Competencias interpersonales: variables relacionadas con la comunicación, valores profesionales, éticos, etc.

• •

  Staff: variables relacionadas con las facilidades que ofrece el staff para la adquisición de habilidades clínicas y la supervisión durante la jornada ordinaria y las guardias.

• •

  Sesiones: variables relacionadas con las sesiones clínicas del servicio.

• •

  Asistencia a cursos y congresos fuera del programa formativo (fig. 5).

  
  

  Figura 5.

  Estos siete factores son los que resumen la forma en la que se construye la satisfacción de los residentes que desarrollan su formación en la Comunidad Autónoma del País Vasco.

  (0.11MB).

El peso de cada una de estas dimensiones en la satisfacción global, es decir, la importancia que los residentes dan a cada uno de ellos a la hora de explicar su satisfacción no es el mismo. Año tras año han sido el staff, es decir, los profesionales de los que directamente aprende el residente, y la organización docente, los factores que más pesan en la satisfacción, y la asistencia a cursos y congresos, el que menos. Todos los factores obtienen habitualmente un grado de satisfacción elevado y este ha ido creciendo a lo largo de los años, pero es el tutor el que se ha situado siempre como el que más alto ha puntuado, así como el staff. También existe otro hecho determinante para explicar la satisfacción de los residentes y es el hecho de que tengan un Plan Individual de Formación (en realidad todos los residentes lo tienen, pero a veces lo que falla es que no saben que lo tienen) y que este plan se cumpla.

En 2019, tras 10 años de encuesta se llevó a cabo un profundo proceso de revisión de la misma que culminó en un nuevo cuestionario, con tres variantes, para recoger mejor las características de distintos colectivos de residentes. Los procesos de aplicación, análisis estadístico, obtención de resultados, difusión de los mismos y toma de decisiones como consecuencia de la encuesta, siguen realizándose de la misma manera.

El proceso de medida de la satisfacción de los residentes en la Comunidad Autónoma del País Vasco está bien valorado tanto por los propios residentes como por los responsables de la formación (administración, centros y unidades docentes, tutores). El nivel de participación alcanzado y mantenido es realmente elevado y el rigor de su estudio asegura que las conclusiones que se obtienen son válidas y aprovechables. Lógicamente el proceso en sí puede mejorar y debe completarse con la evaluación de otros colectivos (tutores) (fig. 6).

Figura 6.

Encuesta 2018. Ejemplo de cómo se devuelve la información a una unidad docente.

(1.3MB).

La encuesta a residentes es un medio adecuado para valorar la satisfacción con la formación que están recibiendo y encontrar áreas de mejora. La encuesta no mide la calidad de la formación, pero es un instrumento para poder mejorarla.

Para construir una buena encuesta es necesario que participen en su elaboración todos los agentes que intervienen en el proceso formativo: administración, jefaturas de estudio, técnicos de docencia, tutores, y por supuesto, los residentes.

No se puede elaborar un buen cuestionario si antes no se han establecido los objetivos del proceso de evaluación de la satisfacción y las dimensiones que queremos medir.

Existen una serie de reglas técnicas, que debemos tener en cuenta, para elaborar las preguntas y construir el cuestionario.

La forma de aplicación de la encuesta es importante. En este ámbito, la aplicación autodirigida vía página web es la más usual, pero requiere insistir a los destinatarios, hasta un punto razonable, para conseguir un alto nivel de participación y lograr una muestra representativa que permita obtener conclusiones generalizables a todo el colectivo y a las diferentes desagregaciones (unidades docentes, hospitales, especialidades).

No cabe pensar en una encuesta que no tenga una validación estadística. Es necesario asegurarnos de que la muestra es representativa, de que el cuestionario es fiable (preciso) y de que es válido, o sea, que mide lo que queremos medir. Para este proceso nos apoyaremos, si es necesario, en personas expertas. Si este análisis no se lleva a cabo, tendremos que ser cautelosos con las conclusiones que saquemos de los resultados.

Los resultados de la encuesta deben ser comunicados a todos los agentes intervinientes en el proceso. Sin embargo, es necesario asegurar la confidencialidad, por lo que no se puede facilitar a las unidades docentes información que permita identificar a los residentes que han contestado.

El proceso de evaluación de la satisfacción no se puede quedar en una mera obtención de resultados. Como consecuencia del mismo deben generarse acciones de mejora.

Como todos los procesos, la medición de la satisfacción, sus instrumentos y aplicación deben ser revisados y mejorados.