Las organizaciones sanitarias invierten recursos importantes en la formación continuada de sus profesionales para desarrollar su capacitación y así mejorar la atención a los pacientes.
Existen numerosos trabajos que abordan estrategias de aprendizaje efectivas y modelos de evaluación de la formación. Sin embargo, la medición del impacto formativo es poco habitual.
Se analiza el impacto de una formación a los referentes de calidad sanitaria de los centros asistenciales (CAS) de una mutua laboral para el desarrollo de la competencia clínica en calidad sanitaria.
MétodosEstudio cuasi-experimental antes/después. Se realizó un test de 15 preguntas a los referentes de CAS, antes y después de la sesión formativa. Un mes después se envió un cuestionario a los CAS formados y a sus responsables de gestión (DUG), acerca del impacto del curso en su trabajo cotidiano.
ResultadosEl porcentaje de mejora en conocimientos fue del 15%; alrededor del 75% de los CAS y el 50% de los DUG, percibieron impactos positivos, tanto en la aplicación de los nuevos conocimientos como en la modificación de prácticas.
ConclusiónEs preciso mantener la inversión en formación dado que mejora el nivel de conocimientos de los profesionales, quienes además la aplican en el ejercicio profesional.
Healthcare organizations invest significant resources in the continuing education of their professionals to develop their skills and thus improve patient care.
Numerous papers address effective learning strategies and training evaluation models, however, measuring training impact is rare.
This paper analyses the training impact for healthcare quality representatives (CAS) of a mutual insurance company on the development of clinical competence in healthcare quality.
MethodsQuasi-experimental pre/after study: a 15-question test was given to healthcare quality representatives (CAS) before and after the training session. A month later, a questionnaire was sent to the trained CAS and their managers (DUG) about the impact of the course on their daily work.
ResultsThe percentage of improvement in knowledge was 15%, also around 75% of the CAS and 50% of the DUG perceived positive impacts, both in the application of new knowledge and in the modification of practices.
ConclusionInvestment in training must be maintained as it improves the level of knowledge of professionals and they also apply it in their professional practice.
El informe To Err is Human: Building a Safer Health System del Institute of Medicine de EE. UU., provocó un impulso sin precedentes sobre la seguridad del paciente como base de la calidad asistencial1. Las nuevas tecnologías y tratamientos mejoran el pronóstico de los pacientes, pero también aumentan los riesgos2.
La formación de los profesionales es una herramienta esencial para transformar la cultura de seguridad, y así promover una práctica clínica más segura3, con nuevos modelos de entrenamiento que favorezcan la calidad en la atención4, utilicen la transformación digital5 y mantengan un personal altamente cualificado6.
La formación continuada responde al avance permanente del conocimiento y necesidades del sistema7. Existen diversos trabajos que abordan estrategias de aprendizaje efectivas sobre seguridad del paciente y otras materias del ámbito sanitario8-11.
La efectividad de la formación no solo es la transferencia de conocimiento sino también que el profesional lo aplique en su práctica diaria, lo que compromete a revisar la formación mediante alguna de las modalidades de evaluación existentes12.
Si bien es abundante la literatura sobre metodología e instrumentos formativos, no ocurre así con la bibliografía de evaluación del impacto. Algunos autores proponen un Índice de Evaluabilidad que prevé en qué grado puede evaluarse el impacto organizacional de un programa formativo13. Hace años que se detecta esa falta de estudios de impacto en la formación en atención primaria, atribuyéndose a la falta de financiación, por no ser de interés general y carecer del rigor suficiente14.
Se constata que todos los métodos de evaluación muestran fallos, por lo que hay que utilizar métodos distintos para compensar las deficiencias de cada uno15. Los modelos Kirkpatrick y Miller son los más relevantes en evaluación de la formación en ciencias de la salud16. También se han desarrollado instrumentos de evaluación validados17,18. Destaca el ambiente de aprendizaje como elemento clave en la medida que favorece la conducta del aprendiz19.
La satisfacción es una dimensión clave en el proceso de evaluación20. Un estudio centrado en residentes de Reumatología midió la satisfacción de su periodo formativo mediante una encuesta, con más de la mitad satisfechos de su formación21. Otro trabajo mediante encuestas estableció áreas susceptibles de mejora en los programas postgrado MIR22. Es imprescindible la evaluación periódica de la formación23, así como la de valores y competencias del ejercicio profesional24.
En nuestra organización, la formación en calidad asistencial se enmarca en los Planes de Calidad Sanitaria (PCS)25, dicha formación se imparte mediante cursos online, streaming y presenciales. El objetivo del estudio es determinar el impacto de la sesión formativa presencial en los profesionales asistentes, tanto en conocimientos como en modificación de la práctica clínica, así como la influencia de distintas variables descriptivas de las sesiones.
Material y métodosDiseño y fuentesEs un estudio cuasi-experimental antes-después del curso formativo de cinco horas de duración, con un bloque teórico y otro práctico.
Se utilizaron tres tipos de fuentes de información: 1) el test de conocimientos previo (PRE) y posterior (POST), 2) el cuestionario de valoración del impacto dirigido a los referentes de calidad sanitaria de los centros asistenciales (CAS) y a sus directores de gestión (DUG) y 3) el de características de las sesiones (Anexos 1 y 2).
El test constaba de 15 preguntas con cuatro respuestas alternativas sobre cinco bloques formativos y fue distribuido en enero (PRE) y febrero (POST) de 2019. La encuesta de valoración de impacto constaba de dos preguntas con respuesta binaria, distribuida en marzo de 2019.
Se consideraron 87 referentes de calidad sanitaria (CAS) de MC Mutual y 39 DUG, responsables de gestión de los CAS. Las siete sesiones se realizaron durante febrero de 2019 en cinco ciudades españolas (Barcelona, Madrid, Bilbao, Valencia y Sevilla).
VariablesLas variables dependientes del estudio fueron la mejora de conocimientos sobre calidad sanitaria y la valoración del impacto, en opinión de los CAS y de sus DUG responsables.
La variable explicativa principal eran las características de la sesión, con el número de asistentes (tamaño del grupo), su tipología profesional (sintetizada en la dosis formativa que ponderaba la formación pregrado de los asistentes: médicos con valor 3, enfermeros con valor 2 y fisioterapeutas con valor 1), la opinión de los asistentes y del equipo docente.
Análisis estadísticoSe realizó un análisis descriptivo de los valores, también de las diferencias de medias post y pre intervención formativa, mediante la t de Student, así como su intervalo de confianza al 95%. No se pudieron identificar a los mismos individuos antes y después por cuestiones de confidencialidad.
Se valoró la relación bivariada entre el cambio en el grado de conocimientos adquiridos y las variables independientes. También se estudiaron las relaciones bivariadas entre las opiniones de los CAS y los DUG, mediante un diagrama de dispersión que incluyó una regresión LOESS (local regression)26.
ResultadosLos CAS se agruparon en las siete sesiones, 87 en la fase PRE y 86 POST (tabla 1) y para los bloques formativos (tabla 2).
Diferencias entre los grupos PRE y POST por puntuación del test
| Fase pre-formación | Fase post-formación | ||||||||
|---|---|---|---|---|---|---|---|---|---|
| n | X¯Pre | CV | n | X¯Post | CV | X¯Post - X¯Pre | (IC 95%) | p | |
| Ciudad | |||||||||
| Barcelona 1 | 10 | 6,3 | 11% | 14 | 6,1 | 18% | -0,2 | (-1,0 a 0,6) | 0,590 |
| Bilbao | 6 | 6 | 8% | 6 | 7,8 | 16% | 1,8 | (0,5 a 3,1) | 0,016 |
| Madrid 1 | 11 | 6,9 | 7% | 11 | 7,3 | 15% | 0,4 | (-0,4 a 1,2) | 0,277 |
| Madrid 2 | 5 | 6,8 | 8% | 10 | 7,5 | 13% | 0,7 | (-0,2 a 1,6) | 0,099 |
| Valencia | 5 | 5,8 | 10% | 10 | 7 | 19% | 1,2 | (0,1 a 2,3) | 0,029 |
| Sevilla | 8 | 5,8 | 11% | 12 | 6,6 | 16% | 0,8 | (0,0 a 1,6) | 0,049 |
| Barcelona 2 | 8 | 5,3 | 11% | 15 | 6,7 | 22% | 1,4 | (0,5 a 2,3) | 0,004 |
| Total | 53 | 6,1 | 9% | 78 | 7 | 17% | 0,9 | (0,6 a 1,2) | < 0,001 |
CV: coeficiente de variación; X¯Pre Pre: puntuación media pre-formación;X¯Post: puntuación media post-formación.
Diferencias entre los bloques formativos PRE y POST por puntuación del test
| Fase pre-formación | Fase post-formación | ||||||||
|---|---|---|---|---|---|---|---|---|---|
| n | X¯Pre | CV | n | X¯Post | CV | X¯Post - X¯Pre | (IC 95%) | p | |
| Bloqueformativo | |||||||||
| B1 | 53 | 5,9 | 9% | 78 | 5,9 | 9% | 0,0 | (-0,2 a 0,2) | 1,000 |
| B2 | 53 | 7,2 | 7% | 78 | 7,1 | 6% | -0,1 | (-0,3 a 0,1) | 0,016 |
| B3 | 53 | 5,5 | 9% | 78 | 6,4 | 8% | 0,9 | (0,7 a 1,1) | < 0,001 |
| B4 | 53 | 6,8 | 6% | 78 | 7,4 | 6% | 0,6 | (0,4 a 0,8) | < 0,001 |
| B5 | 53 | 5,3 | 10% | 78 | 7,6 | 6% | 2,3 | (2,1 a 2,5) | < 0,001 |
| Total | 53 | 6,1 | 8% | 78 | 7 | 7% | 0,9 | (0,7 a 1,1) | < 0,001 |
CV: coeficiente de variación; X¯Pre: puntuación media pre-formación; X¯Post: puntuación media post-formación
B1: seguridad del paciente; B2: adecuación clínica; B3: excelencia y conocimiento profesional; B4: innovación en calidad sanitaria; B5: cultura, metodología y alianzas.
En la fase PRE se envió el cuestionario a 87 CAS y participaron 53 (61%). Obtuvieron una nota media de 6,1. El grupo Madrid 1 muestra el mayor número de participantes, una tasa de participación del 100%, la menor dispersión y la nota media más alta (6,9). El grupo Barcelona 2, el segundo grupo más numeroso en convocados, obtuvo la nota más baja (5,3) y una tasa de participación del 50%.
En la fase POST se convocaron 86 CAS y asistieron a las sesiones 78 (90%). Todos los asistentes cumplimentaron el ejercicio al final de la sesión con una nota media de 7. Al comparar las medias en las puntuaciones entre PRE-POST se observó un incremento significativo de la puntuación media alcanzada tras la intervención de un 0,9 (IC 95% 0,6-1,2; p < 0,001), con un incremento del 15% respecto a la puntuación inicial. Por bloques formativos el incremento es del mismo valor (0,9) y menor dispersión (IC 95% 0,7-1,1; p < 0,001).
El grupo Bilbao fue el que más incrementó la nota media, seguido de Barcelona 2 y Valencia. El único grupo que disminuyó discretamente la nota media fue Barcelona 1. Con relación a las variables de la sesión formativa (tabla 3), la puntuación media de la satisfacción de los asistentes fue de 9, siendo el grupo Madrid 1 el grupo más satisfecho y los grupos Sevilla y Barcelona 2, los menos. La puntuación de los docentes fue de 9,1. En cuanto a los colectivos profesionales, el porcentaje de médicos fue de 36%, enfermeras 53% y fisioterapeutas 11%, con un valor de la dosis formativa pregrado de los grupos de 2,2.
Valores de las variables independientes y valoración del impacto según CAS y DUG por grupo
| Impacto según CAS | Impacto según DUG | |||||||
|---|---|---|---|---|---|---|---|---|
| Tamaño del grupo | Satisfacción asistentes | Autoevaluación docentes | Dosis formativa pregrado | Aplicar conocimiento | Modificar prácticas | Aplicar conocimiento | Modificar prácticas | |
| Barcelona 1 | 14 | 9,2 | 8,5 | 2,3 | 92% | 77% | 59% | 58% |
| Bilbao | 6 | 8,9 | 8,9 | 2,2 | 33% | 67% | 40% | 60% |
| Madrid 1 | 11 | 9,4 | 9,1 | 1,8 | 100% | 90% | 20% | 20% |
| Madrid 2 | 10 | 9,1 | 9,4 | 2,0 | 89% | 77% | 51% | 25% |
| Valencia | 10 | 9,3 | 9,5 | 2,1 | 71% | 86% | 100% | 100% |
| Sevilla | 12 | 8,7 | 9,8 | 2,4 | 50% | 70% | 73% | 73% |
| Barcelona 2 | 15 | 8,7 | 8,5 | 2,7 | 65% | 77% | 20% | 20% |
| Total | 78 | 9 | 9,1 | 2,2 | 75% | 78% | 51% | 51% |
La valoración del impacto de la sesión formativa (tabla 3) según los CAS es que un 75% de ellos mismos habían aplicado el conocimiento adquirido. Los DUG opinan que lo habían aplicado un 51% de los CAS. Los CAS opinaron en un 78% que habían modificado prácticas de manera importante. Los DUG, respecto a sus CAS de referencia, creen que habían modificado su práctica un 51%.
Destaca Madrid 1 donde casi el 100% de los CAS han aplicado conocimientos y modificado sus prácticas, y de forma opuesta, los DUG coinciden sólo en un 20%. El incremento del conocimiento se asocia con la dosis formativa y, en forma decreciente, con la satisfacción de los asistentes y el tamaño de los grupos.
El impacto, según la valoración de los CAS, crecía al aumentar la satisfacción de los asistentes a la sesión, y el tamaño de los grupos, disminuía al incrementarse la mejora de conocimientos. El impacto, según la valoración de los DUG, mejoraba al aumentar la valoración de los docentes sobre la sesión. La importancia de la composición profesional de los grupos (dosis formativa) es cambiante. No se detecta correlación entre las opiniones de CAS y DUG.
DiscusiónLa sesión formativa a los CAS mejora el nivel de conocimientos en un 15%, similar a la de otros estudios, tanto dirigidos a personal sanitario27,28 como a otros colectivos29. Así, en compañías de seguros, se ha demostrado el impacto positivo tras la realización de programas formativos sobre higiene de manos en el ámbito laboral, con mejoras del 15% en el lavado de manos y en la percepción de higiene en el puesto de trabajo30. También en una mutua laboral se ha mostrado el impacto positivo que la formación ha tenido sobre la cultura de seguridad del paciente por parte de sus profesionales sanitarios en forma muy significativa31.
Las variaciones de puntuación en los bloques formativos han sido más heterogéneas, los temas más novedosos han podido aportar más conceptos, frente a otros más conocidos.
Los datos de impacto muestran que en torno al 75% de los CAS y el 50% de los DUG, perciben impactos positivos, tanto en la aplicación de nuevos conocimientos como en la modificación de prácticas. La peor valoración de DUG respecto a la de CAS puede deberse al factor distribución geográfica de los DUG respecto a sus CAS. En Madrid 1 este fenómeno se puede intuir dado que todos los CAS (n = 12) valoran el impacto positivamente y sólo un 20% de los DUG (n = 7) lo confirman.
En el grupo Bilbao, a pesar de ser el que ha mejorado más su puntuación y obtenido la puntuación media más alta, sólo consideran un 33% de sus CAS haber incorporado conocimientos, frente al 75% del conjunto. Los DUG muestran una opinión más similar a la global (41% vs. 51%). Quizás afecte el tamaño del grupo, lo que puede favorecer una gran influencia personal.
La relación inversa detectada entre la satisfacción del grupo y la dosis formativa quizás podría relacionarse con una mayor exigencia de los profesionales más formados.
Conviene señalar, antes de concluir, algunas limitaciones de nuestro trabajo que guardan relación con no haber podido realizar el análisis apareado de los datos por motivos de confidencialidad, a que las medidas del impacto se basan exclusivamente en las percepciones de los asistentes y de sus responsables de gestión, y al hecho de que la medición post de la intervención ha sido realizada al poco tiempo de la celebración de la sesión.
Como conclusiones consideramos que esta estrategia formativa ha resultado apropiada desde el punto de vista de la formación continuada sobre seguridad del paciente para los profesionales sanitarios, así como por la mejora de la percepción que han manifestado los gestores sanitarios acerca de dicha formación. Es preciso mantener la inversión en formación dado que mejora el nivel de conocimientos de los profesionales, quienes además lo aplican en el ejercicio profesional. El estudio sugiere que las sesiones deben facilitar la máxima participación de los asistentes, favorecer la mayor homogeneidad en perfiles formativos y ser lo más satisfactorias posibles para docentes y discentes. Es importante evaluar el impacto que la formación tiene en los profesionales y su práctica diaria, para facilitar su justificación ante la organización. Como aspectos a mejorar aparecen la necesidad de equilibrar los contenidos de la formación, así como profundizar en el uso de metodologías de medición del impacto formativo más prácticas y útiles para la gestión.
Conflicto de interesesLos autores declaran no tener ningún conflicto de intereses.
