Fiabilidad de la escala de Evaluación de Competencias Enfermeras en Salud Mental: estudio piloto

Resumen

Objetivo

Evaluar la fiabilidad de la escala de Evaluación de Competencias Enfermeras en Salud Mental (ECOEnfSM) para la evaluación de los enfermeros internos residentes (EIR) de Salud Mental en su práctica clínica.

Método

Estudio piloto, observacional, descriptivo y transversal, dirigido hacia el EIR de Salud Mental cursando la Formación Sanitaria Especializada (FSE) en España que haya completado su programa formativo. Los datos fueron recogidos por tutores generales y colaboradores de las Unidades Docentes Multiprofesionales (UDM) de Salud Mental. Se utilizó la escala de ECOEnfSM, compuesta por tres subescalas y ocho Unidades de Competencia (UC). Se realizó un análisis de fiabilidad y validez (α de Cronbach y correlación Spearman [r]).

Resultados

Las subescalas de evaluación de rotación obtuvieron una fiabilidad excelente (∝ > 0,90) con niveles de correlación altos y muy altos (r > 0,6) entre todas sus UC con niveles altamente significativos (p < 0,01). La subescala de evaluación anual obtuvo una fiabilidad buena (∝ > 0,80) con niveles medios y muy altos de correlación (r > 0,4) altamente significativos (p < 0,01). Todas las UC obtuvieron una consistencia de buena a excelente (∝ > 0,80). El criterio «Visita domiciliaria» sufrió gran disparidad en sus datos, ya que existen pocas UDM que la desarrollen por completo.

Conclusiones

La escala ECOEnfSM obtuvo una fiabilidad muy alta en EIR de Salud Mental durante su programa de residencia en España. La escala ECOEnfSM se considera la única herramienta objetiva en España para evaluar las competencias profesionales de esta población.

Abstract

Aim

To evaluate the reliability of the ECOEnfSM scale as a tool to assess the professional competencies of Mental Health Nurse Practitioners (MHNP) in their clinical practice.

Method

A pilot study, observational, descriptive and cross-sectional, focuses on MHNP who have completed their Specialized Health Training Program (SHTP) in Spain. The data were collected by general and collaborators mentors of the Multiprofessional Teaching Units (MTUs). The Mental Health Nursing Competency Assessment Tool (ECOEnfSM) was used, which consists of three subscales and eight Competence Units (CU). A reliability and validity analysis were conducted (Cronbach's alpha and Spearman's correlation coefficient).

Results

The Rotation Assessment subscales showed excellent reliability (r > 0.90) with high and very high correlations (r > 0.6) in all UCs with high levels of significance (p < 0.01). The Annual Assessment subscale showed good reliability (r > 0.80) with a medium and very high correlation (r > 0.4) with high levels of significance (p < 0.01). All UCs showed a good to excellent consistency (r > 0.80). The “Home Visits” assessment criterion showed heterogeneity of data due to there are few MTUs that fully develop it.

Conclusion

The ECOEnfSM scale showed very high reliability in MHNP during their training program in Spain. The ECOEnfSM is considered the only objective tool in Spain to assess the professional competencies in this population.

¿Qué se conoce?

En España, la evaluación de las formaciones sanitarias especializadas no diferencia entre profesiones ni especialidades. Solo encontramos una escala de evaluación de competencias específica de la Enfermería de Salud Mental, pero su uso no está extendido.

¿Qué aporta?

Una herramienta validada y específica para la Evaluación de Competencias Enfermeras en Salud Mental (ECOEnfSM) adaptada a su práctica clínica para realizar una evaluación continua y anual según las directrices oficiales de evaluación españolas.

Introducción

La enfermera especialista en salud mental constituye la base de los cuidados hacia el enfermo mental. Se define como «el profesional sanitario que proporciona una atención especializada en salud mental mediante la prestación de cuidados de enfermería»¹.

Su formación ha experimentado durante la historia fuertes altibajos condicionados por aspectos culturales y políticos, pasando de la Enfermera Psiquiátrica a la Enfermera Especializada en Salud Mental en España. La forma de adquirir esta titulación también ha evolucionado, de la misma forma que la evaluación de las competencias profesionales a desarrollar².

Existe documentación oficial sobre las competencias profesionales que debe adquirir una enfermera especialista en salud mental a través de su programa formativo, donde se detallan criterios y actividades a cumplir, así como la cadencia de la evaluación (Orden SPI/1356/2011)¹.

No obstante, la figura encargada de la evaluación del enfermero interno residente (EIR) no dispone de una evaluación unificada, utilizando diferentes criterios según las Unidades Docentes Multidisciplinares (UDM) de Salud Mental de España.

Tan solo pueden contar con directrices básicas para realizar evaluaciones competenciales aportadas por el Ministerio de Sanidad. Sin embargo, estos documentos oficiales están incompletos, son demasiado genéricos, dejan lugar a la subjetividad del evaluador y, sobre todo, van dirigidos por igual a todas las disciplinas profesionales que se incluyen en la Formación Sanitaria Especializada (FSE): biología, enfermería, farmacia, física, medicina, psicología o química³.

Debido a esta gran limitación, Rivera desarrolla una escala que permite evaluar estas competencias profesionales adquiridas por los EIR de Salud Mental, llamada escala de Evaluación de Competencias Enfermeras en Salud Mental (ECOEnfSM)⁴.

Actualmente, existen numerosos estudios que miden las competencias profesionales, pero están centrados en estudiantes de Enfermería Psiquiátrica^5,6. Hartley et al. se centran en el desarrollo de programas formativos dirigidos a enfermeras que trabajan en psiquiatría, quienes mejoran sus conocimientos y actitudes⁷. Sin embargo, resulta difícil encontrar evidencia en la población de las enfermeras de salud mental.

Por otra parte, las nuevas tecnologías han favorecido nuevas formas de adquisición de competencias. Piot et al. y otros recopilan estudios centrados en el aprendizaje con simulaciones de alta fidelidad, realidad virtual, maniquíes o simulaciones de voz, los cuales mejoran los conocimientos, habilidades y actitudes de enfermeras y estudiantes de psiquiatría^8–10. No obstante, este avance va en detrimento del aprendizaje experiencial a través de la práctica clínica.

Dickens et al. y Hawsawi et al. destacan estudios para la adquisición de competencias de las enfermeras de salud mental en áreas como la salud física (obesidad, diabetes, tóxicos, sexual, etc.), la recuperación, el suicidio o los tratamientos farmacológicos. Estos programas favorecen el aprendizaje, pero se centran en temas muy concretos de la práctica clínica, no abarcan la totalidad de las funciones de una enfermera de salud mental y son a menudo breves^11–13.

Piot et al. defienden que es necesaria una estandarización de los criterios de calidad educativos y la estructuración de los planes de estudio⁸. Por otra parte, Immonen et al. defienden como necesario utilizar instrumentos fiables y válidos, ya que los tutores subrayan la importancia de tener unos criterios de evaluación claros y una mayor formación sobre la evaluación⁵.

Existen otras escalas de evaluación centradas en estudiantes de enfermería y en Enfermería Pediátrica o Médico-Quirúrgica^14–17, pero se destaca la escala ECOEnfSM como la única herramienta específica capaz de evaluar a la Enfermería de Salud Mental en su práctica clínica de forma completa, objetiva, estandarizada y basada en los documentos oficiales ^1,3,4.

Sin embargo, actualmente su uso no se ha extendido por los hospitales y UDM de Salud Mental en España, por lo que la escala ECOEnfSM no se ha validado en la práctica clínica. De aquí deriva el objetivo del presente estudio, que fue evaluar la fiabilidad de la escala ECOEnfSM como herramienta de evaluación de competencias profesionales de los EIR de Salud Mental en su práctica clínica.

Método

Diseño

Estudio piloto, observacional, descriptivo y transversal.

Población y ámbito

EIR cursando la FSE de Enfermería de Salud Mental en una de las Unidades Docentes Multiprofesionales (UDM) de Salud Mental en España.

Solo se admitieron aquellos residentes que cumplieron completamente con el programa formativo de residencia de dos años. No existieron más criterios de exclusión.

Variables

Se utilizó la escala de ECOEnfSM, que evalúa las competencias profesionales de la Enfermería Especializada en Salud Mental durante su FSE. Es una escala heteroadministrada, validada (índice de validez de contenido = 0,96, α Cronbach = 0,968) y desarrollada por Rivera⁴, basándose en la escala de Evaluación de Competencias Enfermeras (ECOEnf), donde se evalúan las competencias de los graduados en Enfermería¹⁷.

Está compuesta por tres subescalas (evaluación rotación genérica, evaluación rotación en CSM y evaluación anual) y ocho rúbricas o Unidades de Competencia (UC). Cada UC está compuesta por criterios de evaluación y descriptores de nivel (nivel básico, intermedio y avanzado). La escala ECOEnfSM cuenta en total con 62 criterios de evaluación y 186 descriptores de nivel (material suplementario 1).

Se subdivide en tres subescalas:

• •

  Evaluación rotación: se trata de una evaluación tras haber completado la formación práctica de cada uno de los dispositivos asistenciales o rotaciones de la FSE. Se subdivide en rotaciones genéricas y rotación en Centro de Salud Mental (CSM). Según el programa de la Enfermera Especialista en Salud Mental¹, el itinerario formativo y su duración deben seguir las siguientes directrices:

  Dispositivo asistencial o rotación	Duración
  Primer año
  Unidades de Rehabilitación de Larga Estancia	2 meses
  Unidad de Hospitalización de Agudos	6 meses
  Otras unidades: Adicciones, Hospital de Día, Unidad de Psicosis Refractaria, Unidad de Patología Dual, Unidad de Trastornos de la Conducta Alimentaria, Unidad de Trastornos Psicosomáticos	3 meses
  Segundo año
  Unidad de Media estancia Programas de Rehabilitación Comunitaria	4 meses
  Centro de Salud Mental	5 meses
  Programas o Servicios de Salud Mental Infanto Juvenil	2 meses
  • ∘

    Evaluación rotación genérica: se evalúan todas las UC específicas (UC1-valoración y diagnóstico, UC2-planificación, UC3-intervención y UC4-evaluación) excepto los criterios de evaluación de «Visita domiciliaria», junto con una UC transversal (UC8-comunicación y relación interpersonal).

  • ∘

    Evaluación rotación en CSM: se evalúan todas las UC específicas (UC1-valoración y diagnóstico, UC2-planificación, UC3-intervención y UC4-evaluación) incluyendo los criterios de evaluación de «Visita domiciliaria», junto con una UC transversal (UC8-comunicación y relación interpersonal).

• •

  Evaluación anual: evaluación realizada al año de FSE tras haber completado todas las evaluaciones de rotatorio de ese mismo año. Se evalúan el resto de UC transversales (UC5-investigación, UC6-gestión clínica y UC7-docencia).

La superación de los criterios de evaluación dependerá del año de residencia del EIR de Salud Mental (material suplementario 2). La evaluación final oscila entre 0 y 10 puntos (número de criterios superados/total criterios de la UC x 10), siempre que se hayan aprobado el número mínimo e imprescindible de criterios de evaluación. Posteriormente, se aplican los porcentajes de ponderación (material suplementario 3).

Recogida de datos

Los datos fueron recogidos por los tutores generales de la residencia y los tutores colaboradores de cada rotación asistencial de los EIR de Salud Mental de cada UDM de Salud Mental de España a través de la página web desarrollada ad hoc¹⁸. Se realizaron diversas reuniones, comunicaciones en actos científicos, difusión por mensajería y publicidad en redes sociales para contactar con los tutores participantes. Una vez contactados, se les asignó un «Código de Tutor» personal para acceder al registro en la página web y diligenciar las rúbricas de evaluación, asegurando de esta manera una recogida de datos veraz. Se realizó un muestreo no probabilístico de conveniencia.

Las evaluaciones se realizaron al finalizar cada rotatorio y de forma anual. El proceso de recogida de datos abarcó desde octubre de 2022 hasta abril de 2024. Se obtuvieron un total de 64 evaluaciones realizadas.

Se recogieron datos hasta demostrar la fiabilidad de la escala, según un estudio con la escala ECOEnf de Gómez del Pulgar et al., donde necesitó 66 participantes para responder el mismo objetivo¹⁹.

Análisis de datos

Se utilizó IBM® Statistical Pakage for the Social Sciences (SPSS) v.23.0 (Statistics Inc, Chicago, IL, EE. UU.) para un análisis de fiabilidad (consistencia interna) mediante el estadístico α de Cronbach para medir la fiabilidad intraobservador. Según George et al., en 2003²⁰: excelente a α entre 0,9 a 0,95, bueno a α > 0,8, aceptable a α > 0,7, cuestionable a α > 0,6, pobre a α > 0,5 e inaceptable a α < 0,5; y un análisis correlacional no paramétrico mediante el coeficiente rho de Spearman (r) para medir la validez y correlación entre los criterios de evaluación y la UC así como entre estas, según Kuckartz et al.²¹: puntuaciones > 0,7 se consideran de correlación muy alta, > 0,5 correlación alta, > 0,3 correlación media, > 0,1 poca correlación y < 0,1 no hay correlación.

Resultados

Se obtuvieron un total de 64 evaluaciones realizadas, de las cuales 67,2% fueron evaluaciones de rotatorio (n = 43) y el 32,8% evaluaciones anuales (n = 21). Dentro de las evaluaciones de rotatorio (n = 43), 12 fueron específicas de CSM y el resto fueron rotaciones genéricas. Las evaluaciones fueron llevadas a cabo por 17 tutores y se evaluaron a 39 EIR (tabla 1).

Tabla 1.

Resumen de las características sociodemográficas de la muestra

n = 39	M (DE)
Edad	27,3 (4,8)

n = 39	n (%)
Sexo
Femenino	37 (94,8)
Masculino	2 (5,2)
Comunidad autónoma
Madrid	38 (97,4)
Otras	1 (2,6)
Unidad Docente Multiprofesional de Salud Mental
Hospital General Universitario Gregorio Marañón	8 (20,5)
Instituto Psiquiátrico José Germain	7 (18,0)
Hospital Clínico San Carlos	6 (15,4)
Hospital Universitario de Fuenlabrada	5 (12,8)
Hospital Universitario Doce de Octubre	4 (10,2)
Hospital Universitario Infanta Cristina	3 (7,7)
Otros	6 (15,4)
Año de residencia
EIR 1° año	25 (64,1)
EIR 2° año	14 (35,9)

EIR: enfermeros internos residentes; M(DE): media (desviación estándar).

Se mostró una consistencia interna de la escala ECOEnfSM de buena a excelente en todas sus UC (∝ > 0,80) con un intervalo de confianza (IC) de 95% (tabla 2).

Tabla 2.

Fiabilidad de las Unidades de Competencia de las subescalas de la escala ECOEnfSM

	α de Cronbach	α de Cronbach estandarizado	CCI IC 95%	CCI valor p
Evaluación de rotación genérica (n = 43)
UC1	0,89	0,90	0,838 – 0,936	< 0,000*
UC2	0,88	0,88	0,822 – 0,931	< 0,000*
UC3	0,87	0,87	0,800 – 0,922	< 0,000*
UC4	0,89	0,89	0,833 – 0,934	< 0,000*
UC8	0,92	0,92	0,880 – 0,952	< 0,000*
TOTAL	0,93	0,94	0,899 – 0,961	< 0,000*
Evaluación de rotación en Centro de Salud Mental (CSM) (n = 21)
UC1	0,93	0,93	0,848 – 0,976	< 0,000*
UC2	0,87	0,86	0,706 – 0,955	< 0,000*
UC3	0,89	0,89	0,756 – 0,963	< 0,000*
UC4	0,95	0,95	0,898 – 0,984	< 0,000*
UC8	0,91	0,91	0,806 – 0,970	< 0,000*
TOTAL	0,90	0,90	0,762 – 0,966	< 0,000*
Evaluación anual (n = 21)
UC5	0,93	0,94	0,875 – 0,968	< 0,000*
UC6	0,91	0,91	0,843 – 0,960	< 0,000*
UC7	0,90	0,90	0,812 – 0,952	< 0,000*
TOTAL	0,84	0,87	0,666 – 0,929	< 0,000*

*

Nivel de significación para IC 95%.

ECOEnfSM: Evaluación de Competencias Enfermeras en Salud Mental; CCI IC95%: intervalo de confianza del 95% del coeficiente de correlación intraclase; CCI valor p: nivel de significación del coeficiente de correlación intraclase; CDM: Centro de Salud Mental; UC: Unidad de Competencia.

Las subescalas de evaluación de rotación genérica y evaluación en CSM obtuvieron una fiabilidad excelente (∝ > 0,90) y la subescala de evaluación anual buena (∝ > 0,80) (tabla 2).

Al realizar la prueba de Shapiro-Wilk, las UC no se asemejaban a una distribución normal (estadístico de la prueba de normalidad de Shapiro-Wilk [Z] = 0,59-0,83, p < 0,05), por lo que se usó la r (tabla 3).

Tabla 3.

Correlación de los ítems con su Unidad de Competencia (escala ECOEnfSM)

	Rho de Spearman	valor p
UC1 – valoración y diagnóstico (n = 43)
Entrevista clínica	0,59	≤ 0,001*
Identificación de factores de crisis	0,50	0,001*
Valoración por patrones de salud mental	0,41	0,007*
Diagnóstico enfermero	0,49	0,001*
Grupo de apoyo	0,27	0,083
Recursos sociosanitarios	0,38	0,013*
Transculturalidad	0,47	0,001*
Tratamientos biológicos	0,40	0,008*
Visita domiciliaria (n = 12)	0,34	0,276
UC2 – planificación (n = 43)
Planificación de cuidados	0,42	0,005*
Adecuación del plan	0,57	≤ 0,001*
Utilización de protocolos	0,29	0,056
Planificación de riesgos	0,42	0,006*
Taxonomías enfermeras	0,28	0,072
Planificación de recursos	0,36	0,019*
Visita domiciliaria (n = 12)	0,37	0,242
UC3 – intervención (n = 43)
Intervención individual	0,56	≤ 0,001*
Intervención familiar	0,71	≤ 0,001*
Intervención grupal	0,57	≤ 0,001*
Intervención en crisis	0,44	0,003*
Tratamientos biológicos	0,39	0,009*
Visita domiciliaria (n = 12)	0,48	0,114
Derivación al alta	0,67	≤ 0,001*
UC4 – evaluación (n = 43)
Intervención individual	0,55	≤ 0,001*
Intervención familiar	0,50	0,001*
Intervención grupal	0,34	0,026
Intervención en crisis	0,59	≤ 0,001*
Cuidados de enfermería en salud mental	0,32	0,035*
Tratamientos biológicos	0,50	0,001*
Visita domiciliaria (n = 12)	0,74	0,006*
Evaluación de programas y protocolos	0,59	≤ 0,001*
UC5 – investigación (n = 21)
Actitud observadora y reflexiva	0,38	0,085
Actitud de aprendizaje y mejora	0,48	0,027
Cuestionar la realidad	0,20	0,380
Desarrollar protocolos	0,02	0,915
Trabajos científicos	0,79	0,734
La pregunta de investigación	0,59	0,801
Búsqueda de información	0,32	0,152
Divulgación de resultados	0,39	0,082
UC6 – gestión clínica (n = 21)
Gestión por procesos	0,16	0,481
Liderazgo	0,05	0,822
Mejora de la calidad (actividad asistencial)	-0,14	0,542
Mejora de la calidad (servicios de Salud Mental)	0,14	0,533
Medida de calidad	0,12	0,616
Sistemas de información	0,10	0,657
Políticas sanitarias	0,31	0,177
UC7 – docencia (n = 21)
Actitud reflexiva sobre la importancia legal y ética	0,69	0,001*
Evaluar necesidades de intervenciones de EPS	0,62	0,003*
Planificación de las intervenciones	0,28	0,226
Realizar intervenciones individuales y grupales	0,58	0,006*
Programas de EPS	0,52	0,014*
Autoaprendizaje	0,45	0,038*
Actitud de mejora continua	0,66	0,001*
Actividades docentes	0,67	0,001*
UC8 – comunicación y relación interpersonal (n = 43)
Escucha activa	0,54	≤ 0,001*
Expresión verbal	0,54	≤ 0,001*
Material de apoyo a la comunicación y RI	0,60	≤ 0,001*
Relación interpersonal	0,67	≤ 0,001*
Contexto multicultural	0,55	≤ 0,001*
Resolución de conflictos (pacientes, familia y equipo)	0,36	0,018*
Manejo de TICS	0,50	0,001*
Relación interprofesional	0,40	0,008*

*

Nivel de significación para IC 95%.

ECOEnfSM: Evaluación de Competencias Enfermeras en Salud Mental; EPS: educación para la salud; IC: intervalo de confianza; RI: relación interpersonal; TICS: Tecnologías de la Información y la Comunicación; UC: Unidad de Competencia.

La UC1 (valoración y diagnóstico) obtuvo niveles de correlación media-alta para todos los criterios (p < 0,01) excepto para el criterio «Grupos de apoyo» que obtuvo una correlación baja (r = 0,27, p = 0,08) y el criterio de «Visita domiciliaria» con correlación media, pero sin significación (r = 0,34, p = 0,27).

La UC2 (planificación) obtuvo una fuerza de correlación media-alta para todos los criterios de forma significativa (p < 0,05) excepto con «Utilización de protocolos» (r = 0,29, p = 0,05), «Taxonomías enfermeras» (r = 0,28, p = 0,07) y «Visita domiciliaria» (r = 0,37, p = 0,24).

La UC3 (intervención) obtuvo una correlación media-muy alta para todos los ítems (p < 0,01) excepto para «Visita domiciliaria» (r = 0,48, p = 0,11).

La UC4 (evaluación) obtuvo una correlación media-muy alta para todos los ítems.

La UC5 (investigación) obtuvo una correlación entre la ausencia y la correlación muy alta, siendo datos no significativos (p > 0,05).

Se obtuvieron ausencia, poca correlación o correlación inversa (p > 0,05) en los criterios de evaluación de la UC6 (gestión clínica).

La UC7 (docencia) obtuvo correlaciones medias-altas para todos sus ítems (p < 0,05), excepto para «Planificación de las intervenciones» donde destaca una correlación débil (r = 0,28, p > 0,22).

La UC8 (comunicación y relación interpersonal) obtuvo una correlación media-alta en todos sus criterios (p < 0,01).

La subescala de evaluación de rotación (genérica y CSM) obtuvo niveles de correlación altos y muy altos (r > 0,6), al igual que la subescala de evaluación anual con niveles medios y muy altos (r > 0,4, p < 0,01) entre todas sus UC con niveles altamente significativos (p < 0,01), según muestra la tabla 4.

Tabla 4.

Correlación de las Unidades de Competencia de las subescalas de ECOEnfSM

				Rho de Spearman
Evaluación de rotación (n = 43)
	UC1	UC2	UC3	UC4	UC8
UC1	-	0,89*	0,80*	0,77*	0,78*
UC2	-	-	0,66*	0,68*	0,84*
UC3	-	-	-	0,82*	0,77*
UC4	-	-	-	-	0,80*
UC8	-	-	-	-	-
Evaluación anual (n = 21)
	UC5	UC6	UC7
UC5	-	0,79*	0,71*
UC6	-	-	0,47*
UC7	-	-	-

*

Nivel de significación para IC 95%.

ECOEnfSM: Evaluación de Competencias Enfermeras en Salud Mental; IC: intervalo de confianza; UC: Unidad de Competencia.

Discusión

Los datos del estudio indican unos altos niveles de fiabilidad, con una consistencia interna de buena a excelente (r > 0,80) en todas las subescalas y UC en la práctica clínica de los EIR en Salud Mental.

Rivera⁴ demostró la fiabilidad de la escala ECOEnfSM con una validación de contenido por grupo de expertos en Enfermería de Salud Mental de la Oficina Regional de Coordinación de Salud Mental y Adicciones, basándose en el programa formativo de la especialidad de Enfermería de Salud Mental¹; y con una consistencia interna muy alta (índice de validez de contenido = 0,96, α = 0,968)⁴.

La escala ECOEnfSM se basa en la escala ECOEnf, que también demostró altos niveles de consistencia interna (índice de validez de contenido = 0,85, α = 0,986)¹⁶, concordancia intraobservador (r = 0,98) e interobservador (r = 0,66) y correlación de sus ítems (r > 0,50, p > 0,05) para evaluar las competencias enfermeras de los graduados en enfermería en población universitaria^16,17,19.

Las UC específicas (UC1-valoración y diagnóstico, UC2-planificación, UC3-intervención y UC4-evaluación) se correlacionaron muy bien. Sin embargo, no ocurrió lo mismo con las UC transversales, ya que, aunque demostraron una correlación aceptable, obtuvieron datos dispares entre sus ítems, destacando la uc de investigación (UC5) por tener una gran variabilidad (correlaciones muy altas o ausencia de correlación) y, sobre todo, la UC de gestión clínica (UC6) con niveles inversos, nulos o pobres de correlación.

Estos datos concuerdan con la experiencia clínica donde encontramos UDM de Salud Mental con un alto interés en formar al EIR en materia de investigación y otras que lo consideran un simple trámite para aprobar la FSE. Por otra parte, parece obvio, según los resultados, que las competencias en gestión no son competencias que se desarrollen actualmente en los programas formativos, quizá por falta de tiempo, por falta de interés en los EIR o las UDM, por priorizar en las competencias asistenciales o por la complejidad de las funciones gestoras.

La subescala de evaluación de rotación obtuvo buenos niveles de correlación entre sus UC, ya que son actitudes, habilidades y conocimientos muy frecuentemente desarrollados en todas las UDM y fáciles de evaluar.

Sin embargo, la subescala de evaluación anual obtuvo menor correlación entre sus UC por tratarse de competencias menos desarrolladas o consideradas menos importantes, debido a que no se utilizan a menudo en la práctica clínica diaria. El tamaño muestral de la evaluación anual reflejó este hecho, ya que se consiguió menos participación que en el resto.

De hecho, se pueden explicar datos tan dispares como correlaciones bajas o ausencia de correlaciones, e incluso correlaciones inversas en sus UC (UC5-investigación, UC6-gestión clínica), debido a una menor representatividad, gran variabilidad entre los hospitales y difícil evaluación. No obstante, la UC7-docencia y UC8-comunicación y relación interpersonal fueron competencias transversales con excelentes datos.

Rivera destacó también las UC transversales como aquellas con menor nivel de fiabilidad, aunque consideradas como excelentes en su estudio, en relación con las UC específicas⁴.

De la misma manera, el criterio de evaluación de «Visita domiciliaria» sufrió baja representatividad y disparidad en sus datos, ya que existen pocas rotaciones asistenciales en el actual programa formativo con atención comunitaria, donde prevalece una atención hospitalaria (unidades de hospitalización y residenciales, hospitales de día, etc.), pocas UDM que prioricen o tengan esta cartera de servicios desarrollada por completo y/o rotaciones breves (< 2 meses) donde no hay tiempo a desarrollar competencias en visita a domicilio. Asimismo, encontramos niveles de correlación muy altos (r = 0,74, p < 0,01) y muy bajos (r = 0,34, p = 0,27) a la vez en este criterio en las diferentes UC. Los investigadores se comprometen a revisar estas correlaciones débiles como proceso de mejora continua, posiblemente debidos a una muestra insuficiente¹⁹.

A nivel internacional, se encuentran numerosas herramientas de evaluación de competencias, aunque muchas desarrolladas ad hoc por los investigadores para responder su objetivo de investigación, pero sin haber pasado por procesos de validación rigurorosos^12,22.

Otros autores utilizan herramientas validadas evaluando competencias muy concretas como los conocimientos y actitudes, siendo difícil encontrar evaluación de otras competencias más específicas. Además, suelen ser temáticas de cuidados clásicos de la Enfermera de Salud Mental como el manejo de la salud física (Physical Health Attitude Scale for Mental Health Nurses [PHASe]²³) o las contenciones (Attitudes towards Containment Measures Questionnaire [ACMQ]²⁴)^11,12, sin tener en cuenta otras competencias más complejas, novedosas y vitales para esta población, como la necesidad de investigación, las actitudes o la comunicación interpersonal o interprofesional recogidas en el programa formativo de la Enfermera de Salud Mental¹.

Dickens et al. utilizan herramientas para evaluar estas competencias enfermeras en salud mental en patologías concretas como los trastornos límite de personalidad (Personality Disorders Knowledge, Attitudes and Skills Questionnaire [PD-KASQ]²⁵, Attitude to Personality Disorder Questionnaire [APDQ]²⁶) o los trastornos psicóticos^11,12. No obstante, solo Rivera ofrece una herramienta de evaluación de competencias en el cuidado de todos los trastornos tratados por la enfermera de Salud Mental⁴.

Sheikhbahaeddinzadeh et al. analizan la composición y propiedades psicométricas de herramientas de evaluación de competencias en Enfermeras Psiquiátricas²⁷: Psychiatric Nursing Performance Appraisal Instrument (PsychNPAI)²⁸, Clinical competency in mental health nursing students²⁹, Clinical Competency of Mental Health Nursing (CCMHN)³⁰, Case management competence scale³¹, Mental Health Objective Structured Clinical Examination (MHOSCE)³² y Questionnaire to assess nursing competencies for the care of people with psychiatric disabilities in a hospital environment³³.

Sin embargo, estas herramientas estaban centradas en enfermeras que trabajan en psiquiatría o estudiantes de Enfermería de Salud Mental, pero no se encontró ninguna centrada en las competencias clínicas de la Enfermera Psiquiátrica posgraduada²⁷.

Por tanto, la escala ECOEnfSM destaca por ser la única rúbrica objetiva y completa para evaluar al EIR de Salud Mental, siendo imprescindible para el desarrollo profesional y como base teórica del conocimiento en enfermería. Además, permite evidenciar las competencias desarrolladas en el programa formativo¹, así como justificar la superación o suspensión de la FSE frente a organismos oficiales como el Ministerio de Sanidad en España.

Entre las limitaciones de esta investigación, destaca ser un estudio piloto, la falta de estabilidad de los datos al no contar con un test-retest debido las dificultades de la práctica clínica y la posible necesidad de realizar una formación previa de la rúbrica dirigida a los tutores como evaluadores del EIR de Salud Mental.

Se plantean propuestas de mejora como aumentar el tamaño muestral e incluir otros estadísticos que midan validez o fiabilidad. Se proponen la realización de estudios de concordancia con dos evaluadores y/o de estudios para evaluar la validez de criterio comparando con la nota final de la actual evaluación del Ministerio de Sanidad³.

Según Gómez del Pulgar et al.: «la evaluación de competencias es un concepto global y no debe basarse en un único instrumento; la subjetividad de la misma se puede disminuir combinando instrumentos y métodos». La escala ECOEnfSM contribuye así a una evaluación continua y objetiva¹⁹.

Como conclusión, se señala que la escala ECOEnfSM obtuvo una fiabilidad muy alta en EIR en Salud Mental en España, considerándose la única herramienta válida y objetiva para evaluar las competencias profesionales de esta población hasta el momento.

Consideraciones éticas

Se solicitó la expresa autorización de los residentes y tutores encargados de evaluar a los EIR de las UDM de Salud Mental previamente a realizar la evaluación, firmando de esta manera el consentimiento informado. Los datos recogidos se trataron con carácter anónimo y confidencial. Para ello, se asignó a cada participante un registro alfanumérico y se anonimizaron los datos personales, siendo imposible que los profesionales que realizaron el estudio pudieran identificar a los participantes o asociarlos con los resultados obtenidos. Este estudio ha sido aceptado por el Comité Ético de Investigación Clínica (CEIC) del Hospital Clínico San Carlos (n° 22/289-E).

Financiación

Este trabajo no ha recibido ningún tipo de financiación.

Conflicto de intereses

Los autores declaran no tener ningún conflicto de intereses.

Agradecimientos

A todas y todos los participantes del estudio: tutores, residentes, compañeros y amigos. Especialmente a la Asociación de Enfermería de Salud Mental y a la Comisión Consultiva de Cuidados de la Oficina Regional de Salud Mental y Adicciones de la Comunidad de Madrid.