Fiabilidad de una escala para la evaluación de competencias enfermeras: estudio de concordancia

Resumen

Introducción

Evaluar las competencias es una cuestión de importancia que ocupa un lugar primordial en el contexto de la educación superior. Para ello, es necesario disponer de instrumentos que reúnan criterios de validez y fiabilidad, y que puedan ser utilizados en escenarios de desempeño, capacidad y actuación profesional. Por esta razón, nos planteamos el siguiente objetivo: determinar la concordancia intra e interobservador de una escala para la evaluación de competencias enfermeras (ECOEnf) en España.

Material y método

Estudio observacional, descriptivo y transversal para evaluar la fiabilidad mediante el análisis de concordancia intra e interobservadores de la escala «ECOEnf». Se utilizó la prueba no paramétrica Tau-b de Kendall para establecer la correlación, aplicada a la misma población, en el mismo tiempo, por 2 observadores diferentes.

Resultado

La concordancia intraobservador se obtuvo una excelente consistencia interna (r = 0,98). Respecto a la concordancia entre observadores se mostraron escasos ítems con una correlación menor de 0,5; sin embargo, todos los ítems cumplen con una buena fiabilidad, estadísticamente significativa, p valor < 0,05.

Conclusión

En general, al realizar la correlación entre los resultados de la herramienta medido 2 veces por diferentes observadores en el mismo momento se encontró estadísticamente una buena concordancia, por lo cual se considera un instrumento fiable para ser utilizado en la evaluación de las competencias enfermeras en España.

Abstract

Introduction

Competences assessment is an important issue, playing a key role in higher education. It is necessary to have an evaluation instrument that meet validity and reliability criteria and can be used in different clinical scenarios for professional performance measurement. For this reason, we set ourselves the following objective: Establishing the intra- and inter-observer concordance of a scale for the evaluation of nursing competencies (ECOEnf) in Spain.

Material and method

An observational, descriptive, cross-sectional study was conducted to evaluate the reliability of the “ECOEnf” scale using intra- and inter-observer analysis. Kendall's Tau-b non-parametric test was used for establishing correlation, applied to the same population, at the same time, by 2 different observers.

Results

Intra-observer concordance was obtained an excellent degree of internal consistency (r=0.98), Regarding inter-observer concordance, few items had a correlation lower than 0.5. However, all items display a sound statistically significant reliability with a p-value <0.05.

Conclusion

In general, when establishing the correlation between the results of the instrument measured twice by different observers at the same time, was found a statistically good concordance. For this reason, it is regarded as a reliable instrument to be used in the evaluation of nursing competencies.

Introducción

La formación de enfermeros en España tiene como objetivo disponer de profesionales que proporcionen cuidados de calidad de forma competente^1,2. Esta formación se ajusta a las directrices establecidas por el Espacio Europeo de Educación Superior, la Directiva Europea de cualificaciones profesionales³ y la legislación nacional⁴, que señala, además, la necesidad de rendir cuentas sobre la adquisición de competencias⁵. Un aspecto fundamental de esta formación es la elevada carga lectiva que suponen prácticas clínicas (PC)^6,7 y que vienen determinadas por la mencionada directiva de cualificaciones.

Se entiende por competencia «la intersección entre conocimientos, habilidades, actitudes y valores, así como la movilización de estos componentes, para transferirlos al contexto o situación real, creando la mejor actuación/solución, para dar respuesta a las diferentes situaciones y problemas que se planteen en cada momento, con los recursos disponibles»⁸.

En Enfermería, las competencias surgen de las grandes funciones establecidas para la profesión (asistencial, docente, investigadora y de gestión)^9,10 y están contempladas tanto a nivel internacional, en la definición del Consejo Internacional de Enfermería¹¹, como nacional, en la Ley de ordenación de las profesiones sanitarias¹². Así mismo, la Orden Ministerial CIN 2134/2008⁴ establece los requisitos necesarios que habilitan para el ejercicio de la profesión de Enfermería, recogiendo tanto las competencias que deben adquirirse, como la formación necesaria para el desarrollo de las mismas.

Por lo tanto, la formación basada en competencias requiere de métodos que permitan su entrenamiento y su evaluación¹³, siendo esta una cuestión primordial para la definición de escenarios de desempeño, capacidad y de actuación profesional^14,15. Para evaluar las competencias es necesario disponer de instrumentos que reúnan criterios de validez y fiabilidad^16–20.

La validez se entiende como el grado en que un instrumento de medida mide aquello que realmente pretende medir o sirve para el propósito para el que ha sido construido, y puede definirse como un proceso unitario que permite realizar inferencias e interpretaciones correctas de las puntuaciones que se obtengan al aplicar el instrumento. La fiabilidad es el grado en que un instrumento mide con precisión y sin error, es decir, la capacidad de ofrecer en su empleo repetidos resultados veraces y constantes en condiciones similares de mediciones. Esta fiabilidad se valora a través de la consistencia, la estabilidad temporal y la concordancia interobservador^21,22, la cual se refiere a la consistencia entre 2 observadores, es decir, al nivel de acuerdo obtenido al ser evaluada la misma muestra en las mismas condiciones por 2 evaluadores distintos, obteniendo iguales resultados, a esto se le llama fiabilidad interobservador²³.

En este contexto, existen herramientas validadas que evalúan las competencias desde un ámbito particular o específico^24,25, Sin embargo, la Escala de Evaluación de Competencias Enfermeras (ECOEnf)^26,27 fue diseñada y validada para dar respuesta a la evaluación de las competencias recogidas en la mencionada orden ministerial, a la que deben responder todos los programas de estudios de Enfermería en España. Por lo tanto, ofrece una propuesta destinada a evidenciar dichas competencias de manera general, de acuerdo con sus funciones, y siguiendo el proceso de atención de Enfermería. Este instrumento ha demostrado validez de contenido²⁸.

Con base en lo descrito, se plantea el objetivo de determinar la concordancia intra e inter observador de la escala ECOEnf para la evaluación de competencias enfermeras en España.

Material y método

Se realizó un estudio observacional, descriptivo y transversal para evaluar la fiabilidad y concordancia entre observadores de la escala ECOEnf, la cual fue aplicada en la misma población, en el mismo momento, por 2 observadores distintos, con un alcance correlacional.

La población objeto la constituyen las evaluaciones realizadas a los alumnos de la Universidad Francisco de Victoria (UFV) en Madrid, España, distribuidos en 28 hospitales, 11 públicos y 17 privados, con los que tiene convenio la universidad para la realización de las rotaciones de las 3 asignaturas de PC: PC I (hospitalización médica), PC II (hospitalización quirúrgica, quirófano y urgencias) y PC III (cuidados intensivos adultos y pediátricos;) ubicadas en segundo, tercer y cuarto curso de grado, respectivamente. Dado que el diseño de la escala está basado en las competencias establecidas para el grado en Enfermería en la Orden CIN/2134/2008, de 3 de julio⁴, y que esta normativa hace referencia a las que deben adquirirse y a su evaluación en el módulo de prácticas y, teniendo en cuenta, que es en los hospitales donde realizan el mayor número de rotaciones clínicas los estudiantes, a lo largo de las 3 asignaturas de prácticas, las competencias que evalúa el instrumento pueden medirse en estos centros.

Para reclutar las evaluaciones, se realizó una estrategia bietápica: primero se seleccionaron 6 hospitales de la Comunidad de Madrid, de manera aleatoria y estratificada; para ello, se estratificó la muestra dividiendo los 28 hospitales (17 privados y 11 públicos) en 2 urnas: una con los centros privados y la otra con los públicos. Se extraen 3 centros de cada una, de manera que se seleccionaron 3 hospitales privados: Hospital La Milagrosa, Hospital General de Villalba y Hospital Universitario Quirón; y 3 hospitales públicos: Hospital Universitario 12 de Octubre, Hospital Universitario de Sureste y Hospital Universitario del Henares.

En las 6 instituciones seleccionadas de manera aleatoria estratificada estaban realizando prácticas 240 alumnos durante el curso 2016-2017.

Los criterios utilizados para elegir a los alumnos fueron 3: que se encontraran cursando las asignaturas de PC I, PC II o PC II durante el curso 2016-2017; que estas prácticas las estuvieran realizando en los hospitales seleccionados, y que sus tutores clínicos accedieran a participar en el estudio.

Se preguntó a los tutores clínicos de estos 6 hospitales la disposición para participar en la investigación, obteniendo un total de 132 observadores, que aceptaron y que evaluaron a 66 estudiantes durante el mismo periodo de prácticas, obteniendo 2 medidas paralelas para cada estudiante, un total de 132 medidas. Dado que con este número de mediciones se demostraba la concordancia, se consideró que era suficiente para valorar la fiabilidad.

Este proyecto fue aprobado por el Comité de Ética de la Investigación de la UFV, que, de acuerdo con su resolución, lo dictaminó como favorable y como una investigación sin riesgo, al no implicar procedimiento en humanos o animales.

Recogida de datos

Los datos se recogieron mediante la evaluación del estudiante con la escala ECOEnf. La escala fue cumplimentada por los tutores clínicos, quienes acompañan, forman y evalúan a los estudiantes durante su rotatorio de prácticas. Las evaluaciones se realizaron al finalizar el rotatorio y para cada evaluación intervinieron 2 observadores distintos, que utilizaron el mismo instrumento, en el mismo momento temporal, obteniendo 2 resultados por cada evaluación (medidas paralelas).

Previamente, se formó a los responsables de docencia de todos los hospitales y se capacitó a los tutores clínicos sobre la cumplimentación del instrumento. La selección de los evaluadores fue al azar, coincidiendo los mismos con los que estaban en la unidad donde los estudiantes realizaban sus PC. Tanto los estudiantes como los tutores clínicos fueron informados detalladamente sobre el objeto del estudio y la confidencialidad de los datos obtenidos y firmaron el consentimiento para participar.

Herramienta de medición

Se utilizó la escala ECOEnf, escala para la evaluación de competencias enfermeras, que ha demostrado validez de contenido²⁸. Esta escala evalúa dichas competencias, agrupando 72 ítems, relacionados con las mismas, en 7 unidades competenciales (UC), que son: 1) Valoración y diagnóstico; 2) Planificación; 3) Intervención; 4) Evaluación y calidad; 5) Gestión; 6) Comunicación y relación interpersonal, y 7) Actitudes y transferencia. Recoge la frecuencia de realización, autonomía personal, momento adecuado de realización, utilización adecuada de los recursos, como criterios de evaluación y contiene descriptores de nivel de consecución de la competencia (tabla 1)²⁷, así como el nivel mínimo de logro exigido para cada ítem²⁶. Fue diseñada por experto mediante el análisis de semántica y funcionalidad, se validó la factibilidad de manera global, obteniendo una consistencia interna de 0,98.

Tabla 1.

Criterios y descriptores de nivel de competencia

Criterios	Nivel 1 (básico)	Nivel 2 (intermedio)	Nivel 3 (avanzado)
Frecuencia de realización	Siempre	Siempre	Siempre
Autonomía personal	Entre el 51% y el 99% de las ocasiones que realice lo que establece el resultado de aprendizaje	Siempre	Siempre
Momento adecuado de realización	Hasta el 50% de las ocasiones que realice lo que establece el resultado de aprendizaje	Entre el 51% y el 99% de las ocasiones que realice lo que establece el resultado de aprendizaje	SIEMPRE
Utilización adecuada de recursos	Hasta el 50% de las ocasiones que realice lo que establece el resultado de aprendizaje	Entre el 51% y el 99% de las ocasiones que realice lo que establece el resultado de aprendizaje	Entre el 51% y el 99% de las ocasiones que realice lo que establece el resultado de aprendizaje

Análisis de datos

Se utilizó el paquete estadístico SPSS versión 23.0 (IBM^® Statistical Pakage for the Social Sciences [SPSS]). Para verificar la fiabilidad intraobservador se utilizó la prueba estadística alfa de Cronbach (α), tomando como base los criterios de interpretación a partir del siguiente resultado.

Si α > 9, es excelente; si α > 8, es bueno; si α > 7, es aceptable; si α > 6, es cuestionable; si α > 5, se dice que es pobre, y si α < 8, es inaceptable²⁹.

Para medir la estabilidad interobservador se aplicó la prueba no paramétrica Tau-b de Kendall, que evalúa la fiabilidad de reproducibilidad. Se trata de un estadístico de asociación que mide los excesos de los pares de los datos observados concordantes en relación con los discordantes, entendiéndose como la concordancia obtenida entre los resultados de la evaluación de los 2 observadores, el análisis del nivel de acuerdo obtenido al ser evaluado a la misma muestra en las mismas condiciones.

Resultados

La prueba estadística alfa de Cronbach mostró una excelente consistencia interna de la escala ECOEnf (r = 0,98), con un intervalo de confianza (IC) del 95% y un valor r = 0,97 para cada uno de los observadores (tabla 2).

Tabla 2.

Alfa de Cronbach

	Unidades de competencia evaluadas	Alfa. Observador A	Alfa. Observador B
UC1	Valoración y diagnóstico	0,89	0,85
UC2	Planificación	0,86	0,75
UC3	Intervención	0,93	0,89
UC4	Evaluación y calidad	0,89	0,85
UC5	Gestión	0,89	0,81
UC6	Comunicación y relación interpersonal	0,91	0,87
UC7	Actitudes y transferencia	0,91	0,90
	Total, de evaluación del instrumento	0,97	0,97

Al realizar la prueba de Kolmogorov-Smirnov, el valor alcanzado para el observador A no se asemeja a una distribución normal (Z = 1.492, p = 0,023); sin embargo, para el observador B sí se presenta normalidad en los datos (Z = 1.170, p = 0,30), por lo tanto, los análisis inferenciales de correlación y diferenciación de grupos se realizaron por medio de estadística no paramétrica.

Debido a que una muestra no presenta distribución normal, para medir el grado de correlación se utilizó el estadístico rho de Spearman, el cual muestra que, en general, la aplicación de la herramienta presenta fiabilidad para su aplicación, en el que se observó una correlación general de r = 0,72 (p ≤ 0,001); esto indica una asociación significativa, teniendo una correlación categorizada como buena. Para el observador A r = 1 (p ≤ 0,001), observador B r = 0,723 (p ≤ 0,001).

Los resultados de la tau-b de Kendall para cada uno de los ítems de cada unidad de competencia, mostraron significación estadística favorable con un valor de p < 0,05 (tabla 3).

Tabla 3.

Coeficiente de correlación Tau-b de Kendall

UC	Competencias	Kendall	p valor
UC 1: Valoración y diagnóstico	Reconocer los factores que influyen en la salud de la población	0,51	< 0,001
	Identificar las características del individuo, familia o grupo social al que se va a atender	0,59	< 0,001
	Detectar las necesidades de salud, así como los problemas reales y potenciales de los individuos, familias o grupos sociales a los que atiende independientemente del contexto en el que se encuentre	0,69	< 0,001
	Comprender el comportamiento interactivo de la persona en función del género, grupo o comunidad, dentro de su contexto social y multicultural	0,63	< 0,001
	Reconocer la información significativa para la identificación de datos relevantes	0,48	< 0,001
	Realizar análisis de prioridad con un criterio lógico y sentido común	0,52	< 0,001
	Realizar un diagnóstico de la situación del paciente de manera integral de acuerdo con la metodología enfermera considerando los aspectos físicos, psíquicos y sociales de los pacientes	0,54	< 0,001
	Cumplimentar los registros correspondientes con las evidencias del proceso realizado	0,75	< 0,001
UC 2: Planificación	Establecer objetivos que den respuesta a los diagnósticos	0,54	< 0,001
	Definir los cuidados de enfermería necesarios para dar respuesta al diagnóstico realizado	0,53	< 0,001
	Establecer una secuencia de intervenciones de enfermería por prioridades	0,58	< 0,001
	Utilizar los recursos disponibles para realizar las intervenciones programadas	0,65	< 0,001
	Prever la disponibilidad de los recursos necesarios para la puesta en marcha de las intervenciones necesarias para dar respuesta a la situación planteada	0,51	< 0,001
	Programar los tiempos de realización de cada actividad según las características del paciente y su entorno	0,45	0,001
	Cumplimentar los registros correspondientes con las evidencias del proceso realizado	0,70	< 0,001
UC 3: Intervención	Aplicar los procedimientos técnicos oportunos para cada situación	0,61	0,000
	Adaptar la prestación de los cuidados y de la atención a la persona, familia o grupo social siguiendo los fundamentos y principios teóricos y metodológicos de enfermería	0,55	< 0,001
	Aplicar los cuidados de enfermería siguiendo las guías de práctica clínica o asistencial para cada problema de salud	0,63	< 0,001
	Proporciona los cuidados desde una perspectiva integradora y con una visión holística	0,59	< 0,001
	Adecuar los tiempos de realización de cada actividad a la situación del paciente y a los ritmos marcados en cada contexto	0,60	< 0,001
	Adaptar las intervenciones al contexto social y cultural de cada paciente y situación	0,62	< 0,001
	Promover la participación de los pacientes en cualquier tema relacionado con su proceso salud-enfermedad	0,82	< 0,001
	Movilizar conductas preventivas dirigidas a evitar problemas de salud	0,54	< 0,001
	Prestar una atención orientada a la protección de la salud y a conseguir el bienestar de las personas, familia o grupos	0,58	< 0,001
	Promover hábitos y conductas saludables	0,50	< 0,001
	Fomentar la educación para la salud	0,58	< 0,001
	Favorecer la autonomía de los pacientes	0,70	< 0,001
	Fomentar el autocuidado	0,69	< 0,001
	Respetar y cumple el código deontológico de enfermería, la legislación general y la legislación sanitaria en todas sus intervenciones	0,65	< 0,001
	Respetar la intimidad y confidencialidad en todas y cada una de sus intervenciones	0,68	< 0,001
	Aplicar principios de razonamiento moral y ético en el análisis de conflictos y en la toma de decisiones	0,62	< 0,001
	Utilizar los recursos disponibles rentabilizándolos al máximo	0,60	< 0,001
	Registrar procedimientos, observaciones y cuidados de enfermería	0,50	< 0,001
UC 4: Evaluación y calidad	Reconocer los indicadores de calidad definidos para su área de actuación	0,68	< 0,001
	Realizar el seguimiento de las intervenciones de enfermería realizadas de acuerdo con el plan establecido	0,69	< 0,001
	Evaluar críticamente el impacto de la atención y los cuidados de enfermería mediante el análisis de indicadores establecidos	0,53	< 0,001
	Utilizar evidencia científica actualizada en la aplicación de los cuidados a los pacientes y en la toma de decisiones	0,69	< 0,001
	Detectar necesidades de mejora durante el proceso para futuras intervenciones	0,44	0,001
	Establecer propuestas de mejora de ante las debilidades detectadas	0,50	< 0,001
	Elaborar informes con los resultados de la evaluación realizada	0,52	< 0,001
	Implementar las acciones encaminadas a mejorar los resultados de las intervenciones de enfermería	0,52	< 0,001
UC 5: Gestión	Conocer los principios de financiación sanitaria y sociosanitaria	0,71	< 0,001
	Utilizar adecuadamente los recursos del sistema nacional de salud y de la comunidad autónoma disponibles con la mayor eficacia y efectividad	0,56	< 0,001
	Identificar las características de la función directiva de los servicios de enfermería y la gestión del cuidado	0,56	< 0,001
	Utilizar adecuadamente los sistemas de información sanitaria	0,56	< 0,001
UC 6: Comunicación y relación interpersonal	Asegurar una comunicación clara y precisa tanto verbal como escrita	0,65	< 0,001
	Expresarse con claridad y precisión con los individuos, familia y grupos sociales adaptando el código al nivel de comprensión de los receptores	0,73	< 0,001
	Expresarse con claridad y precisión con los otros miembros del equipo de salud para explicitar las dificultades que se le presentan en el desarrollo de las actividades	0,66	< 0,001
	Realizar la acogida del paciente y familia al ingreso siguiendo los protocolos establecidos	0,50	< 0,001
	Brindar apoyo emocional y espiritual al individuo, familia o grupo social	0,55	< 0,001
	Acompañar a la familia del paciente durante el proceso de enfermedad	0,48	< 0,001
	Asegurarse de que el paciente o familia ha entendido la información	0,58	< 0,001
	Relacionarse con el paciente aplicando correctamente las técnicas de comunicación verbal y no verbal, y relación interpersonal adaptándose a cada situación	0,54	< 0,001
	Animar al individuo, familia o grupo social a que compartan la información que pueda ser relevante para resolver la situación o evitar riesgos	0,58	< 0,001
	Orientar a los pacientes hacia la toma de decisiones más adecuadas	0,44	0,001
	Demostrar la capacidad de escucha activa tanto con los pacientes como con los miembros del equipo y dar respuestas consecuentes	0,71	< 0,001
	Utilizar adecuadamente el lenguaje específico de ciencias de la salud en las situaciones que lo requieran	0,56	< 0,001
	Establecer actuaciones dirigidas a superar los factores que interfieren en la comunicación cuando suponen una limitación	0,42	< 0,001
UC 7: Actitudes, valores y transferencia	Actuar con cautela, sentido común y Solicitar ayuda cuando lo cree necesario	0,88	< 0,001
	Modificar la conducta personal para conseguir el objetivo cuando surgen dificultades, nuevos datos o cambios en el contexto	0,66	< 0,001
	Adaptar su atención y cuidados a los diferentes escenarios, situaciones, medios y persona	0,72	< 0,001
	Contextualizar cada actuación a la situación que se presenta	0,52	< 0,001
	Demostrar respeto por el paciente, familia, comunidad y por el equipo multi e interdisciplinar, independientemente de sus diferencias	1,0	< 0,001
	Demostrar interés por actualizarse en aquello que se relaciona con su actividad	0,66	< 0,001
	Poseer iniciativa: actuar proactivamente	0,65	< 0,001
	Comprometerse por el adecuado cumplimiento de sus obligaciones en pro de la excelencia	0,64	< 0,001
	Demostrar interés en todas y cada una de sus actuaciones manteniendo ese interés hasta la consecución del objetivo	0,57	0,001
	Identificarse mental y afectivamente con el estado de ánimo del individuo, familia o grupo social	0,55	< 0,001
	Controlar las emociones personales y evitar reacciones negativas ante provocaciones, oposición u hostilidad de los demás o cuando se está sometido a situaciones de estrés	0,53	< 0,001
	Actuar con eficacia en situaciones de presión y de mucha exigencia	0,50	0,001
	Confiar en sí mismo: convencerse de la capacidad de realizar con éxito una tarea o elegir el enfoque adecuado para resolver un problema, en sus áreas de incumbencia	0,52	< 0,001
	Aprender a aprender	0,50	< 0,001

Para la UC 1 (UC1), Valoración y diagnóstico, los ítems mejor asociados entre sí corresponden a «cumplimentar los registros correspondientes con las evidencias del proceso realizado», Kendall = 0,75, (p ≤ 0,001), y «detectar las necesidades de salud, así como los problemas reales y potenciales de los individuos, familias o grupos sociales a los que atiende independientemente del contexto en el que se encuentre», Kendall = 0,69 (p ≤ 0,001).

En la UC2, Planificación, los ítems con mayor correlación fueron: «Cumplimentar los registros correspondientes con las evidencias del proceso realizado», con un resultado de 0,70 (p ≤ 0,001). El de menor correlación, pero con significación estadística, «Programar los tiempos de realización de cada actividad según las características del paciente y su entorno», correlación de 0,45 (p ≤ 0,001).

De acuerdo a la UC3, Intervención, todos los ítems muestran una buena fiabilidad, ya que rebasan la correlación mayor de 0,5 (p ≤ 0,001).

En la UC4, Evaluación y calidad, la mayor parte de los ítems presentan una buena concordancia interobservador, exceptuando el ítem «Detectar necesidades de mejora durante el proceso para futuras intervenciones», Kendall 0,44 (p = 0,001).

De acuerdo con la UC5, Gestión, se encontró que el ítem «Conocer los principios de financiación sanitaria y sociosanitaria» tuvo la mayor correlación con un 0.71 (p ≤ 0,001).

Respecto a la UC6, Comunicación y relación interpersonal, presenta una correlación menor de 0,5, aunque cuentan con una significación estadística (p ≤ 0,001) en los ítems «Acompañar la familia del paciente durante el proceso de enfermedad», «Orientar a los pacientes hacia la toma de decisiones más adecuadas» y «Establecer actuaciones dirigidas a superar los factores que interfieren en la comunicación cuando suponen una limitación».

En el análisis de concordancia de la UC7, Actitudes, valores y transferencia, todos los ítems muestran una concordancia interobservador adecuada (p ≤ 0,001).

Por último, al utilizar el estadístico entre los resultados de la herramienta medido 2 veces por diferente observador en el mismo momento, se encontró una buena correlación del instrumento, esto indica que el instrumento se considera fiable debido que al aplicar el coeficiente de correlación entre los 2 evaluadores se obtuvo un resultado de 0,66 (p ≤ 0,001).

Discusión

El análisis estadístico realizado en este estudio, para determinar la fiabilidad del instrumento de evaluación de competencias enfermeras en España, muestra firmemente la consistencia interna, estabilidad temporal y concordancia interobservador de la escala ECOEnf.

Por otra parte, tal como se muestra en los resultados, existe una serie de ítems cuya puntuación correlacional está por debajo de 0,5, a pesar de contar con un valor de p < 0,05 y considerarse como fiables. Los investigadores y expertos están revisando los ítems mencionados como proceso de mejora continua, considerando que aporta un valor de calidad a la carrera.

Aunque existen otros instrumentos validados, que evalúan las competencias en ámbitos particulares o específicos^24,25, la peculiaridad de la escala ECOEnf es que evalúa las competencias enfermeras exigidas por la normativa española para el ejercicio de la profesión de enfermero⁴. Por ello, su utilización permite evidenciar que los enfermeros que superen la evaluación medida con la misma habrán adquirido las competencias que establece la normativa vigente en este país. Así mismo, dado que la normativa española responde a las exigencias europeas, se podría decir que la superación de la evaluación con este instrumento permite evidenciar las competencias exigidas para los enfermeros a nivel europeo. Comparar los resultados obtenidos al valorar la herramienta con otros estudios es complicado, debido a la diferencia de análisis estadísticos empelados y sobre todo a la dificultad para encontrar escalas que midan específicamente las competencias enfermeras recogidas en la Orden CIN 2134/2008 y el Espacio Europeo de Educación Superior.

La escala ECOEnf supone una manera diferente de realizar la evaluación de las competencias, incorporando descriptores de nivel en lugar de utilizar una escala numérica con la que puntuar subjetivamente de 0 a 10 el ítem, según el criterio del evaluador. Describir los niveles de consecución para cada ítem contribuye a disminuir la subjetividad de dicha evaluación. Puede utilizarse en cualquier momento del periodo formativo, contribuyendo a la evaluación continua, y también para la evaluación del mantenimiento de la competencia profesional, por ejemplo, en procesos de certificación y recertificación.

La evaluación de competencias es un concepto global y no debe basarse en un único instrumento; la subjetividad de la misma se puede disminuir combinando instrumentos y métodos. La escala ECOEnf es un instrumento más que contribuye a que el proceso de evaluación sea lo más objetivo posible.

Limitaciones

La escala ECOEnf supone un cambio en la evaluación tradicional, lo que hace necesaria una formación previa de los tutores clínicos, como evaluadores de los estudiantes; no obstante, es una formación sencilla y es acogida como una oportunidad para la actualización de estos profesionales en este tema. Además, los evaluadores están apoyados en todo momento por los tutores académicos (profesores de prácticas de la universidad), que realizan seguimiento continuo y resolución de las dudas que puedan generarse durante el proceso.

Conclusión

Al evaluar la concordancia intra e interobservador de la escala ECOEnf mediante el análisis estadístico, se encontró una excelente consistencia interna mediante el alfa de Cronbach para medir las competencias de las PC en enfermería con un IC del 95%.

De acuerdo con la concordancia entre observadores, se mostraron escasos ítems que tuvieron una correlación menor de 0,5; sin embargo, cumplen con la fiabilidad con una significación estadística de p valor < 0,05 en todos los ítems. En general, se mostró estadísticamente que el constructo obtuvo una buena fiabilidad intraclase, así como una estabilidad entre observadores.

Por último, al realizar la correlación entre los resultados de la herramienta, medido 2 veces por diferentes observadores en el mismo momento, se encontró una buena correlación y debido al coeficiente de correlación del instrumento entre observadores se considera un instrumento con validez y fiabilidad para ser utilizado en la evaluación de las competencias enfermeras.

Implicaciones para la política de enfermería

La escala ECOEnf se puede utilizar para evaluar las competencias de Enfermería no solo en España, sino también en el entorno europeo, ya que se ajusta a las directrices establecidas por el Espacio Europeo de Educación Superior y la Directiva Europea sobre cualificaciones profesionales, que establecen la necesidad de demostrar que los egresados han adquirido unas competencias predefinidas.

Financiación

Esta investigación no ha recibido ningún tipo de financiación.

Conflicto de intereses

Los autores declaran no tener ningún conflicto de intereses en lo que corresponde a la investigación, la autoría o la publicación de este artículo.

Agradecimientos

Ninguno.