La formación de enfermeros en España tiene como objetivo disponer de profesionales que proporcionen cuidados de calidad de forma competente1,2. Esta formación se ajusta a las directrices establecidas por el Espacio Europeo de Educación Superior, la Directiva Europea de cualificaciones profesionales3 y la legislación nacional4, que señala, además, la necesidad de rendir cuentas sobre la adquisición de competencias5. Un aspecto fundamental de esta formación es la elevada carga lectiva que suponen prácticas clínicas (PC)6,7 y que vienen determinadas por la mencionada directiva de cualificaciones.

Se entiende por competencia «la intersección entre conocimientos, habilidades, actitudes y valores, así como la movilización de estos componentes, para transferirlos al contexto o situación real, creando la mejor actuación/solución, para dar respuesta a las diferentes situaciones y problemas que se planteen en cada momento, con los recursos disponibles»8.

En Enfermería, las competencias surgen de las grandes funciones establecidas para la profesión (asistencial, docente, investigadora y de gestión)9,10 y están contempladas tanto a nivel internacional, en la definición del Consejo Internacional de Enfermería11, como nacional, en la Ley de ordenación de las profesiones sanitarias12. Así mismo, la Orden Ministerial CIN 2134/20084 establece los requisitos necesarios que habilitan para el ejercicio de la profesión de Enfermería, recogiendo tanto las competencias que deben adquirirse, como la formación necesaria para el desarrollo de las mismas.

Por lo tanto, la formación basada en competencias requiere de métodos que permitan su entrenamiento y su evaluación13, siendo esta una cuestión primordial para la definición de escenarios de desempeño, capacidad y de actuación profesional14,15. Para evaluar las competencias es necesario disponer de instrumentos que reúnan criterios de validez y fiabilidad16–20.

La validez se entiende como el grado en que un instrumento de medida mide aquello que realmente pretende medir o sirve para el propósito para el que ha sido construido, y puede definirse como un proceso unitario que permite realizar inferencias e interpretaciones correctas de las puntuaciones que se obtengan al aplicar el instrumento. La fiabilidad es el grado en que un instrumento mide con precisión y sin error, es decir, la capacidad de ofrecer en su empleo repetidos resultados veraces y constantes en condiciones similares de mediciones. Esta fiabilidad se valora a través de la consistencia, la estabilidad temporal y la concordancia interobservador21,22, la cual se refiere a la consistencia entre 2observadores, es decir, al nivel de acuerdo obtenido al ser evaluada la misma muestra en las mismas condiciones por 2evaluadores distintos, obteniendo iguales resultados, a esto se le llama fiabilidad interobservador23.

En este contexto, existen herramientas validadas que evalúan las competencias desde un ámbito particular o específico24,25, Sin embargo, la Escala de Evaluación de Competencias Enfermeras (ECOEnf)26,27 fue diseñada y validada para dar respuesta a la evaluación de las competencias recogidas en la mencionada orden ministerial, a la que deben responder todos los programas de estudios de Enfermería en España. Por lo tanto, ofrece una propuesta destinada a evidenciar dichas competencias de manera general, de acuerdo con sus funciones, y siguiendo el proceso de atención de Enfermería. Este instrumento ha demostrado validez de contenido28.

Con base en lo descrito, se plantea el objetivo de determinar la concordancia intra e inter observador de la escala ECOEnf para la evaluación de competencias enfermeras en España.

Se realizó un estudio observacional, descriptivo y transversal para evaluar la fiabilidad y concordancia entre observadores de la escala ECOEnf, la cual fue aplicada en la misma población, en el mismo momento, por 2observadores distintos, con un alcance correlacional.

La población objeto la constituyen las evaluaciones realizadas a los alumnos de la Universidad Francisco de Victoria (UFV) en Madrid, España, distribuidos en 28 hospitales, 11 públicos y 17 privados, con los que tiene convenio la universidad para la realización de las rotaciones de las 3 asignaturas de PC: PC I (hospitalización médica), PC II (hospitalización quirúrgica, quirófano y urgencias) y PC III (cuidados intensivos adultos y pediátricos;) ubicadas en segundo, tercer y cuarto curso de grado, respectivamente. Dado que el diseño de la escala está basado en las competencias establecidas para el grado en Enfermería en la Orden CIN/2134/2008, de 3 de julio4, y que esta normativa hace referencia a las que deben adquirirse y a su evaluación en el módulo de prácticas y, teniendo en cuenta, que es en los hospitales donde realizan el mayor número de rotaciones clínicas los estudiantes, a lo largo de las 3asignaturas de prácticas, las competencias que evalúa el instrumento pueden medirse en estos centros.

Para reclutar las evaluaciones, se realizó una estrategia bietápica: primero se seleccionaron 6 hospitales de la Comunidad de Madrid, de manera aleatoria y estratificada; para ello, se estratificó la muestra dividiendo los 28 hospitales (17 privados y 11 públicos) en 2urnas: una con los centros privados y la otra con los públicos. Se extraen 3 centros de cada una, de manera que se seleccionaron 3 hospitales privados: Hospital La Milagrosa, Hospital General de Villalba y Hospital Universitario Quirón; y 3 hospitales públicos: Hospital Universitario 12 de Octubre, Hospital Universitario de Sureste y Hospital Universitario del Henares.

En las 6instituciones seleccionadas de manera aleatoria estratificada estaban realizando prácticas 240 alumnos durante el curso 2016-2017.

Los criterios utilizados para elegir a los alumnos fueron 3: que se encontraran cursando las asignaturas de PC I, PC II o PC II durante el curso 2016-2017; que estas prácticas las estuvieran realizando en los hospitales seleccionados, y que sus tutores clínicos accedieran a participar en el estudio.

Se preguntó a los tutores clínicos de estos 6 hospitales la disposición para participar en la investigación, obteniendo un total de 132 observadores, que aceptaron y que evaluaron a 66 estudiantes durante el mismo periodo de prácticas, obteniendo 2 medidas paralelas para cada estudiante, un total de 132 medidas. Dado que con este número de mediciones se demostraba la concordancia, se consideró que era suficiente para valorar la fiabilidad.

Este proyecto fue aprobado por el Comité de Ética de la Investigación de la UFV, que, de acuerdo con su resolución, lo dictaminó como favorable y como una investigación sin riesgo, al no implicar procedimiento en humanos o animales.

La prueba estadística alfa de Cronbach mostró una excelente consistencia interna de la escala ECOEnf (r = 0,98), con un intervalo de confianza (IC) del 95% y un valor r = 0,97 para cada uno de los observadores (tabla 2).

Al realizar la prueba de Kolmogorov-Smirnov, el valor alcanzado para el observador A no se asemeja a una distribución normal (Z = 1.492, p = 0,023); sin embargo, para el observador B sí se presenta normalidad en los datos (Z = 1.170, p = 0,30), por lo tanto, los análisis inferenciales de correlación y diferenciación de grupos se realizaron por medio de estadística no paramétrica.

Debido a que una muestra no presenta distribución normal, para medir el grado de correlación se utilizó el estadístico rho de Spearman, el cual muestra que, en general, la aplicación de la herramienta presenta fiabilidad para su aplicación, en el que se observó una correlación general de r = 0,72 (p ≤ 0,001); esto indica una asociación significativa, teniendo una correlación categorizada como buena. Para el observador A r = 1 (p ≤ 0,001), observador B r = 0,723 (p ≤ 0,001).

Los resultados de la tau-b de Kendall para cada uno de los ítems de cada unidad de competencia, mostraron significación estadística favorable con un valor de p < 0,05 (tabla 3).

Para la UC 1 (UC1), Valoración y diagnóstico, los ítems mejor asociados entre sí corresponden a «cumplimentar los registros correspondientes con las evidencias del proceso realizado», Kendall = 0,75, (p ≤ 0,001), y «detectar las necesidades de salud, así como los problemas reales y potenciales de los individuos, familias o grupos sociales a los que atiende independientemente del contexto en el que se encuentre», Kendall = 0,69 (p ≤ 0,001).

En la UC2, Planificación, los ítems con mayor correlación fueron: «Cumplimentar los registros correspondientes con las evidencias del proceso realizado», con un resultado de 0,70 (p ≤ 0,001). El de menor correlación, pero con significación estadística, «Programar los tiempos de realización de cada actividad según las características del paciente y su entorno», correlación de 0,45 (p ≤ 0,001).

De acuerdo a la UC3, Intervención, todos los ítems muestran una buena fiabilidad, ya que rebasan la correlación mayor de 0,5 (p ≤ 0,001).

En la UC4, Evaluación y calidad, la mayor parte de los ítems presentan una buena concordancia interobservador, exceptuando el ítem «Detectar necesidades de mejora durante el proceso para futuras intervenciones», Kendall 0,44 (p = 0,001).

De acuerdo con la UC5, Gestión, se encontró que el ítem «Conocer los principios de financiación sanitaria y sociosanitaria» tuvo la mayor correlación con un 0.71 (p ≤ 0,001).

Respecto a la UC6, Comunicación y relación interpersonal, presenta una correlación menor de 0,5, aunque cuentan con una significación estadística (p ≤ 0,001) en los ítems «Acompañar la familia del paciente durante el proceso de enfermedad», «Orientar a los pacientes hacia la toma de decisiones más adecuadas» y «Establecer actuaciones dirigidas a superar los factores que interfieren en la comunicación cuando suponen una limitación».

En el análisis de concordancia de la UC7, Actitudes, valores y transferencia, todos los ítems muestran una concordancia interobservador adecuada (p ≤ 0,001).

Por último, al utilizar el estadístico entre los resultados de la herramienta medido 2veces por diferente observador en el mismo momento, se encontró una buena correlación del instrumento, esto indica que el instrumento se considera fiable debido que al aplicar el coeficiente de correlación entre los 2evaluadores se obtuvo un resultado de 0,66 (p ≤ 0,001).

El análisis estadístico realizado en este estudio, para determinar la fiabilidad del instrumento de evaluación de competencias enfermeras en España, muestra firmemente la consistencia interna, estabilidad temporal y concordancia interobservador de la escala ECOEnf.

Por otra parte, tal como se muestra en los resultados, existe una serie de ítems cuya puntuación correlacional está por debajo de 0,5, a pesar de contar con un valor de p < 0,05 y considerarse como fiables. Los investigadores y expertos están revisando los ítems mencionados como proceso de mejora continua, considerando que aporta un valor de calidad a la carrera.

Aunque existen otros instrumentos validados, que evalúan las competencias en ámbitos particulares o específicos24,25, la peculiaridad de la escala ECOEnf es que evalúa las competencias enfermeras exigidas por la normativa española para el ejercicio de la profesión de enfermero4. Por ello, su utilización permite evidenciar que los enfermeros que superen la evaluación medida con la misma habrán adquirido las competencias que establece la normativa vigente en este país. Así mismo, dado que la normativa española responde a las exigencias europeas, se podría decir que la superación de la evaluación con este instrumento permite evidenciar las competencias exigidas para los enfermeros a nivel europeo. Comparar los resultados obtenidos al valorar la herramienta con otros estudios es complicado, debido a la diferencia de análisis estadísticos empelados y sobre todo a la dificultad para encontrar escalas que midan específicamente las competencias enfermeras recogidas en la Orden CIN 2134/2008 y el Espacio Europeo de Educación Superior.

La escala ECOEnf supone una manera diferente de realizar la evaluación de las competencias, incorporando descriptores de nivel en lugar de utilizar una escala numérica con la que puntuar subjetivamente de 0 a 10 el ítem, según el criterio del evaluador. Describir los niveles de consecución para cada ítem contribuye a disminuir la subjetividad de dicha evaluación. Puede utilizarse en cualquier momento del periodo formativo, contribuyendo a la evaluación continua, y también para la evaluación del mantenimiento de la competencia profesional, por ejemplo, en procesos de certificación y recertificación.

La evaluación de competencias es un concepto global y no debe basarse en un único instrumento; la subjetividad de la misma se puede disminuir combinando instrumentos y métodos. La escala ECOEnf es un instrumento más que contribuye a que el proceso de evaluación sea lo más objetivo posible.

Al evaluar la concordancia intra e interobservador de la escala ECOEnf mediante el análisis estadístico, se encontró una excelente consistencia interna mediante el alfa de Cronbach para medir las competencias de las PC en enfermería con un IC del 95%.

De acuerdo con la concordancia entre observadores, se mostraron escasos ítems que tuvieron una correlación menor de 0,5; sin embargo, cumplen con la fiabilidad con una significación estadística de p valor < 0,05 en todos los ítems. En general, se mostró estadísticamente que el constructo obtuvo una buena fiabilidad intraclase, así como una estabilidad entre observadores.

Por último, al realizar la correlación entre los resultados de la herramienta, medido 2veces por diferentes observadores en el mismo momento, se encontró una buena correlación y debido al coeficiente de correlación del instrumento entre observadores se considera un instrumento con validez y fiabilidad para ser utilizado en la evaluación de las competencias enfermeras.

Esta investigación no ha recibido ningún tipo de financiación.

Los autores declaran no tener ningún conflicto de intereses en lo que corresponde a la investigación, la autoría o la publicación de este artículo.