Desarrollo y validación de meta-instrumentos de medición: una aproximación metodológica

Resumen

Una valoración enfermera válida y fiable resulta imprescindible para identificar los cuidados requeridos y garantizar la seguridad del paciente. La conveniencia de realizar una valoración integral al paciente ha propiciado un considerable aumento de instrumentos de valoración que restan agilidad al proceso. No obstante, la posibilidad de colapsar varios instrumentos que presentan constructos comunes o similares en un meta-instrumento que los integre se plantea como una alternativa que puede facilitar la eficiencia de la valoración.

Un meta-instrumento puede definirse como un instrumento de medida que colapsa otros instrumentos en base a que miden constructos relacionados y comparten dimensiones o ítems, con el objetivo de obtener una medición con un enfoque más parsimonioso. La literatura sobre este tipo de herramientas de valoración es escasa y las opciones para su construcción y validación inicial son amplias. Además, es conveniente confirmar sus propiedades psicométricas y que mantienen, al menos, la misma capacidad diagnóstica que los instrumentos originales.

En este artículo se presenta una propuesta de las fases a seguir para la construcción de meta-instrumentos, así como diferentes alternativas metodológicas que pueden utilizarse en función de las características de los instrumentos originales y el objetivo de la creación del meta-instrumento. Además, se hace especial mención a los listados de verificación que será conveniente utilizar para estudiar las propiedades psicométricas y la capacidad de diagnóstica de los meta-instrumentos. Por último, se plantean futuras líneas de investigación y retos en el desarrollo de los meta-instrumentos de valoración enfermera.

Abstract

A valid and reliable nursing assessment is essential for identifying required care and ensuring patient safety. The convenience of conducting a comprehensive assessment of the patient has led to a significant increase in assessment tools that may slow down the process. Nevertheless, the possibility of consolidating various instruments that measure common or similar constructs into a meta-instrument is considered an alternative that could enhance assessment efficiency.

A meta-instrument can be defined as a measurement tool that consolidates other instruments based on measuring related constructs and sharing dimensions or items, aiming to achieve a more parsimonious measurement. Literature on such assessment tools is scarce, and there are numerous options for their construction and initial validation. Additionally, it is advisable to confirm their psychometric properties and ensure that they maintain, at the very least, the same diagnostic capacity as the original instruments.

This article presents a proposal for the phases to follow in constructing meta-instruments, along with various methodological alternatives that can be employed based on the characteristics of the original instruments and the purpose of creating the meta-instrument. Furthermore, special attention is given to the checklists that should be used to study the psychometric properties and diagnostic capacity of the meta-instruments. Finally, future lines of research and challenges in the development of nursing assessment meta-instruments are discussed.

Introducción

Realizar una correcta valoración enfermera es fundamental para diagnosticar y planificar los cuidados que requieren los pacientes, así como evaluar la efectividad de las intervenciones. Además, gracias a esta información, las enfermeras pueden proporcionar las condiciones óptimas de cuidados ante la premisa de garantizar la seguridad del paciente. Para lograr estos propósitos, la valoración enfermera debe integrar información válida y fiable¹ que puede obtenerse de diversas fuentes, destacando una amplia gama de instrumentos para valorar diferentes situaciones, como, por ejemplo, el riesgo de caídas o pérdida de la integridad cutánea, dependencia y fragilidad, desnutrición, calidad del sueño, alteraciones sensoriales, problemas de salud mental o calidad de vida, entre otros aspectos.

El desarrollo de estos instrumentos de valoración ha crecido de forma exponencial en las últimas décadas². Este crecimiento supone un aumento en la cantidad de información recogida por las enfermeras que, además, implica en muchas ocasiones la duplicidad de documentación³, lo que conlleva que la valoración enfermera sea redundante⁴. Esto hace que las enfermeras utilicen estos instrumentos con cierto nivel de escepticismo, percibiendo su uso como una carga administrativa y una pérdida de tiempo⁵. Todo ello se traduce en una cumplimentación inexacta, rutinaria y con poca participación de las enfermeras que devuelve información poco válida y fiable para el cuidado^6,7.

Por ello, es necesario ofrecer alternativas que permitan mejorar la valoración enfermera bajo el prisma de una evaluación del paciente integral y estructurada que sea más válida, fiable y parsimoniosa⁸. Para ello, la literatura empieza a ofrecer propuestas de nuevos meta-instrumentos^4,9, que podrían definirse como instrumentos de medida que colapsan otros instrumentos en base a que miden constructos relacionados y comparten dimensiones o ítems, con el objetivo de obtener una valoración con un enfoque más parsimonioso, pero al menos, con las mismas propiedades psicométricas y capacidad diagnóstica que los instrumentos originales.

Algunos de estos meta-instrumentos se proponen como un ejercicio teórico⁴, mientras que otros se desarrollaron con el objetivo de aumentar las tasas de cumplimentación de los registros de enfermería e intentan subsanar la falta de validez de una información que repercute en los cuidados⁹. No obstante, son pocas las experiencias presentadas en la literatura, y es conveniente tratar de sentar las bases metodológicas y las alternativas que permitirán avanzar en el futuro desarrollo de este tipo de instrumentos de medición. Por tanto, el objetivo de este artículo es presentar una aproximación metodológica para la construcción y validación de meta-instrumentos de medición en el ámbito de las ciencias de la salud en general y de la enfermería en particular.

Propuesta metodológica: una visión general

A modo de síntesis, la primera fase consiste en establecer el conjunto de constructos que se quieren medir y en identificar el perfil de los destinatarios, el nivel asistencial u otros factores que puedan influir en la selección del conjunto de los instrumentos de medición que se pretenden colapsar. La selección de estos instrumentos podrá hacerse en base a sus propiedades psicométricas o creando grupos de expertos que pueden seleccionarse en base a criterios de cualificación académica, experiencia en diseño y validación de instrumentos de medida o expertise clínica.

Como segunda fase, se propone analizar el marco de relaciones conceptuales y semánticas entre las diferentes dimensiones de los instrumentos e ítems, para detectar similitudes, duplicidades y redundancias que permitan establecer relaciones conceptuales directas e indirectas. Se proponen diferentes técnicas de análisis y se recomienda utilizar marcos muestrales amplios para garantizar la representatividad de la población a estudio. En este punto resulta necesario realizar un análisis descriptivo y bivariante para identificar y valorar posibles relaciones que sea conveniente tener en cuenta en la siguiente fase.

La tercera fase consiste en desarrollar el meta-instrumento. Para ello, se pueden explorar diferentes técnicas analíticas, en función de la naturaleza de los ítems que conforman los instrumentos de partida. El objetivo es obtener un meta-instrumento que, con el menor número de ítems, sea capaz de medir los constructos deseados.

Una vez construido el nuevo meta-instrumento, en la cuarta fase se llevará a cabo una validación inicial del mismo para confirmar su precisión y su capacidad de discriminación. En el texto se mencionan algunas alternativas, siendo necesario ajustarse a lo recomendado por la técnica analítica utilizada en el desarrollo del meta-instrumento. Por último, se recuerda la necesidad de estudiar las propiedades psicométricas del instrumento, así como su capacidad diagnóstica. En la figura 1 se presenta un diagrama de flujo con el proceso de desarrollo y validación de un meta-instrumento.

Figura 1.

Proceso de desarrollo y validación de un meta-instrumento.

Construcción del meta-instrumento

Fase I. Selección de los constructos e instrumentos

Establecer el conjunto de constructos que quieren medirse es un buen punto de partida para empezar a construir un meta-instrumento. Un constructo o variable latente puede definirse como un atributo específico que no puede medirse directamente, pero que puede inferirse a través de un conjunto de ítems, reactivos o variables observadas. Probablemente, es uno de los puntos más controvertidos en todo este proceso, ya que puede realizarse desde diferentes enfoques. Por una parte, la literatura recomienda organizar la valoración enfermera utilizando un modelo o marco específico de enfermería⁸. No obstante, existe una amplia lista donde elegir y, además, el debate sobre si las teorías y modelos reflejan la realidad y la complejidad del cuidado sigue abierto¹⁰. Además, es posible encontrar literatura sobre meta-instrumentos⁴ o sistemas de valoración enfermera que no utilizan ningún marco, modelo o teoría de enfermería¹¹. Por otra parte, la selección de constructos también puede basarse en indicadores de enfermería, indicadores de calidad de los cuidados o resultados sensibles a la práctica enfermera. Sin pretender entrar en una discusión sobre la nomenclatura más apropiada, este enfoque presenta cierta complejidad, ya que no hay un consenso claro sobre cuáles son los indicadores que realmente capturan la calidad de los cuidados¹², y los instrumentos de medición tienen utilidad solo en algunos de ellos.

En ambos casos pueden emplearse técnicas como grupos nominales, grupos focales o el método Delphi para alcanzar un consenso sobre los constructos que se pretenden medir y que formarán parte del meta-instrumento¹³. Además, pueden utilizarse marcos metodológicos más amplios, como el recomendado por la iniciativa COnsensus-based Standards for the selection of health Measurement INstruments (COSMIN) para establecer conjuntos de resultados principales¹⁴, incluyendo listados de verificación de la calidad metodológica de los estudios de validación para facilitar la selección de los instrumentos de medición¹⁵. Junto con la validez (grado en que un instrumento de medida mide el constructo que pretende medir), la fiabilidad de medición (grado en que la medición está libre de errores) y la precisión diagnóstica (capacidad de una prueba para discriminar entre personas afectadas y no afectadas por la condición de interés) de los instrumentos elegidos, habrá que considerar aspectos concretos relacionados con el perfil de los usuarios, el nivel asistencial, la disponibilidad de los datos, las competencias profesionales o el contexto institucional¹⁶, que pueden influir en la selección del conjunto de constructos y de los instrumentos de medición. Por ejemplo, es posible que se utilicen datos retrospectivos o que el conjunto de instrumentos esté protocolizado por el centro sanitario¹⁷. También es posible que solo se disponga de los instrumentos en el idioma original, siendo necesario adaptarlos transculturalmente y realizar estudios previos de validación y de precisión diagnóstica.

Fase II. Análisis de los instrumentos, constructos e ítems

Una vez decididos los constructos a medir y seleccionados los instrumentos que se utilizarán para construir el meta-instrumento, es conveniente analizar las relaciones conceptuales y semánticas entre las dimensiones de los instrumentos y con el modelo, teoría o marco conceptual que se haya elegido. Además, analizar los ítems de los instrumentos permitirá detectar similitudes, duplicidades y redundancias para establecer relaciones conceptuales directas (ítems de diferentes instrumentos directamente vinculados a un mismo cuidado) o indirectas (relaciones de los ítems con otros cuidados a los que no están directamente vinculados)¹⁷. Para ello pueden utilizarse métodos tradicionales de análisis conceptual y semántico¹⁸, o incluso aplicar algoritmos de procesamiento de lenguaje natural¹⁹. Los resultados de estos análisis de relaciones conceptuales y semánticas orientarán y necesitarán ser confirmados por análisis estadísticos posteriores.

Los diseños transversales retrospectivos basados en datos de estudios previos⁴ o datos de registro¹⁷ parecen el tipo de estudio más asequible para estudiar de manera cuantitativa las relaciones entre dimensiones e ítems de diferentes instrumentos, a pesar de la limitación que pueden suponer la disponibilidad y la calidad de los datos en la historia clínica²⁰. Lo recomendable es que los datos se recojan de manera prospectiva y con personal entrenado, aunque esto puede exigir una elevada necesidad de recursos y tiempo si se tienen en cuenta los tamaños muestrales utilizados en estudios previos^4,17.

Más allá de la clásica recomendación de utilizar entre 5 y 10 participantes por ítems o al menos 100 participantes¹⁵, la determinación del tamaño muestral en estudios de validación sigue siendo un aspecto a resolver, con tamaños muestrales que varían entre 100 y más de 1.000 participantes^21,22 y, además, no se han recuperado recomendaciones específicas sobre la muestra necesaria para colapsar o unificar varios instrumentos en uno solo. No obstante, Palese et al.⁴ utilizaron una muestra de 1.464 valoraciones en su ejercicio teórico para un total de 42 ítems, y Luna-Aleixos et al.¹⁷ emplearon una muestra de 1.352 valoraciones para un total de 21 ítems. Por ello, se recomienda utilizar marcos muestrales amplios que, por una parte, garanticen la representatividad de la población a estudio y, por otra parte, permitan crear sub-muestras y ejecutar las estrategias analíticas para explorar las relaciones entre dimensiones e ítems, construir el meta-instrumento y analizar sus propiedades psicométricas.

A la hora de explorar las relaciones entre dimensiones e ítems se abre una ventana de opciones que van desde análisis clásicos de asociación y correlación en función de la naturaleza de las variables¹⁷ a análisis factoriales⁴ o modelos gráficos gaussianos²³. Además, queda abierta la posibilidad del uso de técnicas como análisis de correspondencias múltiples y análisis de conglomerados para explorar posibles agrupaciones de los ítems^24-26. A falta de una recomendación específica, la elección de estas técnicas dependerá del tipo de instrumentos e ítems que formen parte del análisis y de la pericia y la experiencia de los investigadores.

Independientemente de las técnicas utilizadas, no hay que olvidar que es necesario realizar un detallado análisis descriptivo y bivariante, tanto de las variables sociodemográficas, clínicas o de otro tipo incluidas en el estudio, como de los instrumentos y sus ítems, con el objetivo de conocer a fondo los datos e identificar posibles asociaciones que convenga incluir en la siguiente fase de construcción del meta-instrumento.

Fase III. Desarrollo del meta-instrumento

Toda la información y el aprendizaje previo sobre el funcionamiento de los instrumentos que pretenden colapsarse, así como sobre las interacciones con las variables sociodemográficas incluidas en el estudio, serán fundamentales para avanzar en esta fase. Es conveniente recordar que el objetivo es conseguir un meta-instrumento que colapse los instrumentos originales con un enfoque más parsimonioso, y esto implicará que se reduzca la cantidad de ítems, pero asegurando que se medirán la misma cantidad de constructos.

Para ello, estudios previos han utilizado diferentes técnicas analíticas. Por ejemplo, Palese et al.⁴ utilizaron la teoría clásica de los test con una secuencia lógica de análisis factorial exploratorio y análisis factorial confirmatorio. No obstante, la teoría de respuesta al ítem ofrece alternativas, como el análisis Rasch²⁷, que superan algunas limitaciones de los análisis factoriales clásicos, ya que esta técnica asume que la relación entre la respuesta al ítem y el constructo no necesariamente tiene que ser lineal, es capaz de detectar un funcionamiento diferencial en el ítem en función de variables sociodemográficas y puede utilizarse con cualquier tipo de ítem. Estas técnicas se utilizan habitualmente en estudios de validación de instrumentos; no obstante, su objetivo aquí no es analizar la validez estructural de un cuestionario, sino agrupar los ítems que están relacionados en dimensiones con la intención de poder seleccionar aquellos más representativos y reducir la cantidad total para conseguir una mayor parsimonia entre los instrumentos.

En otro estudio, el desarrollo de un meta-instrumento se basó en modelos lineales para predecir las puntuaciones de los instrumentos originales en base a una combinación de sus propios ítems¹⁷. No obstante, estos modelos exigen que se cumplan ciertas condiciones, como normalidad de los residuos, homogeneidad de la varianza (homocedasticidad), linealidad entre las variables e independencia de las observaciones. El cumplimiento de estas condiciones debería verificarse para evitar llegar a conclusiones espurias y, en caso de no cumplirse, pueden explorarse otras extensiones de los modelos lineales de acuerdo con la tabla 1. En este punto es conveniente comentar que la declaración Transparent Reporting of a multivariable prediction model for Individual Prognosis Or Diagnosis [TRIPOD]) recomienda la utilización de métodos de análisis como el bootstrapping o la validación cruzada, aumentando así el rigor metodológico²⁸.

Tabla 1.

Cumplimiento de propiedades de los modelos lineales

Modelos	Normalidad	Homogeneidad	Linealidad	Independencia
Lineal
Lineal generalizado	x
Mínimos cuadrados generalizados		x
Modelos aditivos			x
Modelos mixtos				x

Además, existen experiencias previas con otros modelos predictivos que deberían tenerse en cuenta de cara a futuros desarrollos. Por ejemplo, los modelos de detección automática de interacciones mediante chi-cuadrado (modelos CHi-squared Automatic Interaction Detection [CHAID]) se utilizan tradicionalmente en estudios de mercado para identificar perfiles de clientes a partir de datos categóricos y utilizando el resultado de la prueba chi-cuadrado. De hecho, algunos autores ya han utilizado este tipo de análisis para reducir la cantidad de ítems de algún cuestionario²⁹. Del mismo modo, los modelos predictivos basados en redes neuronales se han utilizado para predecir la aparición de la enfermedad de Parkinson utilizando cuestionarios que miden la intensidad de los síntomas³⁰. En este caso no se eliminaron ítems, pero se observó que no todos los síntomas tenían la misma relevancia a la hora de predecir la aparición de la enfermedad. Otros autores apuestan por el desarrollo de reglas de predicción clínica en base al análisis de factores de riesgo³¹ o modelos de inteligencia artificial³².

Fase IV. Validación inicial del meta-instrumento

Una vez construido el modelo en el que se basará el nuevo meta-instrumento, es conveniente realizar las primeras pruebas para estudiar la fiabilidad del modelo predictivo³³. Para ello, Palese et al.⁴ utilizaron ecuaciones de modelos estructurales, siendo las variables dependientes las medidas de resultado de los cuestionarios, y las variables independientes, los resultados del análisis factorial confirmatorio. De nuevo, este es otro ejemplo de cómo técnicas habitualmente utilizadas en estudios de validación pueden aplicarse con otros fines.

Luna-Aleixos et al.¹⁷ adoptaron otro enfoque y analizaron la fiabilidad entre los valores que predijo el modelo y los originales, así como la concordancia entre las categorías de clasificación predichas y las originales. Este primer análisis de fiabilidad que permite contrastar resultados iniciales del modelo no sustituye al análisis de la fiabilidad de pruebas psicométricas que incluye la fiabilidad intraobservador e interobservador y la consistencia interna. En este punto, de nuevo es conveniente comentar que la declaración TRIPOD²⁸ recomienda la utilización de técnicas como el bootstrapping o la validación cruzada para estudiar la fiabilidad y la concordancia de los modelos lineales. No obstante, lo más adecuado será asegurarse de que el procedimiento de validación se ajuste a lo recomendado en función de la técnica analítica utilizada para desarrollar el meta-instrumento.

Propiedades psicométricas y precisión diagnóstica

El meta-instrumento construido en la fase anterior incluirá la medición de varios constructos y lo hará de una manera más parsimoniosa, pero no por ello deja de ser una herramienta que será utilizada por diferentes profesionales para valorar los cuidados requeridos por usuarios y usuarias de los servicios sanitarios. Por ello, será necesario estudiar sus propiedades psicométricas y garantizar que el nuevo meta-instrumento tiene una adecuada validez de contenido, validez de constructo y validez de criterio, así como consistencia interna, fiabilidad y sensibilidad al cambio.

Debido a que la metodología para analizar las propiedades psicométricas de los instrumentos de medida se encuentra ampliamente descrita en la literatura, y aun asumiendo que existen controversias en algunas de las técnicas y procedimientos que se utilizan, creemos que lo más adecuado es remitirnos a las recomendaciones establecidas por la iniciativa COSMIN y a la secuencia de pasos realizada en el estudio de las propiedades psicométricas de VALENF Instrument²⁰; si bien esta propuesta tiene margen de mejora, establece la necesidad de estudiar tanto la validez de contenido como la validez de constructo del nuevo meta-instrumento para cada uno de los constructos que se miden inicialmente, esperando que se observe un reflejo de cada uno de ellos en los resultados estadísticos. Para ello pueden utilizarse técnicas ya mencionadas, como análisis factoriales, análisis Rasch o modelos de ecuaciones estructurales, aunque en este caso el objetivo será estudiar la validez estructural del meta-instrumento. Respecto a la muestra para el análisis de propiedades psicométricas, será conveniente realizarlo con una muestra diferente que puede obtenerse de diferentes formas, por ejemplo, realizando un nuevo estudio o con validaciones cruzadas y obteniendo muestras aleatorias sobre una misma base de datos.

En último lugar se recomienda estudiar la capacidad diagnóstica del nuevo meta-instrumento realizando un estudio de pruebas diagnósticas que permitan establecer los indicadores de validez diagnóstica (sensibilidad y especificidad), de seguridad diagnóstica (valores predictivos y curvas de características funcionales) y de fiabilidad diagnóstica. Para ello será necesario realizar un nuevo estudio y obtener una nueva muestra. Se sugiere seguir la declaración para informar estudios de precisión diagnóstica (Standards for Reporting of Diagnostic Accuracy Studies [STARD])³⁴ y también la declaración sobre informes transparentes de un modelo de predicción multivariable para pronóstico o diagnóstico individual (TRIPOD)²⁸. Además, se incluye, como única referencia recuperada hasta el momento en meta-instrumentos, el protocolo de estudio de pruebas diagnósticas de VALENF Instrument³⁵.

El futuro de los meta-instrumentos

Este trabajo versa sobre un nuevo enfoque en el diseño y la validación de instrumentos que puede aportar importantes beneficios. No obstante, la falta de una metodología más o menos aceptada a la hora de construir el meta-instrumento deja en manos de los investigadores la mayor parte de la toma de las decisiones. Además, implica un aumento en la complejidad en los procedimientos analíticos que tradicionalmente utiliza enfermería para diseñar y validar instrumentos, enriqueciendo aún más todo este proceso.

Estos aspectos pueden dificultar el desarrollo de nuevas propuestas con un enfoque parecido, siendo conveniente que las personas interesadas en el desarrollo de meta-instrumentos generen las sinergias necesarias para evitar que esto ocurra. Además, es necesario aprovechar el impacto y el impulso de tecnologías disruptivas, como el big data o la inteligencia artificial³⁶, para avanzar en el diseño de instrumentos que faciliten la valoración de los cuidados requeridos por nuestros pacientes y usuarios, así como en el uso de biomarcadores³⁷ que puedan ser incorporados de manera rutinaria en la valoración de los pacientes para mejorar la detección de situaciones de riesgo.

Además de afrontar la curva de aprendizaje que supone incorporar nuevas técnicas analíticas y nuevas tecnologías e implantar los meta-instrumentos en la práctica clínica, será un reto importante para quien decida llevarlo a cabo, ya que tendrá que superar, además de la resistencia al cambio, la resistencia al uso de instrumentos de valoración debido a la pérdida de credibilidad de las enfermeras.

El desarrollo y la implantación de los meta-instrumentos puede mejorar los cuidados al aumentar el tiempo de cuidado directo que enfermería presta al paciente, por ser instrumentos más parsimoniosos y ágiles. Además, pueden ser herramientas que faciliten la toma de decisiones de las enfermeras, permitiendo la prescripción de cuidados a través de su cumplimentación y ayudando en la evaluación del impacto real de los cuidados prestados.

Conclusión

Un meta-instrumento es un instrumento de medida que colapsa otros instrumentos en base a que mide constructos relacionados y comparte dimensiones o ítems, otorgando una medición con un enfoque más parsimonioso.

El desarrollo de meta-instrumentos pretende facilitar la importante labor que supone valorar los cuidados que requieren los usuarios y usuarias del sistema sanitario. Además, permite detectar situaciones de riesgo y, por ende, puede facilitar la prescripción de cuidados y la toma de decisiones. Para ello, es necesario que se desarrolle con métodos rigurosos y se confirme que, al menos, mantienen las mismas propiedades psicométricas y la misma capacidad diagnóstica que los instrumentos originales de los que se partió para su diseño.

Financiación

El presente trabajo ha sido financiado por la Universitat Jaume I (referencia UJI-A2020-08) y por la Conselleria de Innovación, Universidades, Ciencia y Sociedad Digital de la Generalitat Valenciana (referencia CIGE 2022/150).

Contribución de los autores

El manuscrito ha sido leído y aprobado por todos los autores.

Conflicto de intereses

Los autores declaran no tener conflicto de intereses.