Evaluación de la fiabilidad y validez de una escala de valoración social en el anciano

Objetivos. Analizar la fiabilidad y validez de una escala de valoración social en el anciano.

Diseño. Estudio descriptivo transversal.

Emplazamiento. Atención primaria.

Pacientes. Muestra de 1.062 individuos entre la población mayor de 65 años.

Intervenciones. La escala evaluada consta de 5 ítems (situación familiar, económica, vivienda, relaciones y apoyo social), obteniendo una puntuación global. La fiabilidad se evaluó por entrevista con 2 observadores, y la validez mediante el contraste de la puntuación obtenida por la escala con un criterio de referencia que consistió en una valoración independiente y ciega por un experto en trabajo social.

Mediciones y resultados principales. El coeficiente de correlación intraclase (fiabilidad interobservador) fue de 0,957. El coeficiente alfa de Cronbach es de 0,4467, lo que denota una consistencia interna moderada a pequeña. Respecto a la validez de criterio, se calculan sensibilidad y especificidad. No obstante, para la detección de problemas sociales en la práctica asistencial, resultan más útiles las proporciones de probabilidad para diferentes niveles de la escala, que oscilan en un rango de 1-23, mientras que para la detección del riesgo social lo hacen entre uno e infinito.

Conclusiones. La escala que se presenta en nuestro estudio, como instrumento de medida, permite la detección de situaciones de riesgo o problemática social con un grado de fiabilidad alto y de validez aceptable, siendo útil para su incorporación en la práctica asistencial de los profesionales que trabajan en la atención social o sanitaria de las personas ancianas.

Objectives. To analyse the reliability and validity of a scale of social evaluation of the elderly.

Design. Descriptive, cross-sectional study.

Setting. Primary care.

Patients. Sample of 1062 people from the over-65 population.

Interventions. The scale evaluated has five items (family situation, economic situation, housing, relationships and social support), and an overall score is obtained. Its reliability was evaluated by an interview with two observers, and validity by contrasting the score obtained on the scale with a reference criterion of an independent, blind assessment by a social work expert.

Measurements and main results. The intraclass correlation coefficient (inter-observer reliability) was 0.957. The Cronbach alfa coefficient was 0.4467, which denoted moderate to low internal consistency. Sensitivity and specificity were calculated for the validity of the criterion. Nevertheless, to detect social problems in care practice, probability proportions for different levels on the scale were more useful. These ranged from 1 to 23, while in the detection of social risk they ranged from 1 to infinity.

Conclusions. The scale studied by us as a measuring instrument enables risk situations and social problems to be detected with good reliability and acceptable validity. It should be introduced into the care practice of professionals working in the social or health care of the elderly.

Introducción

La consideración de los pacientes o usuarios de nuestro sistema de salud como un todo que tenga en cuenta las circunstancias no sólo físicas, sino también ambientales y sociales, es una característica propia de la atención primaria. Por ello los proveedores de la asistencia tienen la responsabilidad de valorar el funcionamiento social¹, ya que se considera que: a) el funcionamiento social se correlaciona con el físico y el mental; b) nos permitiría identificar los que poseen sistemas de apoyo poco sólidos o no existentes con el objeto de adoptar medidas preventivas; c) el funcionamiento social es un objetivo en sí mismo, como componente intrínseco del concepto de calidad de vida, y d) permite la evaluación de las actividades emprendidas.

Por otra parte, como respuesta necesaria ante el envejecimiento progresivo de la población, en el ámbito del sistema de salud, hay cada vez mayor número de actividades dirigidas hacia el anciano. Está por ello justificado contar con un instrumento que nos permita tener en cuenta los aspectos sociales, junto a los funcionales o a los psicológicos, a la hora de detectar situaciones de riesgo, emitir un pronóstico, orientar una intervención o efectuar un seguimiento. En el ámbito de la atención al paciente anciano, mientras que la valoración de la capacidad funcional y mental se han desarrollado ampliamente, la consideración del funcionamiento social, como aportación fundamental para una valoración completa es reciente².

En el momento de realizar una valoración social es necesario decidir qué variables o factores se considera necesario incluir³. Las dimensiones ligadas a esto hacen referencia a tres aspectos: a) el ajuste ambiental; b) la adaptación personal y el bienestar subjetivo, y c) las interacciones sociales. No existen escalas que permitan estudiar en toda su totalidad la función social. Algunos autores prefieren el uso de un instrumento para cada dimensión¹, mientras que otros prefieren una valoración semiestructurada^4-6. Por otra parte, los instrumentos disponibles se superponen a menudo o emplean ítems distintos para medir variables idénticas. Esta situación de confusión impide que haya unos criterios claros para discriminar y utilizar una u otras, y hace difícilmente reproducibles y comparables sus resultados^7-9. Es por ello que una vez desarrollado un nuevo instrumento¹⁰, como paso previo antes de proceder a su generalización¹¹, debería ser evaluado en cuanto a su fiabilidad y validez.

Material y métodos

Se realizó un estudio descriptivo y transversal. Para evaluar la fiabilidad, a través de la consistencia interobservador, se realizaron las mediciones con la escala sobre un mismo sujeto por 2 observadores distintos^12-14. En cuanto a la validez, cada una de las dimensiones asociadas con este concepto tiene implicaciones en la cuestión relativa a la elección del diseño de investigación^13-15. En nuestro trabajo hemos evaluado la validez de criterio, entendida como de convergencia¹³ o concurrente¹⁴, ya que la predictiva no ha sido objeto de nuestro estudio, contrastando el resultado obtenido por la escala en cada sujeto con el de un patrón de referencia que fue la evaluación social efectuada por un experto¹⁶ en trabajo social.

Se incluyó en el estudio, como población de referencia, a toda la población mayor de 65 años perteneciente a las 6 zonas básicas de salud participantes en el estudio, e inscritos como usuarios de los EAP correspondientes. Como criterios de exclusión se tuvieron en cuenta los siguientes: personas desplazadas y/o ausentes, por tiempo superior a un mes; personas institucionalizadas en hospitales o residencias de ancianos; enfermos terminales.

Se calculó una muestra cuyo tamaño, para un nivel de confianza (Z_*/2) del 95% y precisión (CI) del 0,07, resultó de 787 individuos. Sobre este número inicial, y en previsión de unas pérdidas del 35%, se añadieron como reservas 275 más, totalizando 1.062 individuos. El muestreo se efectuó a partir del censo o lista numerada de la población elegible (procedente de la información existente en la base de datos de la tarjeta sanitaria individual y del sistema informático de centros de atención primaria [SICAP]), por muestreo aleatorio simple mediante una tabla de números aleatorios.

El instrumento de medida lo constituyó la escala de valoración social en el anciano, desarrollada por nuestro grupo de trabajo, en cuyos contenidos se incluyen 5 ítems o variables (tabla 1) con 5 posibles categorías en cada una de ellos, estableciendo un gradiente desde la situación social ideal, o ausencia de problemática (categoría 1), hasta la objetivación de alguna circunstancia o problema social (categoría 5). En todo caso los ítems tratan de recoger situaciones fácilmente objetivables como indicadores sociales. La escala se elaboró en una primera fase mediante técnicas de consenso entre los trabajadores sociales que constituían el equipo de investigación, junto a otros profesionales del mismo campo de nuestra comunidad autónoma. Con la escala se pretende identificar situaciones tanto de problema social, definido como una situación consolidada, difícilmente modificable, del individuo o del entorno que rompe la interacción entre ambos, impidiendo que éste satisfaga sus necesidades básicas¹⁷, como de riesgo social, entendido como la presencia de determinadas características (entre las recogidas en la escala) que dificultan la relación del individuo con su entorno y que produce un incremento en la susceptibilidad a contraer enfermedad psíquica y orgánica, o a la aparición de un problema social¹⁷. La escala se administró en el domicilio, en forma de entrevista estructurada, con preguntas no formalizadas y abiertas a criterio del entrevistador, recogiéndose posteriormente el resultado en alguna de las categorías de los ítems, de forma que mediante la suma de los resultados parciales de cada ítem se obtiene una puntuación global para el conjunto de la escala. Si bien por razones de operatividad los observadores coincidían en el tiempo, en la visita al domicilio, la escala se aplicaba por separado, de forma independiente y ciega, así como la posterior valoración y traslado a alguna de las categorías de los ítems. Como criterio de referencia, para evaluar la validez, se incluyó una valoración posterior del riesgo social, mediante una entrevista en profundidad no estructurada por un profesional con experiencia¹⁶. En nuestro caso, este profesional fue el propio trabajador social del EAP. Otras variables que se tuvieron en cuenta fueron edad, sexo, residencia urbana o rural y tiempo de aplicación de la encuesta.

Antes del comienzo del estudio se efectuó un pilotaje de todo el proceso sobre un número reducido de individuos (10 personas por centro) pertenecientes a la población diana con el fin de identificar los problemas operativos no previstos en el protocolo, formación y unificación de criterios por los encuestadores y valoración de la falta de respuesta.

La escala se administró en el domicilio de la persona encuestada, coincidiendo en el tiempo ambos observadores pero administrando la escala de forma autónoma e independiente. Si la persona elegida, en función de su estado, estaba incapacitada para responder a las cuestiones planteadas por la escala, se efectuó la encuesta a su cuidador principal.

Los resultados fueron introducidos en una base de datos (DBase III) para su posterior análisis estadístico. Para la fiabilidad se calculó el coeficiente de correlación intraclase entre las puntuaciones obtenidas por ambos observadores, así como el índice kappa^14,18,19. Con objeto de valorar la consistencia interna de la escala, se calculó el coeficiente alfa de Cronbach¹⁸.

Para la validez, tomando como referencia o patrón oro la valoración del experto, se calcularon para cada punto de corte de la escala, según los resultados obtenidos por el observador A, los índices de sensibilidad, especificidad, tasa de falsos positivos (1-especificidad), tasa de falsos negativos (1-sensibilidad) y proporciones de probabilidad de un resultado positivo²⁰. Dado que el grado de desagregación del patrón de referencia lo permitía, se obtuvieron diferentes resultados, considerando por un lado el conjunto formado por las categorías problema y riesgo frente a la categoría normal, y por otro el conjunto riesgo y normal frente a la presencia de problema considerado aisladamente.

Resultados

Se efectuaron un total de 787 entrevistas, correspondiendo 546 (69,3%) a la muestra inicialmente planteada y 241 (30,7%) a los reservas. No se constataron diferencias significativas en cuanto a sexo y edad entre ambos grupos de población (muestra original y reservas). La media de tiempo empleada en la administración de la escala fue de 16,3 minutos (DE, 11,2).

La puntuación media obtenida fue de 10,339 (IC, 10,16-10,51) para el observador A y de 10,258 (IC, 10,06-10,45) para el B. En la valoración efectuada por el criterio de referencia, la prevalencia de problemas sociales fue del 5%, siendo la de riesgo social del 30% de la muestra. En 8 casos (1%) no fue posible realizar la valoración.

La consistencia interobservador medida a través del coeficiente de correlación intraclase fue de 0,957. La concordancia entre las diferentes categorías de los ítems, considerados individualmente, medida mediante el estadístico kappa, oscila en 0,8-0,929 (tabla 2). Se pueden identificar 2 grupos en el conjunto formado por los ítems «situación familiar», «situación económica» y «vivienda» por un lado con concordancias superiores a 0,9, y por otra parte los que se refieren a las «relaciones sociales» y los «apoyos de la red social» con una concordancia en torno a 0,8.

En lo que se refiere a la consistencia interna, la matriz de correlaciones (tabla 3) muestra una correlación entre los ítems que oscila entre un mínimo de 0,019 y un máximo de 0,26 (media, 0,142; rango, 0,25). Las de los ítems A3 (vivienda) y A5 (apoyos de la red social) con el ítem A2 (situación económica) son de: 0,019 y 0,047, mientras que las de los ítems A1 (situación familiar) A4 (relaciones sociales) y A5 (apoyos de la red social) entre sí oscilan en un rango de 0,20-0,269. La relación de cada ítem, considerado individualmente, con el conjunto de la puntuación de la escala expresado nuevamente mediante el coeficiente de correlación (tabla 4) muestra la más baja correlación en los ítems A2 (situación económica) y A3 (vivienda) con el conjunto de la escala (valores de 0,119 y 0,182, respectivamente).

Como indicador global de la consistencia, el coeficiente alfa de Cronbach es de 0,4467 (en una escala de 0-1), identificándose por un lado el conjunto formado por los ítems A1 (situación familiar) A4 (relaciones sociales) y A5 (apoyos de la red social), y por otro el ítem A2 (situación económica) y el A3 (vivienda).

La validez de criterio de la escala, frente a un patrón de referencia, para la detección de problemas sociales (considerando las categorías de referencia riesgo y normalidad agrupadas) (tabla 5), el rango de valor de las proporciones de probabilidad de la escala oscila en 1-23. Se identifican 3 puntos de corte en la escala: el primero, situado por encima de 10 puntos inclusive, en el que las proporciones de probabilidad de un resultado positivo pasan de 1,61 a 2,14, donde la sensibilidad baja del 91,89 al 83,78, mientras que la especificidad asciende del 42,88 al 60,79. El segundo punto se podría localizar en puntuaciones superiores a 13 inclusive; en él las proporciones de probabilidad pasan de 3,34 en el punto a 5,22 justo por encima; la sensibilidad desciende del 64,86 a 59,46, y la especificidad aumenta de 80,6 a 88,6. Finalmente, el último punto de corte se puede situar por encima de 16 inclusive, al pasar las proporciones de probabilidad de 8,6 a 14,9.

Si se analiza el comportamiento de la escala para la detección del riesgo o problemática social (en este caso se agruparían ambas categorías del criterio de referencia) frente a la situación de normalidad (tabla 5), el rango de variación de las proporciones de probabilidad oscila de uno a infinito. Se identifican cuatro niveles de corte: el de 10 puntos inclusive (cambio de las proporciones de probabilidad, 1,9-2,5), de 13 inclusive (cambio de las proporciones de probabilidad, 4,2-7,5) y de 15 inclusive (cambio de las proporciones de probabilidad, 8,6-77,9), de 16 inclusive (cambio de las proporciones de probabilidad, 77,9 a infinito).

Discusión

Nuestros resultados muestran una excelente fiabilidad de la escala, con coeficientes de correlación intraclase muy elevados entre las puntuaciones totales obtenidas por cada observador, sin que los resultados sean modificados por la variabilidad interobservador. En lo que se refiere a los ítems individualmente considerados, existe también una buena concordancia entre los mismos, con coeficientes kappa por encima de 0,8, lo que puede considerarse también bueno¹².

Otros aspectos que se tienen en cuenta al valorar la fiabilidad son la consistencia interna de la escala u homogeneidad¹⁴. En nuestros resultados existe una consistencia interna moderada a pequeña, medida a través del coeficiente alfa de Cronbach o de la matriz de correlaciones, identificándose por un lado el conjunto formado por los ítems que reflejan la situación familiar, las relaciones sociales y los apoyos de la red social, y por otro aquellos que tienen en cuenta la situación económica y la vivienda. A pesar de esta falta de homogeneidad interna en la escala, consideramos que tiene una importancia relativa, dado que su fin es más discriminativo¹⁴ que descriptivo, por lo que en su diseño se han incluido variables o ítems que miden dimensiones diferentes. Este hecho se debe a que la valoración social está determinada por un conjunto de variables muy diferentes entre sí^1-3 que influyen en ésta, por lo que no es fácil obtener un instrumento con un alto grado de coherencia. Así, por ejemplo, la situación económica y de la vivienda tienen un gran peso en la situación social, por lo que no sería correcto prescindir de ellos a la hora de hacer una valoración, aunque su inclusión en el instrumento le reste coherencia interna.

En cuanto a la validez de la escala frente a un criterio de referencia (validez de criterio), nuestros resultados no han conseguido establecer unos puntos de corte con suficiente capacidad discriminativa, ya que los valores de sensibilidad y especificidad no lo permiten (cuando se incrementa la sensibilidad disminuye de forma acentuada la especificidad y a la inversa). Sin embargo, el cálculo de las proporciones de probabilidad sí nos permite ofrecer un instrumento válido para su uso en la práctica asistencial, ya que para cada nivel de la escala obtenemos un valor que permite estimar las posibilidades de que exista un trastorno objetivo frente a que no exista²⁰. Las proporciones de probabilidad permiten además calcular con una sencilla fórmula^15,20 los valores predictivos en función de la prevalencia del problema en nuestro ámbito de trabajo. En función de estos valores de las proporciones de probabilidad, de los rangos que alcanzan, consideramos que la escala es más útil en la detección de riesgo social (el rango de variación de las proporciones de probabilidad es más amplio) que en el de problema social. Por otra parte, es necesario señalar que en cualquier valoración social puede haber dificultad para identificar una u otra situación. Además la escala permite captar a todas las personas en situación susceptible de intervención, y aunque incluya también a falsos positivos, desde el punto de vista del trabajo social podría ser preferible captar situaciones desfavorables por exceso que por defecto, de modo que el nivel de corte de elección podría ser aquel en el que se primasen las sensibilidades altas en detrimento de la especificidad.

Se podría cuestionar el criterio elegido como «patrón oro», ya que hemos optado por que éste sea la opinión de un experto que evaluaría también bajo sus criterios profesionales al sujeto de estudio^16,20, contrastando los resultados de su observación con los obtenidos por la administración de la escala por encuestadores no especializados. Esta opción plantea como problema la existencia de un sesgo si los criterios que valora el experto son los mismos o muy similares a los que la escala presenta²¹, cuestión por otro lado difícil de evitar. Sin embargo, esta elección se justifica en nuestro caso por la falta de un patrón de referencia claro en la literatura consultada^22-28, ya que la mayoría de las escalas existentes sólo evalúan aspectos parciales, y en cualquier caso también exigirían una validación previa de las mismas. A nuestro juicio el principal problema que se plantea entonces es la unificación de criterios entre los expertos que intervienen. La solución estaría en que fuesen un número reducido, y que existiese una discusión y coordinación previa de los criterios de evaluación, cuestión que hemos llevado a cabo en nuestro protocolo de investigación. Otros sesgos que pueden afectar a este tipo de estudios, como el «work-up bias» o el «diagnostic-review bias»²¹, además de los ya comentados sobre la contaminación del criterio, o el uso de un espectro adecuado de casos, consideramos que no son de aplicación o han sido controlados en el diseño del estudio mediante el uso de técnicas ciegas.

Si bien la coincidencia en el tiempo de los observadores en el momento de la administración de la escala podría haber provocado en parte la alta concordancia obtenida en la variabilidad interobservador, por «contaminación» o por «recuerdo de las respuestas», consideramos que estos efectos han sido en todo caso pequeños, ya que la valoración propiamente dicha, y su posterior traslado a las categorías de la escala se efectuaba de forma independiente y ciega entre los encuestadores, lo que elimina a nuestro juicio la posibilidad de «contaminación» entre las valoraciones. En cuanto al efecto de «recuerdo», creemos que no puede ser muy importante en la medida en que la escala recoge en parte situaciones objetivas (ítems «situación familiar» y «situación económica») o fácilmente objetivables por observación directa (ítem «vivienda»), y no sometidas a la variabilidad o al recuerdo de las respuestas por el sujeto encuestado. Además los ítems más subjetivos como «relaciones sociales» y «apoyos de la red social» también son precisamente los que presentan peor concordancia.

En nuestro trabajo no hemos analizado otras dimensiones de la validez como las de contenido, la de constructo (cuestiones que de modo no formalizado en el estudio sí han sido tenidas en cuenta en la fase de diseño de la escala a través de la participación de expertos en la misma) o la validez predictiva, cuyo estudio sería más apropiado con otro tipo de diseños¹³ como los longitudinales, y cuestiones que quedan pendientes como líneas de investigación.

La escala propuesta recoge ítems exclusivamente referidos a aspectos sociales, en sus diferentes dimensiones¹, como las relaciones sociales, el ajuste ambiental (situación económica y vivienda) y el soporte o la red social, dentro de lo que serían las interacciones sociales. Un hecho diferencial con otras escalas es que no existe ninguno que aluda a la capacidad de realizar actividades, ya que este aspecto resulta más ambiguo, existiendo además otras escalas de uso común que pueden medir esa cuestión (por ejemplo, en el ámbito de la valoración funcional)^1-3, y por la misma razón tampoco se hace referencia en ningún ítem a la adaptación personal, el bienestar subjetivo o la percepción o situación de salud de la persona.

Por ello, a nuestro juicio una aportación de nuestra escala frente a otras publicadas y adaptadas a nuestro contexto^21-28 es su orientación específica hacia la valoración social en el anciano. Así, por ejemplo, la escala OARS²³, de la que se ha hecho recientemente una versión española²⁸, incluye al lado de ítems que reflejan la situación social, como la red social o los recursos económicos, otros que no tienen nada que ver caso de la salud mental, la salud física o la capacidad de autocuidado. Aunque su ventaja estriba en reunir varios instrumentos en uno solo, creemos que a pesar de su fiabilidad y validez demostradas tienen como inconveniente su complejidad en el momento de su aplicación práctica. Otras de las escalas publicadas valoran aspectos parciales caso de la función familiar²² (Family Apgar) o el apoyo social funcional^24,25 (Duke-UNC-11), habiendo sido validadas en población general más que específicamente en ancianos. En este último caso, nuestros resultados son superiores en lo que se refiere a la fiabilidad (a través del coeficiente de correlación intraclase), siendo mucho mayor su consistencia interna como cabe esperar, ya que sólo contempla una dimensión a medir. Este estudio, si bien incluye el análisis de la validez, lo hace sobre los aspectos de contenido y constructo, y no contempla la validez de criterio como en nuestro caso. En algunas escalas la utilización parece orientarse más al ámbito de instituciones residenciales u hospitales²⁶ que al comunitario, o pretenden evaluar el riesgo de dependencia²⁷, incluyendo aspectos sanitarios. Finalmente, otra aproximación a la problemática social en la práctica asistencial podría ser a través de la recogida de indicadores sociales y sociodemográficos¹⁷, pero a nuestro juicio este uso se circunscribe más a estudios poblacionales que al conocimiento de las situaciones individuales.

En conclusión, la escala que se presenta en nuestro estudio, como instrumento de medida, permite la detección de situaciones de riesgo o problemática social con un grado de fiabilidad alto y de validez aceptable, y aunque sin entrar en su validez predictiva permitiría constatar además modificaciones de la situación social a través del tiempo; tanto en el ámbito general como específico para cada uno de los ítems. Como un instrumento específico de medición de la situación social, creemos que la escala es útil para su incorporación en la práctica asistencial de los profesionales que trabajan en la atención social o sanitaria de las personas ancianas.

Agradecimientos

Este trabajo ha sido realizado gracias a las siguientes becas de investigación y ayudas:

­ Fundación Mapfre Medicina. Beca de Investigación del Área Social 94/95.

­ Sociedad Española de Geriatría y Gerontología. Becas de formación 1996.

­ Fondo de Investigaciones Sanitarias. Beca de Investigación Expediente n.º 97/0104.