Objetivo. Determinar mediante 5 métodos (alfa de Cronbach, división en mitades, Guttman, paralelo y paralelo estricto) el coeficiente de confiabilidad de FACES III validado en su versión en español y evaluar la consistencia entre los 5 procedimientos.
Diseño. Descriptivo y transversal.
Emplazamiento. Zona de influencia sectorizada en áreas geoestadísticas básicas de una unidad de atención primaria en la Delegación Tlalpan al sur de la Ciudad de México.
Pacientes u otros participantes. Doscientas setenta viviendas elegidas aleatoriamente representadas de modo proporcional con base en 17.895 viviendas de la zona de influencia.
Intervención. Encuesta domiciliaria de FACES III (Escala de Evaluación de la Cohesión y Adaptabilidad en la Familia); abril-mayo de 1995.
Mediciones y resultados principales. Se determinaron 5 coeficientes de confiabilidad del instrumento de FACES III: alfa de Cronbach (no estandarizado), 0,69; división en mitades: parte I, 0,73, y parte II, 0,66; Guttman, 0,75; paralelo, 0,69, y paralelo estricto, 0,53.
Conclusiones. El coeficiente alfa de Cronbach mostró más ventajas que los otros coeficientes de confiabilidad según la naturaleza ordinal de la escala de medición del instrumento. Se sugiere tomar en consideración tres aspectos para realizar un análisis de confiabilidad adecuado en este tipo de cuestionarios:
Análisis de la variancia de los datos según la naturaleza de la escala de los ítems (F test, Friedman o Cochran).
Análisis de la interacción interítems (no aditividad) y valor del balance como depurador de la fuente de error.
Análisis de los valores de: estimación de Tukey, coeficiente de concordancia (W) y T cuadrada de Hotelling.
Se concluye que es necesario evaluar y analizar estos aspectos antes de reportar valores de coeficientes de confiabilidad que pueden estar sesgados ocultamente o de manera inadvertida.
Objective. To determine through five methods (Cronbach´s alpha, split, Guttman method, parallel and strict parallel) the confidence coefficient of FACES III, instrument validated on spanish version, and to evaluate it´s consistency with these five statistical methods.
Design. Descriptive, cross-sectional.
Setting. Tlalpan Area, south of Federal District, México, divided into geo-statistical zones.
Patients and other participants. A randomised sample of 270 dwellings with proportional coverage, based on 17895 ordinary dwellings of the area.
Intervention. Domicile survey using FACES III (Family Adaptability and Cohesion Evaluation Scales); April-May 1995.
Measurements and main results. The confidence coefficient of FACES III spanish version was calculated using no standardised Cronbach´s Alpha=0.69; split I=0.73 and split II=0.66; Guttman method=0.75; parallel=0.69 and strict parallel=0.53.
Conclusions. Cronbach´s coefficient demostrated more advantages than the other statistical methods in relation with the ordinal measurement scale of FACES III. We suggest to take into consideration three important aspects for the correct confidence analisys of this kind of instruments:
Variance analisys depending on the scale of ítems (F test, Friedman or Cochran)
Inter-items interactions analisys (nonadditivity) and the use of the balance value as purge element of error´sourse.
Analisys of Tukey estimate, coefficient of concordance (W) and Hotelling´s T squared.
It´s necessary the evaluation and analisys of this aspects before the report of confidence´s coefficient values whose can have hidden skew.
Introducción
Hay numerosos y serios trabajos publicados en revistas de prestigio en los que se utilizan métodos de análisis para explorar, construir, confirmar, discriminar, asociar y relacionar fenómenos de la salud multivariados. Hay investigaciones en las que surgen algunos interrogantes que con cierta frecuencia ocurren al leer y consultar la información que publican: ¿en qué magnitud se puede confiar en los instrumentos que utilizan? Al usarse repetitivamente, ¿son consistentes en el tipo y cualidades de la información que colectan? ¿Se ha utilizado algún procedimiento para determinar la confiabilidad del instrumento? Si se hizo, ¿fue adecuado el procedimiento conforme a la naturaleza y distribución de las variables medidas? ¿Se aporta información que permita analizar si el procedimiento para determinar la confiabilidad fue el adecuado?
Estos interrogantes y sus respuestas pertenecen al estudio y determinación de la confiabilidad (fiabilidad o consistencia interna) de los instrumentos de investigación.
Hay grupos de científicos que han incidido en las áreas de investigación ya mencionadas y han publicado serios e importantes trabajos en los que han medido la confiabilidad y/o validez de los instrumentos que utilizaron. Algunos ejemplos de ellos son los comunicados sobre evaluación de actitudes en diferentes aspectos de la atención primaria1, hacia el cáncer cervicouterino2, evaluación del apoyo social funcional3-4, Apgar-familiar5, escala de síntomas y depresión6,7 y FACES III8,9 (Family Adaptability and Cohesion Evaluation Scales).
FACES III es la tercera versión de un instrumento para evaluar la cohesión y adaptabilidad en la familia desarrollado por Olson y sus colaboradores8,9 en las últimas dos décadas. El instrumento se ha diseñado, utilizado y validado en población anglosajona en Norteamérica; dichos autores refieren que los coeficientes de confiabilidad de FACES III en diferentes estudios realizados por ellos han sido repetitivamente mayores de 0,80 determinando el coeficiente alfa de Cronbach. En este último trabajo y en la mayoría de los ya citados, el coeficiente alfa de Cronbach ha sido calculado para determinar el grado de confiabilidad de los instrumentos que los investigadores han utilizado. Aunque existen otros coeficientes de confiabilidad (test-retest, formas equivalentes de un test, división en dos mitades equivalentes [Spearman-Brown], Kuder-Richadson, Guttman, paralelo, estrictamente paralelo y el propio alfa de Cronbach), este último es uno de los más utilizados quizá por su mejor y/o mayor difusión, quizá por su amplio uso en las investigaciones del comportamiento a partir de 1951 y en el estudio de las actitudes por Likert desde 193210.
El objetivo de este trabajo fue determinar mediante 5 métodos el coeficiente de confiabilidad de FACES III validado en su versión en español y consecuentemente evaluar la consistencia entre los 5 procedimientos.
Material y métodos
Como definición operacional para los propósitos de este trabajo, la confiabilidad tiene que ver con la aseveración relativa al grado de consistencia de una técnica de medición. Las técnicas confiables producen medidas similares después de mediciones repetidas en condiciones semejantes14,15 (consistencia interna de una prueba test o instrumento).
Se aplicó FACES III validado en su versión en español11 en 270 familias de la jurisdicción de una unidad de atención primaria al sur de la Ciudad de México, durante los meses de marzo a julio de 1995. La muestra se calculó con base en las cifras de viviendas registradas en las áreas geoestadísticas básicas (AGEB) según los datos oficiales del Instituto Nacional de Estadística, Geografía e Informática de México12. La muestra se calculó con 95% de confianza, 0,06 de error y p=0,5, q=0,5 de variabilidad, conforme a las recomendaciones de Rojas Soriano13. La selección de familias (en sus viviendas) fue aleatoria, estratificada y con representación proporcional por AGEB.
Criterios de inclusión
Adultos de ambos sexos, miembros de familias con hijos, que supieran leer y que aceptaran contestar el cuestionario de FACES III.
Criterios de exclusión
Personas menores de 18 años que quisieron contestar la encuesta o mayores de 18 años o analfabetas, con alguna alteración mental evidente o que pertenecieran a alguna familia sin hijos.
Criterios de eliminación
Cuestionarios de FACES III respondidos en forma incompleta, con doble respuesta en alguna de sus 20 preguntas o con una escala diferente a la señalada en el instrumento.
Las variables fueron 20 preguntas planteadas como actitudes tipo Likert (10 para evaluar cohesión familiar y 10 para adaptación familiar) distribuidas como nones y pares, respectivamente, en el instrumento (anexo 1).
Los 20 ítems y su puntuación en la escala de 1-5 para cada uno de ellos produjo los valores posibles mínimo y máximo de 20-100 puntos para cada caso entrevistado, 10-50 para cohesión y 10-50 para adaptabilidad.
El cuestionario de FACES III lo contestaron los entrevistados de manera autoadministrada; se dejó a las personas responder libre y abiertamente para no influir en las respuestas y sólo en el caso de que los entrevistados preguntaran o insistieran en que se les explicaran las preguntas se conservó la neutralidad, no sugiriendo respuestas probables o preferidas por el entrevistador.
Análisis estadístico
Para calcular y analizar la confiabilidad del instrumento de FACES III se realizaron 5 procedimientos: alfa de Cronbach, división en mitades, Guttman, paralelo y paralelo estricto.
Antes de realizar los cálculos de confiabilidad se tuvo la certeza de que las suposiciones de los modelos de confiabilidad mencionados se cumplieran totalmente conforme a la escala ordinal del instrumento (análisis de variancia por el método de Friedman, para variables ordinales).
El análisis se realizó mediante el programa estadístico SPSS v. 6.0 en el Departamento de Cómputo de la Facultad de Medicina de la Universidad Nacional Autónoma de México.
Resultados
Se analizaron 270 encuestas aplicadas de FACES III; el promedio global de puntuación fue de 69±9; el promedio general de cada pregunta o ítem fue de 3,4, la variancia de los ítems fue de 1,32 y la desviación estándar de 1,14. Los promedios y desviaciones estándar de cada ítem para cohesión y adaptabilidad se muestran en la tabla 1.
La correlación promedio interítems fue de 0,1077 y la covariancia promedio interítems 0,1355; ambos resultados fueron considerados muy bajos o casi nulos, lo cual fue altamente satisfactorio, ya que FACES III explora y evalúa dos dimensiones de naturaleza diferente: la cohesión y la adaptabilidad en la familia.
El análisis de variancia y las fuentes de variación evaluadas a partir de los ítems se muestran en la tabla 2; destaca el haber encontrado diferencias altamente significativas (p<0,0001) entre las mediciones dentro de la población, indicando diferencias importantes en las respuestas de los 20 ítems de cada persona entrevistada.
Los valores de no aditividad fueron no significativos (p=0,72), lo cual fue muy útil, ya que no existió interacción significativa (proporcional, aditiva o multiplicativa) dentro de las respuestas de las personas estudiadas y las mediciones de la escala utilizada en el instrumento.
El valor de probabilidad de la no aditividad (no significativa) hizo que el valor del balance=1,19 no fuera tomado en cuenta como valor «purificador» o «depurador» del error o residual en la variancia dentro de la población; esto condujo a la observación de que en nuestro modelo de instrumento en las respuestas de las personas entrevistadas no existió el fenómeno de interacción (una respuesta influye o potencializa a otra).
La observación anterior fue apoyada por el alto valor de la estimación de Tukey de 0,9479, el cual tendría que usarse mediante una transformación proporcional, aditiva o multiplicativa, de los datos para reducir la no aditividad y con ello lograr un modelo puro. En nuestro caso no fue necesario utilizar el valor de Tukey, por lo que consideramos que únicamente intervinieron los efectos principales en las fuentes de variación (atribuibles únicamente a lo que explora y evalúa cada ítem).
El coeficiente de concordancia (W) fue de 0,3135, lo que significó que 270 personas concordaron en sus respuestas para los 20 ítems en 31% aproximadamente, utilizando una escala de 1-5.
El valor de la T cuadrada de Hotelling fue de 64,92 (p<0,0001); dicho resultado indicó que hubo diferencias significativas importantes entre los promedios de los 20 ítems para las 270 encuestas de FACES III.
El logro de un modelo sin interacción (no aditividad no significativa), ni la necesidad de utilizar el valor del balance ni de transformar los datos con base en el valor de la estimación de Tukey, y obtener valores altamente significativos entre las diferencias de los promedios de los ítems utilizados, fueron características muy satisfactorias para realizar el análisis de la confiabilidad del instrumento.
Se utilizaron 5 métodos diferentes para determinar la confiabilidad de FACES III, los coeficientes obtenidos por los 5 métodos se presentan en la tabla 3.
Como se puede observar el valor de alfa de Cronbach (no estandarizado) fue de 0,6949; este valor se sitúa en el intervalo que va desde el más bajo de 0,5374 (valor del coeficiente paralelo estricto) hasta el más alto de 0,7554 (coeficiente de Guttman); el promedio de todos los coeficientes fue de 0,6810, valor muy semejante a alfa.
Con base en el valor de alfa de Cronbach no estandarizado (0,6949) se encontró en 3 ítems que si éstos se eliminaran de los 20 utilizados, alfa aumentaría significativamente; sin embargo, el incremento de alfa al eliminar los 3 ítems mencionados fue prácticamente despreciable: al eliminar el ítem 5, alfa=0,7060, para el ítem 18 alfa=0,7105 y para el ítem 20 alfa=0,7072.
El método de división por mitades (split) no ofrece una situación clara respecto a la participación de los ítems, pues depende de cómo se divida en dos partes el instrumento; el algoritmo para tal procedimiento es desconocido por nosotros y solamente el programa estadístico utilizado lo aplica. Nosotros introducimos primero las 10 preguntas nones que exploran cohesión y luego las 10 preguntas pares para adaptabilidad; sin embargo, la distribución de ítems para cada mitad no es determinada por nosotros, por lo que la asignación de ítems a cada mitad probablemente venga dada por el número de posibles combinaciones y/o permutaciones de los mismos; mediante este procedimiento, no es conveniente llegar a observaciones analíticas por razones prácticas (quizá sólo sea útil cuando todos los ítems tratan de explorar una sola dimensión y no más).
El método de Guttman obtiene 6 coeficientes de confiabilidad; para este trabajo se tomó el más alto de ellos (0,7554) como límite inferior del verdadero valor de intervalo de confianza del instrumento; tomando como base dicho valor, los 20 ítems resultaron útiles.
El método paralelo obtuvo un coeficiente de confiabilidad de 0,6972; los ítems 5, 18 y 20 aumentan la confiabilidad si se eliminan (idénticamente a alfa). El método paralelo se fundamenta en la hipótesis nula de que todas las variancias de los ítems son iguales, por lo que su interpretación es muy útil si se ha realizado previamente un análisis de variancia apropiado a la escala de medición de los ítems.
El método paralelo estricto produjo un valor de 0,5374; es el método más «exigente», pues se fundamenta en la hipótesis de nulidad de que todas las variancias y promedios de los ítems son iguales; mediante este procedimiento, los 20 ítems deben analizarse estandarizadamente (valor z de los ítems) para obtener y hacer un análisis más crítico y preciso. En nuestro trabajo elegimos el análisis no estandarizado, el cual se basa en la matriz de covariancia.
Discusión
La baja o casi nula correlación y covariancia promedio indican que las dimensiones evaluadas por FACES III son diferentes; si hubiera sucedido lo contrario (moderadas a altas correlaciones), estaríamos hablando de que los ítems evaluaron una misma cosa; esto quizá tenga que ver más con la validez interna de FACES III, pero es un paso necesario para identificar que el instrumento efectivamente evalúa dos apartados diferentes.
Los cálculos de confiabilidad fueron determinados a partir de la matriz de covariancia (datos no estandarizados), ya que si se hubiera utilizado la matriz de correlación múltiple producto momento de Pearson, se hubiera violado uno de los más importantes supuestos de análisis de confiabilidad, y como consecuencia obtener resultados totalmente sesgados.
En todos los trabajos revisados1,3-9 en los que se utilizó alfa de Cronbach para determinar la confiabilidad de sus instrumentos, no se especifica qué método se siguió para determinar los valores de las fuentes de variación: el balance, la no aditividad y el residual. Muchas o casi todas las escalas de evaluación son ordinales (rangos) y por ello deben utilizar el método de Friedman para evaluar dichas fuentes de variación. En el caso de escalas continuas se debe usar el ANOVA paramédico (F test) con la certeza de que la distribución de las puntuaciones de cada uno de los ítems evaluados no tienen valores de sesgo y curtosis que indiquen distribución no normal; y en el caso de que los ítems sean dicotómicos se debe usar el método de Cochran para evaluar las fuentes de variación.
La comparación de los 5 métodos para calcular la confiabilidad de FACES III en español nos orienta a la observación de que el procedimiento alfa de Cronbach tiene ciertas ventajas sobre los demás procedimientos: su valor es muy cercano al promedio de confiabilidad de los 5 métodos, no divide en mitades con los posibles inconvenientes que esto puede causar (aunque en ocasiones pueda ser útil si se desea analizar por separado los diversos apartados de un instrumento); otra ventaja de alfa es que muchas de las escalas utilizadas en la investigación social son ordinales o de tipo Likert (3 o más opciones de respuesta para los ítems), por lo que resulta más útil que los métodos paralelo y paralelo estricto diseñados quizá mayormente para variables de intervalo o con estandarización de las mediciones de los ítems (variancia y media estandarizadas); una ventaja adicional de alfa es que subestima pero no sobrestima el verdadero valor inferior del intervalo de confianza de la escala del instrumento al igual que el método de Guttman.
El coeficiente de confiabilidad de FACES III obtenido en este estudio fue de 0.6949 (alfa de Cronbach); dicho valor se consideró como alto desde la perspectiva de que no existen en la práctica coeficientes perfectos (1,0), y que la mayoría de autores consideran coeficientes muy altos a aquellos que son mayores de 0,81; aunque no existe una escala convencional para los coeficientes altos, se pueden considerar a los que abarcan desde 0,65 a 0,80 inclusive.
Sobre la valoración de la potencia del estudio basado en el tamaño de la muestra, el marco en el cual se realizó fue aleatorio y estratificado representativo por áreas geoestadísticas básicas; sin embargo, se planeó un 6% de error de muestreo en las estimaciones medidas y el 95% de confianza, lo que deja un porcentaje de 5% de errores debidos al azar.
Respecto a los sesgos del estudio, reconocemos que los principales son los de información, ya que la funcionalidad familiar es un fenómeno muy dinámico que puede presentar fluctuaciones acusadas ante la presencia de acontecimientos normativos así como en las familias estudiadas; sin embargo, se controla precisamente con la consistencia de las preguntas de un instrumento (fiabilidad) que fue el objetivo de estudio de esta investigación.
En este trabajo se han querido mostrar las características que previamente se deben analizar para realizar un análisis de confiabilidad adecuado y útil; los aspectos que se deben considerar son: especificar el método para evaluar las fuentes de variación (ANOVA paramétrico, de Friedman o de Cochran, según la naturaleza de las escalas de los ítems), análisis de la interacción (no aditividad no significativa), valor del balance como fuente de error en la variación, valor de la estimación de Tukey, valor del coeficiente de concordancia (W) y el valor de la T cuadrada de Hotelling. Es necesario que los investigadores consideren dichos aspectos antes de señalar coeficientes de confiabilidad que pueden estar sesgados ocultamente o de manera inadvertida.
Sólo en uno de los trabajos revisados (Bellón et al)5 se comenta brevemente acerca de la participación individual de los ítems en un instrumento para evaluar la función familiar; sin embargo, no se proporciona información sobre los aspectos tratados en nuestro trabajo.
Concluimos que, para realizar y comprender críticamente un análisis de la consistencia interna de un test (su confiabilidad), es sumamente importante que se describan los conceptos analizados y señalados en este trabajo; sin ellos, cualquier valor de confiabilidad indicado en los comunicados puede ser mal interpretado (para bien o para mal) y, consecuentemente, los investigadores y/o lectores llegar a conclusiones erróneas o con fundamentos estériles.
Si bien es cierto que el estudio y análisis de la consistencia interna de un test no es el objetivo principal de todo trabajo de investigación, es un elemento de vital importancia cuando se pretende generalizar el uso de un instrumento, y sobre todo porque no existe validez (de constructo, de predicción o de contenido) si antes no se ha logrado confiabilidad o consistencia interna con una base analítica objetiva y con la seguridad de que todos los supuestos teóricos se cumplieron en forma adecuada.
Agradecimientos
Los autores agradecen a M.ª Ofelia Pedreguera Ramírez y Alicia García García por su gran paciencia y apoyo en la realización del documento final.
