Análisis factorial confirmatorio. Su utilidad en la validación de cuestionarios relacionados con la salud

array:19 ["pii" => "13057542" "issn" => "00257753" "estado" => "S300" "fechaPublicacion" => "2004-02-15" "documento" => "article" "crossmark" => 0 "subdocumento" => "fla" "cita" => "Med Clin. 2004;122 Supl 1:21-7" "abierto" => array:3 [ "ES" => false "ES2" => false "LATM" => false ] "gratuito" => false "lecturas" => array:2 [ "total" => 8169 "formatos" => array:3 [ "EPUB" => 10 "HTML" => 7525 "PDF" => 634 ] ] "itemSiguiente" => array:15 [ "pii" => "13057543" "issn" => "00257753" "estado" => "S300" "fechaPublicacion" => "2004-02-15" "documento" => "article" "crossmark" => 0 "subdocumento" => "fla" "cita" => "Med Clin. 2004;122 Supl 1:28-34" "abierto" => array:3 [ "ES" => false "ES2" => false "LATM" => false ] "gratuito" => false "lecturas" => array:2 [ "total" => 24562 "formatos" => array:3 [ "EPUB" => 15 "HTML" => 22837 "PDF" => 1710 ] ] "es" => array:11 [ "idiomaDefecto" => true "titulo" => "Métodos estadísticos para evaluar la concordancia" "tienePdf" => "es" "tieneTextoCompleto" => "es" "tieneResumen" => array:2 [ 0 => "es" 1 => "en" ] "paginas" => array:1 [ 0 => array:2 [ "paginaInicial" => "28" "paginaFinal" => "34" ] ] "titulosAlternativos" => array:1 [ "en" => array:1 [ "titulo" => "Statistical approaches to evaluate agreement" ] ] "contieneResumen" => array:2 [ "es" => true "en" => true ] "contieneTextoCompleto" => array:1 [ "es" => true ] "contienePdf" => array:1 [ "es" => true ] "autores" => array:1 [ 0 => array:2 [ "autoresLista" => "Josep Lluís Carrasco, Lluís Jover" "autores" => array:2 [ 0 => array:2 [ "nombre" => "Josep" "apellidos" => "Lluís Carrasco" ] 1 => array:2 [ "nombre" => "Lluís" "apellidos" => "Jover" ] ] ] ] ] "idiomaDefecto" => "es" "EPUB" => "https://multimedia.elsevier.es/PublicationsMultimediaV1/item/epub/13057543?idApp=UINPBA00004N" "url" => "/00257753/00000122000000S1/v0_201307292058/13057543/v0_201307292100/es/main.assets" ] "itemAnterior" => array:15 [ "pii" => "13057552" "issn" => "00257753" "estado" => "S300" "fechaPublicacion" => "2004-02-15" "documento" => "article" "crossmark" => 0 "subdocumento" => "fla" "cita" => "Med Clin. 2004;122 Supl 1:16-20" "abierto" => array:3 [ "ES" => false "ES2" => false "LATM" => false ] "gratuito" => false "lecturas" => array:2 [ "total" => 2341 "formatos" => array:3 [ "EPUB" => 8 "HTML" => 2121 "PDF" => 212 ] ] "es" => array:11 [ "idiomaDefecto" => true "titulo" => "Buscando una aguja en un pajar: las técnicas de conexión de registros en los sistemas de información sanitaria" "tienePdf" => "es" "tieneTextoCompleto" => "es" "tieneResumen" => array:2 [ 0 => "es" 1 => "en" ] "paginas" => array:1 [ 0 => array:2 [ "paginaInicial" => "16" "paginaFinal" => "20" ] ] "titulosAlternativos" => array:1 [ "en" => array:1 [ "titulo" => "Looking for a needle in a haystack: record linkage techniques in health information systems" ] ] "contieneResumen" => array:2 [ "es" => true "en" => true ] "contieneTextoCompleto" => array:1 [ "es" => true ] "contienePdf" => array:1 [ "es" => true ] "autores" => array:1 [ 0 => array:2 [ "autoresLista" => "Pere Arribas, Eva Cirera, Manuel Tristán-Polo" "autores" => array:3 [ 0 => array:2 [ "nombre" => "Pere" "apellidos" => "Arribas" ] 1 => array:2 [ "nombre" => "Eva" "apellidos" => "Cirera" ] 2 => array:2 [ "nombre" => "Manuel" "apellidos" => "Tristán-Polo" ] ] ] ] ] "idiomaDefecto" => "es" "EPUB" => "https://multimedia.elsevier.es/PublicationsMultimediaV1/item/epub/13057552?idApp=UINPBA00004N" "url" => "/00257753/00000122000000S1/v0_201307292058/13057552/v0_201307292059/es/main.assets" ] "es" => array:14 [ "idiomaDefecto" => true "titulo" => "Análisis factorial confirmatorio. Su utilidad en la validación de cuestionarios relacionados con la salud" "tieneTextoCompleto" => true "paginas" => array:1 [ 0 => array:2 [ "paginaInicial" => "21" "paginaFinal" => "27" ] ] "autores" => array:1 [ 0 => array:3 [ "autoresLista" => "Joan Manuel Batista-Foguet, Germà Coenders, Jordi Alonso" "autores" => array:3 [ 0 => array:3 [ "nombre" => "Joan" "apellidos" => "Manuel Batista-Foguet" "referencia" => array:1 [ 0 => array:2 [ "etiqueta" => "a" "identificador" => "affa" ] ] ] 1 => array:3 [ "nombre" => "Germà" "apellidos" => "Coenders" "referencia" => array:1 [ 0 => array:2 [ "etiqueta" => "b" "identificador" => "affb" ] ] ] 2 => array:3 [ "nombre" => "Jordi" "apellidos" => "Alonso" "referencia" => array:1 [ 0 => array:2 [ "etiqueta" => "c" "identificador" => "affc" ] ] ] ] "afiliaciones" => array:3 [ 0 => array:3 [ "entidad" => "ESADE. Dirección de Investigación. Universitat Ramon Llull. Barcelona." "etiqueta" => "a" "identificador" => "affa" ] 1 => array:3 [ "entidad" => "Institut de Recerca sobre Qualitat de Vida. Universitat de Girona. Girona. España." "etiqueta" => "b" "identificador" => "affb" ] 2 => array:3 [ "entidad" => "Unidad de Investigación en Servicios Sanitarios. Institut Municipal d'Investigació Mèdica (IMIM-IMAS). Barcelona. España." "etiqueta" => "c" "identificador" => "affc" ] ] ] ] "titulosAlternativos" => array:1 [ "en" => array:1 [ "titulo" => "Confirmatory factor analysis. Its role on the validation of health related questionnaires" ] ] "textoCompleto" => "IntroducciónEn medicina, las variables de interés son frecuentemente de naturaleza no observable. La discapacidad, la calidad de vida o el resultado de una intervención son conceptos y abstracciones que representan fenómenos que sirven para comunicarnos, clasificar, explicar o generalizar. Si lo que se pretende medir es una «variable latente» o «constructo no observable», es necesario hacerlo de forma indirecta por medio de «indicadores observables» (p. ej., respuestas a preguntas de cuestionario o declaración de síntomas y percepciones). La bondad de esta medición depende de la relación entre estos indicadores observables y los constructos subyacentes. Si la relación es débil, las inferencias efectuadas serán imprecisas y probablemente incorrectas.Este artículo se centra en los casos que requieran la cumplimentación de un cuestionario (por parte del paciente, el familiar o el personal médico) y la evaluación de éste como instrumento de medida. Se trata, pues, de la práctica habitual del clínico para determinar la presencia de una enfermedad mental en su paciente1,2 o su grado de adherencia o cumplimiento del tratamiento3. También se trata de la práctica del investigador que quiere establecer la calidad de vida del hipertenso que sigue tratamiento con un nuevo fármaco4 o del gerente del hospital que desea asegurarse de la calidad del servicio que ofrece5. Lo cual no es óbice para que esta metodología pueda emplearse también en la medición de variables fisiológicas como la presión arterial6.La creciente implicación de la opinión del propio paciente en las decisiones médicas ha creado la necesidad de medir los resultados de formas más ricas que la simple eficacia clínica y seguridad. Así, por ejemplo, la evaluación de la «calidad de vida relacionada con la salud», tal y como la perciben los pacientes, es una variable fundamental de lo que se conoce, en esta nueva óptica, como evaluación de resultados. La profusión de nuevos cuestionarios de calidad de vida, genéricos o específicos para determinadas afecciones, es una realidad corroborada por el número creciente de artículos publicados en revistas médicas generales y la existencia de diversas revistas especializadas.Ante la proliferación de estudios para la validación de escalas relacionadas con la salud, se quiere ofrecer al lector algunas reflexiones desde la perspectiva de la psicometría (uno de cuyos ámbitos es el desarrollo y la validación de escalas) que le resulten útiles para poder juzgar la calidad de lo que, en ocasiones demasiado superficialmente, se califica como proceso de «validación» de un cuestionario. El objetivo de este artículo concierne únicamente a sus aspectos estadísticos. No se tratan las etapas previas, de carácter más conceptual, que determinarían tanto el contenido como el diseño de nuevos cuestionarios, así como su adaptación a otras culturas, sin las que toda sofisticación estadística es inútil. Véanse algunas de las guías existentes7-12.Propiedades fundamentales del instrumento de medida: validez y fiabilidadPara validar un cuestionario coexisten esencialmente dos planteamientos estadísticos. Uno, enraizado en la teoría clásica del test (TCT) y en modelos de análisis factorial, el otro, basado en la teoría de la respuesta al ítem (TRI). Aunque el uso de la TRI en investigación biomédica es creciente, su origen y desarrollo se deben a la medición de aptitudes o conocimientos. Por ello, este artículo presentará la actual perspectiva de la TCT, más cercana a la práctica médica.Fiabilidad y validez proporcionan el lenguaje esencial de la medición y constituyen los índices de calidad de los cuestionarios. Ambas son cuestiones de grado. La fiabilidad tiene básicamente un cariz empírico y se centra en el rendimiento de las mediciones realizadas. Por el contrario, la validez tiene una orientación más teórica, pues inevitablemente emerge la cuestión: ¿para qué es válido? De hecho, no se valida un instrumento de medida en sí mismo, sino en relación con el propósito para el que se utilizará.ValidezEntre los distintos tipos de validez (de aspecto; de contenido; de criterio concurrente y predictiva; y de constructo), esta última es la de mayor interés, ya que incorpora en gran parte las anteriores y es idónea para la evaluación de cuestionarios. A su vez, la validez de constructo se divide en nomológica, convergente y discriminante13. La validez nomológica se refiere a que las medidas válidas de diferentes conceptos teóricamente vinculados deben estar relacionadas de acuerdo con las teorías correspondientes. La validez convergente se refiere a que las medidas de un mismo concepto deben estar relacionadas, y deben estarlo más que las medidas de conceptos distintos, lo que constituye la validez discriminante.La validez de constructo se evalúa habitualmente mediante correlaciones con otras escalas o indicadores objetivos de salud. En ocasiones, el análisis de la varianza, con mediciones pretratamiento y postratamiento, permite evaluar la sensibilidad al cambio o discriminar entre distintas poblaciones. En el mejor de los casos, un análisis factorial exploratorio (AFE) de la matriz de correlaciones «dictará» las dimensiones latentes y sus resultados se utilizarán como indicación de validez convergente y discriminante.La calibración (en este mismo número)14, habitual en la práctica médica dada su finalidad, podría asimilarse a la evaluación de la validez de criterio propia del cuestionario; es decir, el grado de acuerdo con una medida de referencia considerada más válida. No obstante, la imposibilidad de asumir medidas libres de error hace inviable esta estrategia cuando se evalúan cuestionarios.Todo tipo de valoración de la validez supone, en esencia, preguntarse si los indicadores lo son sólo del concepto que se quiere medir y si no están influidos por ningún otro efecto sistemático. Sin embargo, las respuestas a los ítems de un cuestionario tienen un sinfín de efectos sistemáticos, de naturaleza diversa, que comprometen la validez11. La causa puede residir en el cuestionario, pero también en el encuestador, el encuestado o en el método de recogida de información. Puede tratarse de la modalidad de respuesta del cuestionario, de las expectativas del encuestador, de la reactividad frente a la situación, de la percepción de amenaza a la intimidad, de sucumbir al efecto de deseabilidad social o al de aquiescencia.FiabilidadMientras la invalidez se debe al error sistemático, la fiabilidad se relaciona con el grado de error aleatorio. Cuanto mayores son las fluctuaciones aleatorias en las respuestas, menor es la fiabilidad y viceversa. En la práctica, una medición es fiable cuando proporciona resultados consistentes o estables, ya sea en medidas repetidas o en las respuestas a los diversos ítems que la componen.La medición de constructos data de principios del siglo xx15,16 con la introducción, en principio entre psicólogos y posteriormente entre psiquiatras17, de los métodos biométricos (regresión y correlación) de Galton y Pearson. Esta tradición estadística basada en la correlación, aunque se ha demostrado incorrecta en muchos casos18, sigue utilizándose todavía en cuestionarios relacionados con la salud para estimar la fiabilidad y algunas formas de validez.Así, se acostumbra entender la fiabilidad como la consistencia interna de los ítems que mide el coeficiente * de Chronbach (basado en el promedio de las correlaciones) o como la estabilidad temporal que proporcionan las correlaciones test-retest12. Carrasco y Jover discuten en este mismo número otras medidas usuales en medicina para evaluar la fiabilidad-concordancia14.Desde nuestro punto de vista, el binomio que constituyen el *de Chronbach y el AFE es del todo insuficiente para garantizar la validez y fiabilidad de un cuestionario relacionado con la salud. Por ello, este artículo, en primer lugar, critica la evaluación que habitualmente se hace de fiabilidad y validez, y en segundo lugar, propone el análisis factorial confirmatorio (AFC) caso particular de los modelos de ecuaciones estructurales como alternativa adecuada19.Métodos clásicos para evaluar la fiabilidad. Teoría clásica del testLos psicólogos de finales del siglo xix, preocupados únicamente por la falibilidad de las mediciones, desarrollaron la teoría clásica del test (TCT)20. Ésta establece la descomposición de la puntuación observada del j-ésimo ítem según la ecuación: <img src="2v122nSupl.1-13057542tab01.gif"></img>(1) donde se asume que:  fk es «puntuación verdadera» y ej error aleatorio de medición exclusivamente (sin componentes sistemáticos específicos del ítem vj); las unidades de fk y vj son las mismas (*j = 1); fk no está estandarizado y tiene varianza *kk. lo que implica analizar la varianza de vj en varianza explicada por la puntuación verdadera (*kk) y debida al error aleatorio *jj: <img src="2v122nSupl.1-13057542tab02.gif"></img> (2) La fiabilidad * se define como el porcentaje de varianza de vj explicado por fk: <img src="2v122nSupl.1-13057542tab03.gif"></img>(3) Según sus supuestos, de menos a más estrictos, los indicadores de una misma fk pueden ser «congenéricos» (sin errores sistemáticos derivados de cambios en la puntuación verdadera por funcionamiento distinto de los ítems o variaciones de opinión en el tiempo ni errores correlacionados por ejemplo, debido a efecto memoria), «tau-equivalentes» (además con idénticas unidades, es decir, * iguales) o «paralelos» (además con idéntica fiabilidad, es decir, * iguales, y por consiguiente * también iguales)21.En los siguientes apartados veremos que los investigadores que en medicina usan cuestionarios asumen implícitamente estos supuestos, al calcular la fiabilidad mediante la correlación de pares de ítems, o al utilizar el «coeficiente * de Chronbach»22.Cálculo de la fiabilidad de cada indicador-ítemEn efecto, conceptualizar la fiabilidad como estabilidad de las medidas (v1, v2) repetición del mismo ítem en otro momento (test-retest), o bien administración de 2 ítems análogos simultáneamente y calcularla, por tanto, como correlación entre éstas: <img src="2v122nSupl.1-13057542tab04.gif"></img>(4) supone, en realidad, que los ítems son paralelos, supuesto que puede etiquetarse eufemísticamente de poco realista23.Cálculo de la fiabilidad de escalas sumadas (conjunto de ítems)Para reducir los efectos del error de medición del cuestionario se acostumbra sumar las puntuaciones de los ítems, de forma que los términos de error tiendan a compensarse en la «escala sumada» finalmente obtenida. Como es sabido, la fiabilidad de la escala es mayor que la de cada uno de los ítems que la componen, y tanto mayor cuanto mayor sea el número de ítems24,25.Para evaluar la fiabilidad de la escala, de forma análoga a como se ha hecho con el ítem individual, se consideran dos formas paralelas de un mismo test o bien su subdivisión en 2 mitades equivalentes (split-halves), y se correlacionan ambas a continuación. Dada la arbitrariedad del split-halving (la escala se puede partir de muchas maneras), los psicómetras han desarrollado coeficientes de fiabilidad que la evitan (aunque comparten sus supuestos) conocidos como coeficientes de consistencia interna o equivalencia. Entre ellos el más popular es el coeficiente *, para el que, de manera un tanto simplista, y sin hacer referencia a los supuestos mencionados, se proponen12 umbrales mínimos como 0,7 para comparar grupos y 0,9 para comparaciones individuales. La diferencia entre estos umbrales está relacionada con la necesidad de disminuir la incertidumbre en el caso del diagnóstico de un solo paciente, mientras que la posibilidad de aumentar la precisión con un mayor tamaño muestral permite relajar el umbral en los estudios de grupos.Crítica al modelo de la teoría clásica del test cuando evalúa la fiabilidadHemos visto que en medicina la fiabilidad se estima según correlaciones y asunciones poco justificadas en datos recogidos por encuesta, ya que éstos incluyen errores que no son aleatorios. Encuestador, encuestado y cuestionario son fuentes del error sistemático que conducen a vulnerar los supuestos de la TCT.Además, estas asunciones tan restrictivas no se someten a ningún contraste. En particular, la medida de fiabilidad más utilizada (* de Chronbach) sólo estima correctamente la fiabilidad si los ítems son al menos tau-equivalentes18,26 (cuyo contraste requiere comprobar la igualdad de covarianzas, no de correlaciones). En cualquier otro caso, proporciona un límite inferior de la fiabilidad. Sus defensores ponderan precisamente este aspecto conservador; no obstante, * se utiliza a menudo, en correlaciones o coeficientes de regresión, para corregir el sesgo debido a errores de medición, con lo que una fiabilidad subestimada se traducirá en una corrección excesiva del sesgo, lo que no es nada conservador.Métodos clásicos para evaluar la validez. La perspectiva exploratoria del modelo de análisis factorialHasta finales de los años sesenta el investigador se ha servido del AFE27 para establecer indicadores adecuados que hicieran emerger dimensiones subyacentes. Actualmente, todavía es frecuente en medicina (a pesar de disponer de mejores alternativas) servirse de estos modelos exploratorios para validar cuestionarios28. El AFE incluye un primer supuesto sustantivo: cada ítem tiene dos fuentes de variación, la «común» y la «única». Este supuesto se especifica mediante una ecuación de regresión, que relaciona los ítems (dependientes) con los factores, cuya naturaleza latente es precisamente lo que diferencia este modelo del de regresión. Estos m factores constituyen y explican la parte común o compartida por los ítems y se conocen como factores comunes. El término residual ej es la parte única o sin explicar por los factores latentes: <img src="2v122nSupl.1-13057542tab05.gif"></img>(5) Esta expresión recuerda la (1), aquélla con un solo factor. Los parámetros *jk se denominan «saturaciones» y desempeñan un papel análogo a los coeficientes de regresión. La práctica habitual de estandarizar las saturaciones facilita su interpretación como correlación del ítem y el factor correspondiente.Dado que, en general, el ítem no será un reflejo exacto de la información de los factores, el término residual ej en la ecuación incluye dos tipos de efectos: los debidos a «características específicas del indicador», asociados a invalidez, y los del «error aleatorio de medición». Ambos efectos se asumen incorrelacionados entre sí y con los factores comunes. Estos supuestos permiten descomponer la varianza de cada ítem en «comunalidad» (varianza explicada por los factores comunes), y «unicidad» o varianza única, sin explicar por esos factores.Crítica al modelo del AFE para evaluar la validezArrecian las críticas al modelo exploratorio y hasta estas páginas se han hecho eco de sus inconvenientes29. Aquí resaltamos las deficiencias que hemos denunciado en otros escritos:  La propia formulación del AFE lo diferencia poco de otras técnicas multivariantes y descriptivas, llamadas genérica y equívocamente factoriales. De hecho, se identifica habitualmente la «técnica de análisis en componentes principales» (ACP) con un «modelo», el del AFE. Aquella técnica no asume ningún modelo para los ítems, su única finalidad es reducir la dimensionalidad. Los paquetes estadísticos, verdaderos promotores de este festival de la confusión, ni tan siquiera requieren que el usuario explicite el número de factores del modelo. Además, se acostumbra obviar su contraste estadístico y se utilizan en su lugar criterios sin fundamentar, propios del ACP, como umbrales mínimos para la varianza explicada28. No es posible determinar una única expresión de cada ítem a partir de los factores comunes. Esta indeterminación propia del AFE se conoce con el eufemismo de «rotación»30. Cada método de rotación por cierto, arbitrario conduce a interpretaciones distintas y a menudo mantiene la rígida y poco realista estructura de factores incorrelacionados. El modelo incorpora pocos supuestos sustantivos y permite que cada ítem dependa de todos los factores comunes, con lo que la interpretación es heurística y difícil. En consecuencia, con el AFE es imposible demostrar la validez que cada indicador mida únicamente el factor que se supone que debe medir.Sin embargo, en investigación médica, la perspectiva exploratoria parece ser la única aproximación al replicar la estructura factorial de un cuestionario desarrollado en otro país. Aún hoy, desviarse de esta metodología tradicional en medicina es excepcional31-33. Y por si esto fuera poco, la secuencia de análisis procede evaluando en primer lugar la fiabilidad para después aplicar el AFE. De nada sirve una medida fiable de algo distinto a lo que se desea medir. El diagnóstico de la validez debe preceder siempre al de la fiabilidad. Además, basta con reunir un gran número de ítems inválidos, o incluso multidimensionales, para obtener un *26 elevado.Métodos alternativos para evaluar la validez y la fiabilidad. El análisis factorial confirmatorioCuando el investigador tiene suficientes conocimientos previos para formular hipótesis concretas sobre la relación entre indicadores y dimensiones latentes, su interés se centra en contrastar estas hipótesis. Por ejemplo, al traducir o adaptar cuestionarios ya desarrollados sabemos qué ítems deberían medir qué dimensiones. El modelo de análisis factorial confirmatorio (AFC)34,18,19 corrige las deficiencias inherentes a la perspectiva exploratoria y conduce a una mayor concreción de las hipótesis que deben ser contrastadas. Su especificación difiere de la perspectiva exploratoria en aspectos esenciales como:  Permitir restricciones en algunas saturaciones. Lo habitual es suponer la validez de cada ítem, es decir, que satura en un único factor. Se delimita así el concepto de factor común a aquel que subyace únicamente a sus indicadores concretos y se evita introducir factores ad hoc de difícil interpretación. Permitir contrastes estadísticos de las hipótesis especificadas. Permitir componentes únicas correlacionadas. Aunque es un recurso poco elegante, se justifica por la existencia de otros factores sin interés, como un método de medición común que no se desea explicitar en la especificación. Permitir analizar la matriz de covarianzas en lugar de la de correlaciones, indispensable para establecer si los indicadores son tau-equivalentes. Adviértase que el AFC es mucho menos restrictivo que la TCT. En efecto, el AFC sólo asume que los ítems constituyen «mediciones congenéricas», pero no asume la igualdad de las saturaciones ni de las varianzas de error. Además, el AFC somete estos supuestos a contrastes estadísticos que, en caso de rechazarse, desaconsejarían la evaluación de la fiabilidad.El modelo se suele representar en un diagrama de flujos (path diagram), acorde con su especificación. Convencionalmente, los rectángulos representan ítems y las elipses, factores comunes. Flechas unidireccionales entre factores comunes e ítems expresan saturaciones. Flechas bidireccionales indican correlaciones entre factores comunes o únicos. La figura 1 muestra los diagramas de dos posibles modelos de AFE y de AFC. En el modelo de AFC, los factores únicos de las variables v1 y v4 que podrían compartir método de medición están correlacionados. Se resalta que v1, v2 y v3 son indicadores exclusivamente de f1 mientras que v4, v5 y v6 lo son sólo de f2.<img src="2v122nSupl.1-13057542tab06.gif"></img>Fig. 1. Diferencias entre el diagrama de flujos (path diagram) de los modelos de análisis factorial confirmatorio y análisis factorial exploratorio con 6 variables y 2 factores.En un principio, los programas para estimar modelos de AFC eran escasos y requerían conocimientos de álgebra matricial. Actualmente, existe una gran variedad de ellos, todos accesibles y sencillos de utilizar (en algunos, el usuario se limita a dibujar el diagrama del modelo) que permiten estimar cualquier modelo de ecuaciones estructurales.Evaluación de las propiedades del cuestionario mediante modelos de análisis factorial confirmatorioEl diseño ideal del cuestionario no consiste tanto en una única batería de ítems relativos al constructo global de interés como en subconjuntos de ítems específicos para cada dimensión.La asignación de indicadores específicos a dimensiones concretas es una de las mayores aportaciones de la perspectiva confirmatoria. Los modelos de AFC permiten contrastar la validez ajustando un modelo que la asuma y diagnosticando su bondad de ajuste (validación de constructo). En este modelo, cada ítem satura únicamente sobre el factor-dimensión del que se supone que constituye un indicador válido. La invalidez de los ítems se detecta en indicios como los siguientes19: La bondad del ajuste del modelo es insatisfactoria, lo que implica que algunas saturaciones, o correlaciones entre factores únicos, se asumieron nulas por error. Los ítems que saturan en más de un factor no son indicadores válidos. Asimismo, la necesidad de una correlación entre factores únicos refleja errores sistemáticos y es otra señal de invalidez. Algunos ítems tienen un porcentaje de varianza única elevado, lo que hace poco creíble que dicha varianza contenga sólo error aleatorio de medición (invalidez convergente). Algunos factores presentan correlaciones muy próximas a la unidad, lo que plantea que estos factores representan una única dimensión (invalidez discriminante). Las correlaciones entre algunos factores son de signo o magnitud sorprendente según la teoría, lo que evidencia que las teorías disponibles son falsas o las variables miden factores distintos de los que se suponían (invalidez nomológica). Lamentablemente, se evalúan aquí simultáneamente las teorías y la validez. Se recomienda, por tanto, incluir en el modelo un cierto número de dimensiones potencialmente relacionadas con las de interés35.Una vez establecida la validez, puede procederse a evaluar la fiabilidad. Ésta puede calcularse simplemente como el porcentaje de varianza del ítem explicado por el factor. La fiabilidad de una escala sumada de los ítems de una misma dimensión puede calcularse según el coeficiente ‡36: <img src="2v122nSupl.1-13057542tab07.gif"></img>(6) donde el denominador es la varianza total de la escala y el numerador es la suma de las varianzas de error de todos los ítems de la escala.Etapas en el ajuste de un modelo de análisis factorial confirmatorioEsta sección refiere sucintamente las etapas a seguir para validar un cuestionario empleando el AFC. Debe tenerse en cuenta que el ajuste de modelos estructurales es un proceso complejo, del que sólo se destacan algunos de los aspectos más relevantes. El lector interesado puede acudir a las referencias citadas.Especificación, identificación y estimaciónSegún se ha comentado, la especificación del modelo establece que cada variable satura sólo sobre el factor común que mide, que los factores comunes están correlacionados, y que los únicos están incorrelacionados.Una vez especificado el modelo, se debe evaluar si es estimable. Esta etapa se conoce como de «identificación». En el caso del AFC, con carácter general, se requieren para cada factor al menos dos ítems que ni saturen en otro factor ni presenten componentes únicas correlacionadas. La precisión de las estimaciones mejora sustancialmente si se dispone de tres indicadores por factor. Dado que las propiedades de los estimadores son asintóticas, se recomiendan tamaños de muestra superiores a 200, aunque depende de las características del modelo37.Existe una multitud de procedimientos de estimación del modelo. Los métodos clásicos se basan en el criterio de la máxima verosimilitud, de acuerdo con el supuesto de normalidad multivariante de los ítems. Existen métodos alternativos para los ítems de nivel de medida ordinal38,39 (como los de Likert) y contrastes robustos para el caso de los ítems no normales40.Diagnóstico de la bondad del ajusteUn modelo correcto es aquel que sólo incorpora las restricciones y supuestos que se cumplen en la población, sin omisión de parámetros. Puesto que los modelos sobreparametrizados, que imponen pocas restricciones, suelen conducir a ajustes perfectos de los datos, un buen modelo implicará un compromiso entre la parquedad y la bondad del ajuste41.El diagnóstico de la bondad de ajuste es crucial para establecer la validez del cuestionario. En Batista y Coenders42 puede encontrarse este desarrollo ampliado. La etapa de diagnóstico permitirá distinguir los modelos que ajusten flagrantemente mal los datos de aquellos modelos que los ajusten razonablemente bien, aunque de estos últimos puede haber muchos. La etapa de diagnóstico nunca será, pues, capaz de demostrar que un modelo es correcto, sino, a lo sumo, incapaz de demostrar que es incorrecto. En consecuencia, tampoco será capaz de demostrar que un cuestionario es válido, sino, incapaz de demostrar que es inválido.El diagnóstico empieza por un examen general de la solución obtenida para detectar problemas graves como la presencia de estimaciones no admisibles o la falta de convergencia del algoritmo de estimación. A continuación, se establece de modo global la adecuación o no del modelo. Finalmente, se emplean diagnósticos detallados, parámetro a parámetro, para detectar partes del modelo cuya especificación no es idónea.Un primer diagnóstico global del modelo es el «contraste de razón de verosimilitudes o estadístico *2». Su hipótesis nula establece que las restricciones del modelo son correctas. Su objetivo consiste en detectar posibles parámetros indebidamente omitidos en el modelo. Ya que un modelo no puede ser más que una aproximación a la realidad, la hipótesis que establece que el modelo es exactamente correcto será siempre falsa e incluso absurdo su contraste. Además, dado que los modelos de AFC suelen estimarse sobre muestras relativamente grandes, la potencia del contraste es a menudo elevada y conducirá a rechazar modelos por insignificantes errores de especificación. En la práctica interesará más cuantificar el grado de ajuste (o desajuste) del modelo que simplemente rechazar o no la hipótesis nula.La lista de índices de bondad de ajuste es muy larga y queda fuera del alcance de este artículo43. Destacamos el «residuo estandarizado cuadrático medio (SRMR)», el «error cuadrático medio de aproximación (RMSEA)» y las medidas de bondad de ajuste basadas en el estadístico *2, reescalado de manera que tome valores entre 0 y 1. El más utilizado es el «índice de ajuste no normado (NNFI)» de Tucker y Lewis, que es independiente del tamaño muestral y tiene en cuenta la parquedad del modelo además de su bondad de ajuste44. Con la debida flexibilidad, el ajuste se considera aceptable si el SRMR y el RMSEA no alcanzan 0,05 y el NNFI supera 0,95.Diagnóstico detallado, modificación del modelo y capitalización del azarDifícilmente los modelos de AFC ajustan los datos en un primer contraste. Pero el diagnóstico no sólo permite evaluar el modelo, sino también sugiere maneras de mejorarlo. Así, la modificación del modelo45 se ha convertido en práctica habitual para optimizar la bondad del ajuste al añadir parámetros, conseguir mayor parquedad eliminándolos o aumentar la validez mediante la supresión de ítems inapropiados («poda de ítems»).El proceso de modificación viene guiado esencialmente por dos índices: «contraste de los multiplicadores de Lagrange» (índice de modificación) y «contraste de Wald» (estadístico t). El primero refiere la significación de los parámetros omitidos del modelo. Éstos corresponden a saturaciones sobre otros factores o covarianzas entre factores únicos en el modelo de AFC y si fueran significativos indicarían invalidez. El segundo comprueba la significación de los parámetros incluidos en el modelo. Una saturación no significativamente distinta de 0 o una correlación entre factores no significativamente distinta de 1 indican invalidez.Diversos autores46,47 aconsejan introducir sólo modificaciones plausibles, de manera secuencial, reexaminando los resultados antes de efectuar la siguiente y empezar añadiendo parámetros significativos antes que eliminar los no significativos o los ítems poco válidos.En cualquier caso, debe tenerse presente que la modificación del modelo se ha basado en los resultados de una muestra concreta. La introducción de modificaciones adecuadas para el ajuste del modelo a la muestra, pero inadecuadas para el ajuste a la población se denomina «capitalización del azar». La capitalización del azar tiende a sesgar al alza las estimaciones y los estadísticos t48, lo que obliga a tener suma cautela en la interpretación. Para que los resultados y el modelo final puedan generalizarse más allá de la muestra concreta, precisaremos estimar y diagnosticar el modelo en una segunda muestra independiente («validación cruzada»). DiscusiónEl cuestionario es una pieza cada vez más relevante en la evaluación de la evidencia científica a favor de los efectos de un tratamiento, de la satisfacción del usuario o de las preferencias por diversos resultados sanitarios. Por ello, el investigador en medicina debe conocer qué procedimientos estadísticos le permiten hoy optimizar la medida de sus variables de interés.Es obvio que haber probado un cuestionario en una muestra de pacientes, haber calculado algunas correlaciones y publicado sus resultados, no garantiza que éste se haya validado. El proceso de validación de un cuestionario implica un conjunto de decisiones que se apoyan en contrastes de hipótesis correctamente formuladas. Además, cada cuestionario requiere de la suficiente evidencia científica para su adecuación.Las publicaciones biomédicas que incluyen cuestionarios revelan la necesidad de precisar, como hemos hecho, los términos esenciales de la medición (fiabilidad y validez). Como se ha visto, la investigación con cuestionarios o tests utiliza generalmente metodologías tradicionales basadas en supuestos poco realistas que se incumplen en la práctica y, en consecuencia, la fiabilidad se evalúa incorrectamente y, habitualmente, antes de que se evalúe la validez.Se han señalado las limitaciones de los procedimientos de evaluación de un cuestionario mediante la TCT. En contraposición, se han referido las ventajas de los modelos del AFC, que permiten evaluar la validez y la fiabilidad de cada ítem. El investigador contrasta hipótesis acerca de ítems individuales, ¿miden lo que pretenden medir? (validez) y, una vez establecida ésta, ¿con qué precisión se obtiene esta medida? (fiabilidad). Los modelos del AFC han mostrado su aptitud tanto para validar un nuevo cuestionario como para adaptar el desarrollado en otra lengua o aplicado a una población o cultura diferente, puesto que nada garantiza que los ítems se entiendan de la misma manera en distintos contextos, o incluso que las variables latentes tengan la misma conceptualización8,12. " "pdfFichero" => "2v122nSupl.1a13057542pdf001.pdf" "tienePdf" => true "PalabrasClave" => array:2 [ "es" => array:1 [ 0 => array:4 [ "clase" => "keyword" "titulo" => "Palabras clave" "identificador" => "xpalclavsec223779" "palabras" => array:5 [ 0 => "Validez" 1 => "Fiabilidad" 2 => "Análisis factorial confirmatorio" 3 => "Análisis factorial exploratorio" 4 => "* de Chronbach" ] ] ] "en" => array:1 [ 0 => array:4 [ "clase" => "keyword" "titulo" => "Keywords" "identificador" => "xpalclavsec223780" "palabras" => array:5 [ 0 => "Validity" 1 => "Reliability" 2 => "Confirmatory factor analysis" 3 => "Exploratory factor analysis" 4 => "Chronbach's" ] ] ] ] "tieneResumen" => true "resumen" => array:2 [ "es" => array:1 [ "resumen" => "El investigador que usa cuestionarios en ciencias de la salud se basa tácitamente (a menudo, inadvertidamente) en la teoría clásica del test, cuyos supuestos, poco realistas, se incumplen con frecuencia y conducen a evaluar deficientemente la fiabilidad y validez del instrumento. Este artículo destaca la necesidad de precisar los términos esenciales de la medición (fiabilidad y validez) clarificando las deficiencias en que incurre la metodología tradicional en su uso. Señala las limitaciones de la evaluación de la fiabilidad mediante el * de Chronbach o la laxitud en la valoración cuantitativa de la validez mediante el análisis factorial exploratorio. Como alternativa se propone el tratamiento secuencial e integrado de la validez y la fiabilidad en el marco de los modelos del análisis factorial confirmatorio. Estos modelos proporcionan el marco estadístico adecuado para evaluar la validez y la fiabilidad de cada ítem, en lugar de efectuar sólo valoraciones globales. La perspectiva confirmatoria guía al investigador para que optimice el proceso de construcción o adaptación de un cuestionario, liberándole del ritual poco fundamentado que «recetaba» la metodología clásica." ] "en" => array:1 [ "resumen" => "Researchers who use questionnaires in the health sciences tacitly base themselves (often inadvertently) in Classical Test Theory, the suppositions of which are unrealistic and frequently violated, leading to defective evaluation of the reliability and validity of the instrument. The present article emphasizes the need for precise definition of essential terms of measurement (reliability and validity) by clarifying the deficiencies that traditional methodology incurs in their use. The limitations of evaluation of reliability through Chronbach's alpha and laxity in quantitative evaluation of validity through exploratory factor analysis are described. As an alternative, a sequential and integrated approach to validity and reliability within the framework of confirmatory factor analysis models is proposed. These models provide the appropriate statistical framework to evaluate the validity and reliability of each item, instead of carrying out overall evaluations only. The confirmatory approach guides researchers to optimize the process of designing or adapting a questionnaire, freeing them from the largely unfounded ritual laid down by classical methodology." ] ] "multimedia" => array:14 [ 0 => array:6 [ "identificador" => "tbl1" "tipo" => "MULTIMEDIATABLA" "mostrarFloat" => true "mostrarDisplay" => false "copyright" => "Elsevier España" "tabla" => array:1 [ "tablatextoimagen" => array:1 [ 0 => array:1 [ "tablaImagen" => array:1 [ 0 => array:4 [ "imagenFichero" => "2v122nSupl.1-13057542tab01.gif" "imagenAlto" => 60 "imagenAncho" => 150 "imagenTamanyo" => 11010 ] ] ] ] ] ] 1 => array:6 [ "identificador" => "tbl2" "tipo" => "MULTIMEDIATABLA" "mostrarFloat" => true "mostrarDisplay" => false "copyright" => "Elsevier España" "tabla" => array:1 [ "tablatextoimagen" => array:1 [ 0 => array:1 [ "tablaImagen" => array:1 [ 0 => array:4 [ "imagenFichero" => "2v122nSupl.1-13057542tab02.gif" "imagenAlto" => 57 "imagenAncho" => 150 "imagenTamanyo" => 10500 ] ] ] ] ] ] 2 => array:6 [ "identificador" => "tbl3" "tipo" => "MULTIMEDIATABLA" "mostrarFloat" => true "mostrarDisplay" => false "copyright" => "Elsevier España" "tabla" => array:1 [ "tablatextoimagen" => array:1 [ 0 => array:1 [ "tablaImagen" => array:1 [ 0 => array:4 [ "imagenFichero" => "2v122nSupl.1-13057542tab03.gif" "imagenAlto" => 60 "imagenAncho" => 150 "imagenTamanyo" => 11010 ] ] ] ] ] ] 3 => array:6 [ "identificador" => "tbl4" "tipo" => "MULTIMEDIATABLA" "mostrarFloat" => true "mostrarDisplay" => false "copyright" => "Elsevier España" "tabla" => array:1 [ "tablatextoimagen" => array:1 [ 0 => array:1 [ "tablaImagen" => array:1 [ 0 => array:4 [ "imagenFichero" => "2v122nSupl.1-13057542tab04.gif" "imagenAlto" => 42 "imagenAncho" => 236 "imagenTamanyo" => 1895 ] ] ] ] ] ] 4 => array:6 [ "identificador" => "tbl5" "tipo" => "MULTIMEDIATABLA" "mostrarFloat" => true "mostrarDisplay" => false "copyright" => "Elsevier España" "tabla" => array:1 [ "tablatextoimagen" => array:1 [ 0 => array:1 [ "tablaImagen" => array:1 [ 0 => array:4 [ "imagenFichero" => "2v122nSupl.1-13057542tab05.gif" "imagenAlto" => 33 "imagenAncho" => 202 "imagenTamanyo" => 1509 ] ] ] ] ] ] 5 => array:8 [ "identificador" => "tbl6" "etiqueta" => "Fig. 1" "tipo" => "MULTIMEDIATABLA" "mostrarFloat" => true "mostrarDisplay" => false "copyright" => "Elsevier España" "tabla" => array:1 [ "tablatextoimagen" => array:1 [ 0 => array:1 [ "tablaImagen" => array:1 [ 0 => array:4 [ "imagenFichero" => "2v122nSupl.1-13057542tab06.gif" "imagenAlto" => 293 "imagenAncho" => 554 "imagenTamanyo" => 8189 ] ] ] ] ] "descripcion" => array:1 [ "es" => "Diferencias entre el diagrama de flujos (path diagram) de los modelos de análisis factorial confirmatorio y análisis factorial exploratorio con 6 variables y 2 factores." ] ] 6 => array:6 [ "identificador" => "tbl7" "tipo" => "MULTIMEDIATABLA" "mostrarFloat" => true "mostrarDisplay" => false "copyright" => "Elsevier España" "tabla" => array:1 [ "tablatextoimagen" => array:1 [ 0 => array:1 [ "tablaImagen" => array:1 [ 0 => array:4 [ "imagenFichero" => "2v122nSupl.1-13057542tab07.gif" "imagenAlto" => 63 "imagenAncho" => 193 "imagenTamanyo" => 1604 ] ] ] ] ] ] 7 => array:5 [ "identificador" => "tbl8" "tipo" => "MULTIMEDIATABLA" "mostrarFloat" => true "mostrarDisplay" => false "copyright" => "Elsevier España" ] 8 => array:5 [ "identificador" => "tbl9" "tipo" => "MULTIMEDIATABLA" "mostrarFloat" => true "mostrarDisplay" => false "copyright" => "Elsevier España" ] 9 => array:5 [ "identificador" => "tbl10" "tipo" => "MULTIMEDIATABLA" "mostrarFloat" => true "mostrarDisplay" => false "copyright" => "Elsevier España" ] 10 => array:5 [ "identificador" => "tbl11" "tipo" => "MULTIMEDIATABLA" "mostrarFloat" => true "mostrarDisplay" => false "copyright" => "Elsevier España" ] 11 => array:5 [ "identificador" => "tbl12" "tipo" => "MULTIMEDIATABLA" "mostrarFloat" => true "mostrarDisplay" => false "copyright" => "Elsevier España" ] 12 => array:5 [ "identificador" => "tbl13" "tipo" => "MULTIMEDIATABLA" "mostrarFloat" => true "mostrarDisplay" => false "copyright" => "Elsevier España" ] 13 => array:5 [ "identificador" => "tbl14" "tipo" => "MULTIMEDIATABLA" "mostrarFloat" => true "mostrarDisplay" => false "copyright" => "Elsevier España" ] ] "bibliografia" => array:2 [ "titulo" => "Bibliografía" "seccion" => array:1 [ 0 => array:1 [ "bibliografiaReferencia" => array:48 [ 0 => array:3 [ "identificador" => "bib1" "etiqueta" => "1" "referencia" => array:1 [ 0 => array:2 [ "referenciaCompleta" => "The detection of psychiatric illness by questionnaire. London: Oxford University Press, 1972 (Maudsley Monograph n.º 21)." "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "The detection of psychiatric illness by questionnaire. London: Oxford University Press, 1972 (Maudsley Monograph n.º 21)." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Goldberg DP." ] ] ] ] ] ] ] ] 1 => array:3 [ "identificador" => "bib2" "etiqueta" => "2" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Study of the validity of Goldberg's." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:5 [ 0 => "Muñoz PE" 1 => "Vázquez JL" 2 => "Pastrana E" 3 => "Rodríguez F" 4 => "Oneca C." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Soc Psychiatry" "fecha" => "1978" "volumen" => "13" "paginaInicial" => "99" "paginaFinal" => "104" ] ] ] ] ] ] 2 => array:3 [ "identificador" => "bib3" "etiqueta" => "3" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Validation of a simplified medication adherence questionnaire in a large cohort of HIV-infected patients: the GEEMA study." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:7 [ 0 => "Knobel H" 1 => "Alonso J" 2 => "Casado JL" 3 => "Collazos J" 4 => "González J" 5 => "Ruiz I" 6 => "et al." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "AIDS" "fecha" => "2002" "volumen" => "16" "paginaInicial" => "605" "paginaFinal" => "13" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/11873004" "web" => "Medline" ] ] ] ] ] ] ] ] 3 => array:3 [ "identificador" => "bib4" "etiqueta" => "4" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "The effects of antihypertensive therapy on the quality of life." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:7 [ 0 => "Croog SH" 1 => "Levine S" 2 => "Testa MA" 3 => "Brown B" 4 => "Bulpitt CJ" 5 => "Jenkins CD" 6 => "et al." ] ] ] ] ] "host" => array:1 [ 0 => array:2 [ "doi" => "10.1056/NEJM198606263142602" "Revista" => array:6 [ "tituloSerie" => "NEJM" "fecha" => "1986" "volumen" => "314" "paginaInicial" => "1657" "paginaFinal" => "64" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/3520318" "web" => "Medline" ] ] ] ] ] ] ] ] 4 => array:3 [ "identificador" => "bib5" "etiqueta" => "5" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "The quality of physician-patient relationships. Patients' experiences 1996-1999." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:5 [ 0 => "Murphy J" 1 => "Chang H" 2 => "Montgomery JE" 3 => "Rogers WH" 4 => "Safran DG." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "J Fam Parct" "fecha" => "2001" "volumen" => "50" "paginaInicial" => "123" "paginaFinal" => "9" ] ] ] ] ] ] 5 => array:3 [ "identificador" => "bib6" "etiqueta" => "6" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Using structural equation models to evaluate the magnitude of measurement error in blood pressure." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:3 [ 0 => "Batista-Foguet JM" 1 => "Coenders G" 2 => "Artés M." ] ] ] ] ] "host" => array:1 [ 0 => array:2 [ "doi" => "10.1002/sim.836" "Revista" => array:6 [ "tituloSerie" => "Statistics in Medicine" "fecha" => "2001" "volumen" => "20" "paginaInicial" => "2351" "paginaFinal" => "68" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/11468768" "web" => "Medline" ] ] ] ] ] ] ] ] 6 => array:3 [ "identificador" => "bib7" "etiqueta" => "7" "referencia" => array:1 [ 0 => array:2 [ "referenciaCompleta" => "Translating questionnaires and other research instruments: problems and solutions. Thousand Oaks: SAGE, 2000." "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Translating questionnaires and other research instruments: problems and solutions. Thousand Oaks: SAGE, 2000." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:2 [ 0 => "Behling O" 1 => "Law KS." ] ] ] ] ] ] ] ] 7 => array:3 [ "identificador" => "bib8" "etiqueta" => "8" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Cross-cultural adaptation of healthrelated quality of life measures: literature review and proposed guidelines." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:3 [ 0 => "Guillemin F" 1 => "Bombardier C" 2 => "Beaton D." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "J Clin Epidemiol" "fecha" => "1993" "volumen" => "46" "paginaInicial" => "1417" "paginaFinal" => "32" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/8263569" "web" => "Medline" ] ] ] ] ] ] ] ] 8 => array:3 [ "identificador" => "bib9" "etiqueta" => "9" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Crosscultural adaptation of health measures." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:6 [ 0 => "Hunt SM" 1 => "Alonso J" 2 => "Bucquet D" 3 => "Niero M" 4 => "Wiklund I" 5 => "McKenna S." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "Health Policy" "fecha" => "1991" "volumen" => "19" "paginaInicial" => "33" "paginaFinal" => "44" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/10117390" "web" => "Medline" ] ] ] ] ] ] ] ] 9 => array:3 [ "identificador" => "bib10" "etiqueta" => "10" "referencia" => array:1 [ 0 => array:2 [ "referenciaCompleta" => "Thinking about answers: the application of cognitive processes to survey methodology. San Francisco: Jossey-Bass, 1996." "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Thinking about answers: the application of cognitive processes to survey methodology. San Francisco: Jossey-Bass, 1996." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Sudman S." ] ] ] ] ] ] ] ] 10 => array:3 [ "identificador" => "bib11" "etiqueta" => "11" "referencia" => array:1 [ 0 => array:2 [ "referenciaCompleta" => "Survey errors and survey costs. New York: John Wiley & Sons, 1989." "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Survey errors and survey costs. New York: John Wiley & Sons, 1989." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Groves RM." ] ] ] ] ] ] ] ] 11 => array:3 [ "identificador" => "bib12" "etiqueta" => "12" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Assessing health status and quality-of-life instruments: Attributes and review criteria." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Scientific Advisory Committee of the Medical Outcomes Trust." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "Qual Life Res" "fecha" => "2002" "volumen" => "11" "paginaInicial" => "193" "paginaFinal" => "205" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/12074258" "web" => "Medline" ] ] ] ] ] ] ] ] 12 => array:3 [ "identificador" => "bib13" "etiqueta" => "13" "referencia" => array:1 [ 0 => array:2 [ "referenciaCompleta" => "Social Measurement. Thousand Oaks: SAGE, 2001." "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Social Measurement. Thousand Oaks: SAGE, 2001." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:2 [ 0 => "Campbell DT" 1 => "Russo MJ." ] ] ] ] ] ] ] ] 13 => array:3 [ "identificador" => "bib14" "etiqueta" => "14" "referencia" => array:1 [ 0 => array:2 [ "referenciaCompleta" => "Métodos estadísticos para evaluar la concordancia. Med Clin (Barc) 2003;121(supl. 2):28-34.." "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Métodos estadísticos para evaluar la concordancia. Med Clin (Barc) 2003;121(supl. 2):28-34.." "idioma" => "es" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:2 [ 0 => "Carrasco JL" 1 => "Jover L." ] ] ] ] ] ] ] ] 14 => array:3 [ "identificador" => "bib15" "etiqueta" => "15" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "General intelligence, objectively determined and measured." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Spearman C." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Am J of Psychol" "fecha" => "1904" "volumen" => "15" "paginaInicial" => "201" "paginaFinal" => "93" ] ] ] ] ] ] 15 => array:3 [ "identificador" => "bib16" "etiqueta" => "16" "referencia" => array:1 [ 0 => array:2 [ "referenciaCompleta" => "The essentials of mental measurement. Cambridge: Cambridge University Press, 1911." "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "The essentials of mental measurement. Cambridge: Cambridge University Press, 1911." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Brown W." ] ] ] ] ] ] ] ] 16 => array:3 [ "identificador" => "bib17" "etiqueta" => "17" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "The tenth Maudsley Lecture: The psychiatric use of methods and results of experimental psychology. An investigation into the significance of perseveration." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Spearman C." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Journal of Mental Sciences" "fecha" => "1928" "volumen" => "34" "paginaInicial" => "653" "paginaFinal" => "9" ] ] ] ] ] ] 17 => array:3 [ "identificador" => "bib18" "etiqueta" => "18" "referencia" => array:1 [ 0 => array:2 [ "referenciaCompleta" => "Structural equations with latent variables. New York: John Wiley & Sons, 1989." "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Structural equations with latent variables. New York: John Wiley & Sons, 1989." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Bollen KA." ] ] ] ] ] ] ] ] 18 => array:3 [ "identificador" => "bib19" "etiqueta" => "19" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Introducción a los modelos estructurales. Utilización del análisis factorial confirmatorio para la depuración de un cuestionario. En: Renom J, editor. Tratamiento informatizado de datos. Barcelona: Masson" "idioma" => "es" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:2 [ 0 => "Batista-Foguet JM" 1 => "Coenders G." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Libro" => array:4 [ "titulo" => "Introducción a los modelos estructurales. Utilización del análisis factorial confirmatorio para la depuración de un cuestionario. En: Renom J, editor. Tratamiento informatizado de datos. Barcelona: Masson" "fecha" => "1998" "paginaInicial" => "229" "paginaFinal" => "86" ] ] ] ] ] ] 19 => array:3 [ "identificador" => "bib20" "etiqueta" => "20" "referencia" => array:1 [ 0 => array:2 [ "referenciaCompleta" => "Psychometric theory. 2nd ed. New York: McGraw-Hill, 1978." "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Psychometric theory. 2nd ed. New York: McGraw-Hill, 1978." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Nunnally JC." ] ] ] ] ] ] ] ] 20 => array:3 [ "identificador" => "bib21" "etiqueta" => "21" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Statistical analysis of sets of congeneric tests." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Jöreskog KG." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Psychometrika" "fecha" => "1971" "volumen" => "36" "paginaInicial" => "109" "paginaFinal" => "33" ] ] ] ] ] ] 21 => array:3 [ "identificador" => "bib22" "etiqueta" => "22" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Coefficient alpha and the internal structure of the test." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Chronbach LJ." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Psychometrika" "fecha" => "1951" "volumen" => "16" "paginaInicial" => "297" "paginaFinal" => "334" ] ] ] ] ] ] 22 => array:3 [ "identificador" => "bib23" "etiqueta" => "23" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Stability of three-wave simplex estimates of reliability." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:4 [ 0 => "Coenders G" 1 => "Saris WE" 2 => "Batista-Foguet JM" 3 => "Andreenkova A." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Structural Equation Modelling" "fecha" => "1999" "volumen" => "6" "paginaInicial" => "135" "paginaFinal" => "57" ] ] ] ] ] ] 23 => array:3 [ "identificador" => "bib24" "etiqueta" => "24" "referencia" => array:1 [ 0 => array:2 [ "referenciaCompleta" => "Summated rating scale construction. 1st ed. Thousand Oaks: Sage, 1992." "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Summated rating scale construction. 1st ed. Thousand Oaks: Sage, 1992." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Spector PE." ] ] ] ] ] ] ] ] 24 => array:3 [ "identificador" => "bib25" "etiqueta" => "25" "referencia" => array:1 [ 0 => array:2 [ "referenciaCompleta" => "Socio-economic indexes in surveys for comparisons between countries. An applied comparison using the family affluence scale. Social Indicators Research [en prensa]." "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Socio-economic indexes in surveys for comparisons between countries. An applied comparison using the family affluence scale. Social Indicators Research [en prensa]." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:4 [ 0 => "Batista-Foguet JM" 1 => "Fortiana J" 2 => "Currie C" 3 => "Villalbi JR." ] ] ] ] ] ] ] ] 25 => array:3 [ "identificador" => "bib26" "etiqueta" => "26" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "What is coefficient alpha? An examination of theory and applications." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Cortina JM." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Journal of Applied Psychology" "fecha" => "1993" "volumen" => "78" "paginaInicial" => "98" "paginaFinal" => "104" ] ] ] ] ] ] 26 => array:3 [ "identificador" => "bib27" "etiqueta" => "27" "referencia" => array:1 [ 0 => array:2 [ "referenciaCompleta" => "Factor analysis as a statistical method. 1st ed.London: Butterworth, 1971." "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Factor analysis as a statistical method. 1st ed.London: Butterworth, 1971." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:2 [ 0 => "Lawley DN" 1 => "Maxwell AE." ] ] ] ] ] ] ] ] 27 => array:3 [ "identificador" => "bib28" "etiqueta" => "28" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Evaluación del estrés laboral en trabajadores de un hospital público español. Estudio de las propiedades psicométricas de la versión española del modelo «desequilibrio esfuerzo-recompensa»." "idioma" => "es" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:6 [ 0 => "Macías Robles MD" 1 => "Fernández-López JA" 2 => "Hernández-Mejía R" 3 => "Cueto Espinar A" 4 => "Rancaño I" 5 => "Siegrist J." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Med Clin" "fecha" => "2003" "volumen" => "120" "paginaInicial" => "652" "paginaFinal" => "7" ] ] ] ] ] ] 28 => array:3 [ "identificador" => "bib29" "etiqueta" => "29" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Propósito del uso del análisis factorial en la evaluación de la equivalencia transcultural de cuestionarios." "idioma" => "es" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:2 [ 0 => "Prieto L" 1 => "Alonso JA." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Med Clin" "fecha" => "1998" "volumen" => "19" "paginaInicial" => "717" "paginaFinal" => "8" ] ] ] ] ] ] 29 => array:3 [ "identificador" => "bib30" "etiqueta" => "30" "referencia" => array:1 [ 0 => array:2 [ "referenciaCompleta" => "Análisis en componentes principales y modelo de análisis factorial. En: Sánchez Carrión, editor. Métodos de análisis multivariantes aplicados en ciencias sociales. Madrid: CIS-Siglo XXI, 1984." "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Análisis en componentes principales y modelo de análisis factorial. En: Sánchez Carrión, editor. Métodos de análisis multivariantes aplicados en ciencias sociales. Madrid: CIS-Siglo XXI, 1984." "idioma" => "es" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Batista-Foguet JM." ] ] ] ] ] ] ] ] 30 => array:3 [ "identificador" => "bib31" "etiqueta" => "31" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Use of structural equation modeling to test the construct validity of the SF-36 Health Survey in ten countries: results from the IQOLA project." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:7 [ 0 => "Keller SD" 1 => "Ware JE" 2 => "Bentler PM" 3 => "Aaronson NK" 4 => "Alonso J" 5 => "Apolone G" 6 => "et al." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "J Clin Epidemiol" "fecha" => "1998" "volumen" => "51" "paginaInicial" => "1179" "paginaFinal" => "88" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/9817136" "web" => "Medline" ] ] ] ] ] ] ] ] 31 => array:3 [ "identificador" => "bib32" "etiqueta" => "32" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Structural equation models in medical research." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:2 [ 0 => "Bentler PM" 1 => "Stein JA." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "Statistical Methods in Medical Research" "fecha" => "1992" "volumen" => "1" "paginaInicial" => "159" "paginaFinal" => "81" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/1341656" "web" => "Medline" ] ] ] ] ] ] ] ] 32 => array:3 [ "identificador" => "bib33" "etiqueta" => "33" "referencia" => array:1 [ 0 => array:2 [ "referenciaCompleta" => "Statistics in Psychiatry. London: Arnold, 2000." "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Statistics in Psychiatry. London: Arnold, 2000." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:2 [ 0 => "Dun.n" 1 => "G." ] ] ] ] ] ] ] ] 33 => array:3 [ "identificador" => "bib34" "etiqueta" => "34" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "A general approach to confirmatory maximum likelihood factor analysis." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Jöreskog KG." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Psychometrika" "fecha" => "1969" "volumen" => "34" "paginaInicial" => "183" "paginaFinal" => "202" ] ] ] ] ] ] 34 => array:3 [ "identificador" => "bib35" "etiqueta" => "35" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Mehl PE. Construct validity in psychological tests." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Chronbach LJ." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "Psychological Bulletin" "fecha" => "1955" "volumen" => "52" "paginaInicial" => "281" "paginaFinal" => "302" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/13245896" "web" => "Medline" ] ] ] ] ] ] ] ] 35 => array:3 [ "identificador" => "bib36" "etiqueta" => "36" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => ". San Francisco: Jossey-Bass" "idioma" => "pt" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:2 [ 0 => "Heise DR" 1 => "Bohrnstedt GW." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Libro" => array:4 [ "titulo" => ". San Francisco: Jossey-Bass" "fecha" => "1970" "paginaInicial" => "104" "paginaFinal" => "29" ] ] ] ] ] ] 36 => array:3 [ "identificador" => "bib37" "etiqueta" => "37" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "The robustness of LISREL modeling revisited. En: Cudeck R, Du Toit S, Sörbom D, editors. Structural equation modeling: present and future. A festschrift in honor of Karl Jöreskog. Chicago: Scientific Software International" "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:2 [ 0 => "Boomsma A" 1 => "Hoogland JJ." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Libro" => array:4 [ "titulo" => "The robustness of LISREL modeling revisited. En: Cudeck R, Du Toit S, Sörbom D, editors. Structural equation modeling: present and future. A festschrift in honor of Karl Jöreskog. Chicago: Scientific Software International" "fecha" => "2001" "paginaInicial" => "139" "paginaFinal" => "68" ] ] ] ] ] ] 37 => array:3 [ "identificador" => "bib38" "etiqueta" => "38" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "New developments in LISREL. Analysis of ordinal variables using polychoric correlations and weighted least squares." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Jöreskog KG." ] ] ] ] ] "host" => array:1 [ 0 => array:2 [ "doi" => "10.1016/j.ijfoodmicro.2015.02.001" "Revista" => array:6 [ "tituloSerie" => "Quality & Quantity" "fecha" => "1990" "volumen" => "24" "paginaInicial" => "387" "paginaFinal" => "404" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/25796062" "web" => "Medline" ] ] ] ] ] ] ] ] 38 => array:3 [ "identificador" => "bib39" "etiqueta" => "39" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Alternative approaches to structural modelling of ordinal data. A Monte Carlo study." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:3 [ 0 => "Coenders G" 1 => "Satorra A" 2 => "Saris WE." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Structural Equation Modelling" "fecha" => "1997" "volumen" => "4" "paginaInicial" => "261" "paginaFinal" => "82" ] ] ] ] ] ] 39 => array:3 [ "identificador" => "bib40" "etiqueta" => "40" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Scaling corrections for chi-square statistics in covariance structure analysis. En: Van Eye A, Clogg CC, editors. Latent variable analysis. Thousand Oaks: SAGE" "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:2 [ 0 => "Satorra A" 1 => "Bentler PM." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Libro" => array:4 [ "titulo" => "Scaling corrections for chi-square statistics in covariance structure analysis. En: Van Eye A, Clogg CC, editors. Latent variable analysis. Thousand Oaks: SAGE" "fecha" => "1994" "paginaInicial" => "399" "paginaFinal" => "419" ] ] ] ] ] ] 40 => array:3 [ "identificador" => "bib41" "etiqueta" => "41" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Science and statistics." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Box GEP." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:4 [ "tituloSerie" => "Journal of the American Statistical Association" "fecha" => "1976" "paginaInicial" => "71791" "paginaFinal" => "9" ] ] ] ] ] ] 41 => array:3 [ "identificador" => "bib42" "etiqueta" => "42" "referencia" => array:1 [ 0 => array:2 [ "referenciaCompleta" => "Modelos de ecuaciones estructurales. Modelos para el análisis de relaciones causales. 1.#a #ed. Madrid: La Muralla, 2000." "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Modelos de ecuaciones estructurales. Modelos para el análisis de relaciones causales. 1.#a #ed. Madrid: La Muralla, 2000." "idioma" => "es" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:2 [ 0 => "Batista-Foguet JM" 1 => "Coenders G." ] ] ] ] ] ] ] ] 42 => array:3 [ "identificador" => "bib43" "etiqueta" => "43" "referencia" => array:1 [ 0 => array:2 [ "referenciaCompleta" => "Testing structural equation models. 1.#a# ed. Thousand Oaks: SAGE, 1993." "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Testing structural equation models. 1.#a# ed. Thousand Oaks: SAGE, 1993." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:2 [ 0 => "Bollen KA" 1 => "Long JS." ] ] ] ] ] ] ] ] 43 => array:3 [ "identificador" => "bib44" "etiqueta" => "44" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "An evaluation of incremental fit indices. A clarification of mathematical and empirical properties. En: Marcoulides GA, Schumacker RE, editors. Advanced structural equation modeling. Issues and techniques. Mahwah. New Jersey: Lawrence Erlbaum" "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:3 [ 0 => "Marsh HW" 1 => "Balla JR" 2 => "Hau KT." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Libro" => array:4 [ "titulo" => "An evaluation of incremental fit indices. A clarification of mathematical and empirical properties. En: Marcoulides GA, Schumacker RE, editors. Advanced structural equation modeling. Issues and techniques. Mahwah. New Jersey: Lawrence Erlbaum" "fecha" => "1996" "paginaInicial" => "315" "paginaFinal" => "53" ] ] ] ] ] ] 44 => array:3 [ "identificador" => "bib45" "etiqueta" => "45" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Análisis factorial confirmatorio y capitalización del azar. Una aplicación práctica." "idioma" => "es" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Muñoz J." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:5 [ "tituloSerie" => "Papers ESADE" "fecha" => "1999" "volumen" => "14" "paginaInicial" => "1" "paginaFinal" => "33" ] ] ] ] ] ] 45 => array:3 [ "identificador" => "bib46" "etiqueta" => "46" "referencia" => array:1 [ 0 => array:2 [ "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Model modification in covariance structure analysis: the problem of capitalization on chance." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:3 [ 0 => "MacCallum RC" 1 => "Roznowski M" 2 => "Necowitz LB." ] ] ] ] ] "host" => array:1 [ 0 => array:1 [ "Revista" => array:6 [ "tituloSerie" => "Psychological Bulletin" "fecha" => "1992" "volumen" => "111" "paginaInicial" => "490" "paginaFinal" => "504" "link" => array:1 [ 0 => array:2 [ "url" => "https://www.ncbi.nlm.nih.gov/pubmed/16250105" "web" => "Medline" ] ] ] ] ] ] ] ] 46 => array:3 [ "identificador" => "bib47" "etiqueta" => "47" "referencia" => array:1 [ 0 => array:2 [ "referenciaCompleta" => "Causal modelling in nonexperimental research. Amsterdam: Sociometric Research Foundation, 1984." "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Causal modelling in nonexperimental research. Amsterdam: Sociometric Research Foundation, 1984." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:2 [ 0 => "Saris WE" 1 => "Stronkhorst LH." ] ] ] ] ] ] ] ] 47 => array:3 [ "identificador" => "bib48" "etiqueta" => "48" "referencia" => array:1 [ 0 => array:2 [ "referenciaCompleta" => "Statistical guidance for model modification in covariance structure analysis. Amsterdam: Sociometric Research Foundation, 1989." "contribucion" => array:1 [ 0 => array:3 [ "titulo" => "Statistical guidance for model modification in covariance structure analysis. Amsterdam: Sociometric Research Foundation, 1989." "idioma" => "en" "autores" => array:1 [ 0 => array:2 [ "etal" => false "autores" => array:1 [ 0 => "Luijben T." ] ] ] ] ] ] ] ] ] ] ] ] ] "idiomaDefecto" => "es" "url" => "/00257753/00000122000000S1/v0_201307292058/13057542/v0_201307292059/es/main.assets" "Apartado" => array:4 [ "identificador" => "16884" "tipo" => "SECCION" "es" => array:2 [ "titulo" => "Técnicas emergentes" "idiomaDefecto" => true ] "idiomaDefecto" => "es" ] "PDF" => "https://static.elsevier.es/multimedia/00257753/00000122000000S1/v0_201307292058/13057542/v0_201307292059/es/2v122nSupl.1a13057542pdf001.pdf?idApp=UINPBA00004N&text.app=https://www.elsevier.es/" "EPUB" => "https://multimedia.elsevier.es/PublicationsMultimediaV1/item/epub/13057542?idApp=UINPBA00004N"]

Estadísticas

Confirmatory factor analysis. Its role on the validation of health related questionnaires

Joan Manuel Batista-Fogueta, Germà Coendersb, Jordi Alonsoc

a ESADE. Dirección de Investigación. Universitat Ramon Llull. Barcelona.

b Institut de Recerca sobre Qualitat de Vida. Universitat de Girona. Girona. España.

c Unidad de Investigación en Servicios Sanitarios. Institut Municipal d'Investigació Mèdica (IMIM-IMAS). Barcelona. España.

Leído

40724

Veces
se ha leído el artículo

6085

Total PDF

34639

Total HTML

Compartir estadísticas

 array:19 [
  "pii" => "13057542"
  "issn" => "00257753"
  "estado" => "S300"
  "fechaPublicacion" => "2004-02-15"
  "documento" => "article"
  "crossmark" => 0
  "subdocumento" => "fla"
  "cita" => "Med Clin. 2004;122 Supl 1:21-7"
  "abierto" => array:3 [
    "ES" => false
    "ES2" => false
    "LATM" => false
  ]
  "gratuito" => false
  "lecturas" => array:2 [
    "total" => 8169
    "formatos" => array:3 [
      "EPUB" => 10
      "HTML" => 7525
      "PDF" => 634
    ]
  ]
  "itemSiguiente" => array:15 [
    "pii" => "13057543"
    "issn" => "00257753"
    "estado" => "S300"
    "fechaPublicacion" => "2004-02-15"
    "documento" => "article"
    "crossmark" => 0
    "subdocumento" => "fla"
    "cita" => "Med Clin. 2004;122 Supl 1:28-34"
    "abierto" => array:3 [
      "ES" => false
      "ES2" => false
      "LATM" => false
    ]
    "gratuito" => false
    "lecturas" => array:2 [
      "total" => 24562
      "formatos" => array:3 [
        "EPUB" => 15
        "HTML" => 22837
        "PDF" => 1710
      ]
    ]
    "es" => array:11 [
      "idiomaDefecto" => true
      "titulo" => "M&#233;todos estad&#237;sticos para evaluar la concordancia"
      "tienePdf" => "es"
      "tieneTextoCompleto" => "es"
      "tieneResumen" => array:2 [
        0 => "es"
        1 => "en"
      ]
      "paginas" => array:1 [
        0 => array:2 [
          "paginaInicial" => "28"
          "paginaFinal" => "34"
        ]
      ]
      "titulosAlternativos" => array:1 [
        "en" => array:1 [
          "titulo" => "Statistical approaches to evaluate agreement"
        ]
      ]
      "contieneResumen" => array:2 [
        "es" => true
        "en" => true
      ]
      "contieneTextoCompleto" => array:1 [
        "es" => true
      ]
      "contienePdf" => array:1 [
        "es" => true
      ]
      "autores" => array:1 [
        0 => array:2 [
          "autoresLista" => "Josep Llu&#237;s Carrasco, Llu&#237;s Jover"
          "autores" => array:2 [
            0 => array:2 [
              "nombre" => "Josep"
              "apellidos" => "Llu&#237;s Carrasco"
            ]
            1 => array:2 [
              "nombre" => "Llu&#237;s"
              "apellidos" => "Jover"
            ]
          ]
        ]
      ]
    ]
    "idiomaDefecto" => "es"
    "EPUB" => "https://multimedia.elsevier.es/PublicationsMultimediaV1/item/epub/13057543?idApp=UINPBA00004N"
    "url" => "/00257753/00000122000000S1/v0_201307292058/13057543/v0_201307292100/es/main.assets"
  ]
  "itemAnterior" => array:15 [
    "pii" => "13057552"
    "issn" => "00257753"
    "estado" => "S300"
    "fechaPublicacion" => "2004-02-15"
    "documento" => "article"
    "crossmark" => 0
    "subdocumento" => "fla"
    "cita" => "Med Clin. 2004;122 Supl 1:16-20"
    "abierto" => array:3 [
      "ES" => false
      "ES2" => false
      "LATM" => false
    ]
    "gratuito" => false
    "lecturas" => array:2 [
      "total" => 2341
      "formatos" => array:3 [
        "EPUB" => 8
        "HTML" => 2121
        "PDF" => 212
      ]
    ]
    "es" => array:11 [
      "idiomaDefecto" => true
      "titulo" => "Buscando una aguja en un pajar&#58; las t&#233;cnicas de conexi&#243;n de registros en los sistemas de informaci&#243;n sanitaria"
      "tienePdf" => "es"
      "tieneTextoCompleto" => "es"
      "tieneResumen" => array:2 [
        0 => "es"
        1 => "en"
      ]
      "paginas" => array:1 [
        0 => array:2 [
          "paginaInicial" => "16"
          "paginaFinal" => "20"
        ]
      ]
      "titulosAlternativos" => array:1 [
        "en" => array:1 [
          "titulo" => "Looking for a needle in a haystack&#58; record linkage techniques in health information systems"
        ]
      ]
      "contieneResumen" => array:2 [
        "es" => true
        "en" => true
      ]
      "contieneTextoCompleto" => array:1 [
        "es" => true
      ]
      "contienePdf" => array:1 [
        "es" => true
      ]
      "autores" => array:1 [
        0 => array:2 [
          "autoresLista" => "Pere Arribas, Eva Cirera, Manuel Trist&#225;n-Polo"
          "autores" => array:3 [
            0 => array:2 [
              "nombre" => "Pere"
              "apellidos" => "Arribas"
            ]
            1 => array:2 [
              "nombre" => "Eva"
              "apellidos" => "Cirera"
            ]
            2 => array:2 [
              "nombre" => "Manuel"
              "apellidos" => "Trist&#225;n-Polo"
            ]
          ]
        ]
      ]
    ]
    "idiomaDefecto" => "es"
    "EPUB" => "https://multimedia.elsevier.es/PublicationsMultimediaV1/item/epub/13057552?idApp=UINPBA00004N"
    "url" => "/00257753/00000122000000S1/v0_201307292058/13057552/v0_201307292059/es/main.assets"
  ]
  "es" => array:14 [
    "idiomaDefecto" => true
    "titulo" => "An&#225;lisis factorial confirmatorio&#46; Su utilidad en la validaci&#243;n de cuestionarios relacionados con la salud"
    "tieneTextoCompleto" => true
    "paginas" => array:1 [
      0 => array:2 [
        "paginaInicial" => "21"
        "paginaFinal" => "27"
      ]
    ]
    "autores" => array:1 [
      0 => array:3 [
        "autoresLista" => "Joan Manuel Batista-Foguet, Germ&#224; Coenders, Jordi Alonso"
        "autores" => array:3 [
          0 => array:3 [
            "nombre" => "Joan"
            "apellidos" => "Manuel Batista-Foguet"
            "referencia" => array:1 [
              0 => array:2 [
                "etiqueta" => "<span class="elsevierStyleSup">a</span>"
                "identificador" => "affa"
              ]
            ]
          ]
          1 => array:3 [
            "nombre" => "Germ&#224;"
            "apellidos" => "Coenders"
            "referencia" => array:1 [
              0 => array:2 [
                "etiqueta" => "<span class="elsevierStyleSup">b</span>"
                "identificador" => "affb"
              ]
            ]
          ]
          2 => array:3 [
            "nombre" => "Jordi"
            "apellidos" => "Alonso"
            "referencia" => array:1 [
              0 => array:2 [
                "etiqueta" => "<span class="elsevierStyleSup">c</span>"
                "identificador" => "affc"
              ]
            ]
          ]
        ]
        "afiliaciones" => array:3 [
          0 => array:3 [
            "entidad" => "ESADE. Dirección de Investigación. Universitat Ramon Llull. Barcelona."
            "etiqueta" => "<span class="elsevierStyleSup">a</span>"
            "identificador" => "affa"
          ]
          1 => array:3 [
            "entidad" => "Institut de Recerca sobre Qualitat de Vida. Universitat de Girona. Girona. España."
            "etiqueta" => "<span class="elsevierStyleSup">b</span>"
            "identificador" => "affb"
          ]
          2 => array:3 [
            "entidad" => "Unidad de Investigación en Servicios Sanitarios. Institut Municipal d'Investigació Mèdica (IMIM-IMAS). Barcelona. España."
            "etiqueta" => "<span class="elsevierStyleSup">c</span>"
            "identificador" => "affc"
          ]
        ]
      ]
    ]
    "titulosAlternativos" => array:1 [
      "en" => array:1 [
        "titulo" => "Confirmatory factor analysis&#46; Its role on the validation of health related questionnaires"
      ]
    ]
    "textoCompleto" => "<p class="elsevierStylePara">Introducci&#243;n</p><p class="elsevierStylePara">En medicina&#44; las variables de inter&#233;s son frecuentemente de naturaleza no observable&#46; La discapacidad&#44; la calidad de vida o el resultado de una intervenci&#243;n son conceptos y abstracciones que representan fen&#243;menos que sirven para comunicarnos&#44; clasificar&#44; explicar o generalizar&#46; Si lo que se pretende medir es una &#171;variable latente&#187; o &#171;constructo no observable&#187;&#44; es necesario hacerlo de forma indirecta por medio de &#171;indicadores observables&#187; &#40;p&#46; ej&#46;&#44; respuestas a preguntas de cuestionario o declaraci&#243;n de s&#237;ntomas y percepciones&#41;&#46; La bondad de esta medici&#243;n depende de la relaci&#243;n entre estos indicadores observables y los constructos subyacentes&#46; Si la relaci&#243;n es d&#233;bil&#44; las inferencias efectuadas ser&#225;n imprecisas y probablemente incorrectas&#46;</p><p class="elsevierStylePara">Este art&#237;culo se centra en los casos que requieran la cumplimentaci&#243;n de un cuestionario &#40;por parte del paciente&#44; el familiar o el personal m&#233;dico&#41; y la evaluaci&#243;n de &#233;ste como instrumento de medida&#46; Se trata&#44; pues&#44; de la pr&#225;ctica habitual del cl&#237;nico para determinar la presencia de una enfermedad mental en su paciente<span class="elsevierStyleSup">1&#44;2</span> o su grado de adherencia o cumplimiento del tratamiento<span class="elsevierStyleSup">3</span>&#46; Tambi&#233;n se trata de la pr&#225;ctica del investigador que quiere establecer la calidad de vida del hipertenso que sigue tratamiento con un nuevo f&#225;rmaco<span class="elsevierStyleSup">4</span> o del gerente del hospital que desea asegurarse de la calidad del servicio que ofrece<span class="elsevierStyleSup">5</span>&#46; Lo cual no es &#243;bice para que esta metodolog&#237;a pueda emplearse tambi&#233;n en la medici&#243;n de variables fisiol&#243;gicas como la presi&#243;n arterial<span class="elsevierStyleSup">6</span>&#46;</p><p class="elsevierStylePara">La creciente implicaci&#243;n de la opini&#243;n del propio paciente en las decisiones m&#233;dicas ha creado la necesidad de medir los resultados de formas m&#225;s ricas que la simple eficacia cl&#237;nica y seguridad&#46; As&#237;&#44; por ejemplo&#44; la evaluaci&#243;n de la &#171;calidad de vida relacionada con la salud&#187;<span class="elsevierStyleItalic">&#44;</span> tal y como la perciben los pacientes&#44; es una variable fundamental de lo que se conoce&#44; en esta nueva &#243;ptica&#44; como evaluaci&#243;n de resultados&#46; La profusi&#243;n de nuevos cuestionarios de calidad de vida&#44; gen&#233;ricos o espec&#237;ficos para determinadas afecciones&#44; es una realidad corroborada por el n&#250;mero creciente de art&#237;culos publicados en revistas m&#233;dicas generales y la existencia de diversas revistas especializadas&#46;</p><p class="elsevierStylePara">Ante la proliferaci&#243;n de estudios para la validaci&#243;n de escalas relacionadas con la salud&#44; se quiere ofrecer al lector algunas reflexiones desde la perspectiva de la psicometr&#237;a &#40;uno de cuyos &#225;mbitos es el desarrollo y la validaci&#243;n de escalas&#41; que le resulten &#250;tiles para poder juzgar la calidad de lo que&#44; en ocasiones demasiado superficialmente&#44; se califica como proceso de &#171;validaci&#243;n&#187; de un cuestionario&#46; El objetivo de este art&#237;culo concierne &#250;nicamente a sus aspectos estad&#237;sticos&#46; No se tratan las etapas previas&#44; de car&#225;cter m&#225;s conceptual&#44; que determinar&#237;an tanto el contenido como el dise&#241;o de nuevos cuestionarios&#44; as&#237; como su adaptaci&#243;n a otras culturas&#44; sin las que toda sofisticaci&#243;n estad&#237;stica es in&#250;til&#46; V&#233;anse algunas de las gu&#237;as existentes<span class="elsevierStyleSup">7-12</span>&#46;</p><p class="elsevierStylePara">Propiedades fundamentales del instrumento de medida&#58; validez y fiabilidad</p><p class="elsevierStylePara">Para validar un cuestionario coexisten esencialmente dos planteamientos estad&#237;sticos&#46; Uno&#44; enraizado en la teor&#237;a cl&#225;sica del test &#40;TCT&#41; y en modelos de an&#225;lisis factorial&#44; el otro&#44; basado en la teor&#237;a de la respuesta al &#237;tem &#40;TRI&#41;&#46; Aunque el uso de la TRI en investigaci&#243;n biom&#233;dica es creciente&#44; su origen y desarrollo se deben a la medici&#243;n de aptitudes o conocimientos&#46; Por ello&#44; este art&#237;culo presentar&#225; la actual perspectiva de la TCT&#44; m&#225;s cercana a la pr&#225;ctica m&#233;dica&#46;</p><p class="elsevierStylePara">Fiabilidad y validez proporcionan el lenguaje esencial de la medici&#243;n y constituyen los &#237;ndices de calidad de los cuestionarios&#46; Ambas son cuestiones de grado&#46; La fiabilidad tiene b&#225;sicamente un cariz emp&#237;rico y se centra en el rendimiento de las mediciones realizadas&#46; Por el contrario&#44; la validez tiene una orientaci&#243;n m&#225;s te&#243;rica&#44; pues inevitablemente emerge la cuesti&#243;n&#58; &#191;para qu&#233; es v&#225;lido&#63; De hecho&#44; no se valida un instrumento de medida en s&#237; mismo&#44; sino en relaci&#243;n con el prop&#243;sito para el que se utilizar&#225;&#46;</p><p class="elsevierStylePara"><span class="elsevierStyleItalic">Validez</span></p><p class="elsevierStylePara">Entre los distintos tipos de validez &#40;de aspecto&#59; de contenido&#59; de criterio &#173;concurrente y predictiva&#173;&#59; y de constructo&#41;&#44; esta &#250;ltima es la de mayor inter&#233;s&#44; ya que incorpora en gran parte las anteriores y es id&#243;nea para la evaluaci&#243;n de cuestionarios&#46; A su vez&#44; la validez de constructo se divide en nomol&#243;gica&#44; convergente y discriminante<span class="elsevierStyleSup">13</span>&#46; La validez nomol&#243;gica se refiere a que las medidas v&#225;lidas de diferentes conceptos te&#243;ricamente vinculados deben estar relacionadas de acuerdo con las teor&#237;as correspondientes&#46; La validez convergente se refiere a que las medidas de un mismo concepto deben estar relacionadas&#44; y deben estarlo m&#225;s que las medidas de conceptos distintos&#44; lo que constituye la validez discriminante&#46;</p><p class="elsevierStylePara">La validez de constructo se eval&#250;a habitualmente mediante correlaciones con otras escalas o indicadores objetivos de salud&#46; En ocasiones&#44; el an&#225;lisis de la varianza&#44; con mediciones pretratamiento y postratamiento&#44; permite evaluar la sensibilidad al cambio o discriminar entre distintas poblaciones&#46; En el mejor de los casos&#44; un an&#225;lisis factorial exploratorio &#40;AFE&#41; de la matriz de correlaciones &#171;dictar&#225;&#187; las dimensiones latentes y sus resultados se utilizar&#225;n como indicaci&#243;n de validez convergente y discriminante&#46;</p><p class="elsevierStylePara">La calibraci&#243;n &#40;en este mismo n&#250;mero&#41;<span class="elsevierStyleSup">14</span>&#44; habitual en la pr&#225;ctica m&#233;dica dada su finalidad&#44; podr&#237;a asimilarse a la evaluaci&#243;n de la validez de criterio propia del cuestionario&#59; es decir&#44; el grado de acuerdo con una medida de referencia considerada m&#225;s v&#225;lida&#46; No obstante&#44; la imposibilidad de asumir medidas libres de error hace inviable esta estrategia cuando se eval&#250;an cuestionarios&#46;</p><p class="elsevierStylePara">Todo tipo de valoraci&#243;n de la validez supone&#44; en esencia&#44; preguntarse si los indicadores lo son s&#243;lo del concepto que se quiere medir y si no est&#225;n influidos por ning&#250;n otro efecto sistem&#225;tico&#46; Sin embargo&#44; las respuestas a los &#237;tems de un cuestionario tienen un sinf&#237;n de efectos sistem&#225;ticos&#44; de naturaleza diversa&#44; que comprometen la validez<span class="elsevierStyleSup">11</span>&#46; La causa puede residir en el cuestionario&#44; pero tambi&#233;n en el encuestador&#44; el encuestado o en el m&#233;todo de recogida de informaci&#243;n&#46; Puede tratarse de la modalidad de respuesta del cuestionario&#44; de las expectativas del encuestador&#44; de la reactividad frente a la situaci&#243;n&#44; de la percepci&#243;n de amenaza a la intimidad&#44; de sucumbir al efecto de deseabilidad social o al de aquiescencia&#46;</p><p class="elsevierStylePara"><span class="elsevierStyleItalic">Fiabilidad</span></p><p class="elsevierStylePara">Mientras la invalidez se debe al error sistem&#225;tico&#44; la fiabilidad se relaciona con el grado de error aleatorio&#46; Cuanto mayores son las fluctuaciones aleatorias en las respuestas&#44; menor es la fiabilidad y viceversa&#46; En la pr&#225;ctica&#44; una medici&#243;n es fiable cuando proporciona resultados consistentes o estables&#44; ya sea en medidas repetidas o en las respuestas a los diversos &#237;tems que la componen&#46;</p><p class="elsevierStylePara">La medici&#243;n de constructos data de principios del siglo xx<span class="elsevierStyleSup">15&#44;16</span> con la introducci&#243;n&#44; en principio entre psic&#243;logos y posteriormente entre psiquiatras<span class="elsevierStyleSup">17</span>&#44; de los m&#233;todos biom&#233;tricos &#40;regresi&#243;n y correlaci&#243;n&#41; de Galton y Pearson&#46; Esta tradici&#243;n estad&#237;stica basada en la correlaci&#243;n&#44; aunque se ha demostrado incorrecta en muchos casos<span class="elsevierStyleSup">18</span>&#44; sigue utiliz&#225;ndose todav&#237;a en cuestionarios relacionados con la salud para estimar la fiabilidad y algunas formas de validez&#46;</p><p class="elsevierStylePara">As&#237;&#44; se acostumbra entender la fiabilidad como la consistencia interna de los &#237;tems que mide el coeficiente &#42; de Chronbach &#40;basado en el promedio de las correlaciones&#41; o como la estabilidad temporal que proporcionan las correlaciones test-retest<span class="elsevierStyleSup">12</span>&#46; Carrasco y Jover discuten en este mismo n&#250;mero otras medidas usuales en medicina para evaluar la fiabilidad-concordancia<span class="elsevierStyleSup">14</span>&#46;</p><p class="elsevierStylePara">Desde nuestro punto de vista&#44; el binomio que constituyen el &#42;de Chronbach y el AFE es del todo insuficiente para garantizar la validez y fiabilidad de un cuestionario relacionado con la salud&#46; Por ello&#44; este art&#237;culo&#44; en primer lugar&#44; critica la evaluaci&#243;n que habitualmente se hace de fiabilidad y validez&#44; y en segundo lugar&#44; propone el an&#225;lisis factorial confirmatorio &#40;AFC&#41; &#173;caso particular de los modelos de ecuaciones estructurales&#173; como alternativa adecuada<span class="elsevierStyleSup">19</span>&#46;</p><p class="elsevierStylePara">M&#233;todos cl&#225;sicos para evaluar la fiabilidad&#46; Teor&#237;a cl&#225;sica del test</p><p class="elsevierStylePara">Los psic&#243;logos de finales del siglo xix&#44; preocupados &#250;nicamente por la falibilidad de las mediciones&#44; desarrollaron la teor&#237;a cl&#225;sica del test &#40;TCT&#41;<span class="elsevierStyleSup">20</span>&#46; &#201;sta establece la descomposici&#243;n de la puntuaci&#243;n observada del j-&#233;simo &#237;tem seg&#250;n la ecuaci&#243;n&#58;</p><p class="elsevierStylePara">&#160;</p><p class="elsevierStylePara"><img src="2v122nSupl.1-13057542tab01.gif"></img>&#40;1&#41;</p><p class="elsevierStylePara">&#160;</p><p class="elsevierStylePara">donde se asume que&#58;</p><p class="elsevierStylePara">&#160;</p><p class="elsevierStylePara">&#173; f<span class="elsevierStyleInf">k</span> es &#171;puntuaci&#243;n verdadera&#187; y e<span class="elsevierStyleInf">j</span> error aleatorio de medici&#243;n exclusivamente &#40;sin componentes sistem&#225;ticos espec&#237;ficos del &#237;tem v<span class="elsevierStyleInf">j</span>&#41;&#59;</p><p class="elsevierStylePara">&#173; las unidades de f<span class="elsevierStyleInf">k</span> y v<span class="elsevierStyleInf">j</span> son las mismas &#40;&#42;<span class="elsevierStyleInf">j</span> &#61; 1&#41;&#59;</p><p class="elsevierStylePara">&#173; f<span class="elsevierStyleInf">k</span> no est&#225; estandarizado y tiene varianza &#42;<span class="elsevierStyleInf">kk</span>&#46;</p><p class="elsevierStylePara">&#160;</p><p class="elsevierStylePara">lo que implica analizar la varianza de v<span class="elsevierStyleInf">j</span> en varianza explicada por la puntuaci&#243;n verdadera &#40;&#42;<span class="elsevierStyleInf">kk</span>&#41; y debida al error aleatorio &#42;<span class="elsevierStyleInf">jj</span>&#58;</p><p class="elsevierStylePara">&#160;</p><p class="elsevierStylePara"><img src="2v122nSupl.1-13057542tab02.gif"></img> &#40;2&#41;</p><p class="elsevierStylePara">&#160;</p><p class="elsevierStylePara">La fiabilidad  &#42; se define como el porcentaje de varianza de v<span class="elsevierStyleInf">j</span> explicado por f<span class="elsevierStyleInf">k</span>&#58;</p><p class="elsevierStylePara">&#160;</p><p class="elsevierStylePara"><img src="2v122nSupl.1-13057542tab03.gif"></img>&#40;3&#41;</p><p class="elsevierStylePara">&#160;</p><p class="elsevierStylePara">Seg&#250;n sus supuestos&#44; de menos a m&#225;s estrictos&#44; los indicadores de una misma f<span class="elsevierStyleInf">k</span> pueden ser &#171;congen&#233;ricos&#187; &#40;sin errores sistem&#225;ticos &#173;derivados de cambios en la puntuaci&#243;n verdadera por funcionamiento distinto de los &#237;tems o variaciones de opini&#243;n en el tiempo&#173; ni errores correlacionados &#173;por ejemplo&#44; debido a efecto memoria&#173;&#41;&#44; &#171;tau-equivalentes&#187; &#40;adem&#225;s con id&#233;nticas unidades&#44; es decir&#44; &#42; iguales&#41; o &#171;paralelos&#187; &#40;adem&#225;s con id&#233;ntica fiabilidad&#44; es decir&#44; &#42; iguales&#44; y por consiguiente &#42; tambi&#233;n iguales&#41;<span class="elsevierStyleSup">21</span>&#46;</p><p class="elsevierStylePara">En los siguientes apartados veremos que los investigadores que en medicina usan cuestionarios asumen impl&#237;citamente estos supuestos&#44; al calcular la fiabilidad mediante la correlaci&#243;n de pares de &#237;tems&#44; o al utilizar el &#171;coeficiente  &#42; de Chronbach&#187;<span class="elsevierStyleSup">22</span>&#46;</p><p class="elsevierStylePara"><span class="elsevierStyleItalic">C&#225;lculo de la fiabilidad de cada indicador-&#237;tem</span></p><p class="elsevierStylePara">En efecto&#44; conceptualizar la fiabilidad como estabilidad de las medidas &#40;v<span class="elsevierStyleInf">1</span>&#44; v<span class="elsevierStyleInf">2</span>&#41; &#173;repetici&#243;n del mismo &#237;tem en otro momento &#40;<span class="elsevierStyleItalic">test-retest</span>&#41;&#44; o bien administraci&#243;n de 2 &#237;tems an&#225;logos simult&#225;neamente&#173; y calcularla&#44; por tanto&#44; como correlaci&#243;n entre &#233;stas&#58;</p><p class="elsevierStylePara">&#160;</p><p class="elsevierStylePara"><img src="2v122nSupl.1-13057542tab04.gif"></img>&#40;4&#41;</p><p class="elsevierStylePara">&#160;</p><p class="elsevierStylePara">supone&#44; en realidad&#44; que los &#237;tems son paralelos&#44; supuesto que puede etiquetarse eufem&#237;sticamente de poco realista<span class="elsevierStyleSup">23</span>&#46;</p><p class="elsevierStylePara"><span class="elsevierStyleItalic">C&#225;lculo de la fiabilidad de escalas sumadas &#40;conjunto de &#237;tems&#41;</span></p><p class="elsevierStylePara">Para reducir los efectos del error de medici&#243;n del cuestionario se acostumbra sumar las puntuaciones de los &#237;tems&#44; de forma que los t&#233;rminos de error tiendan a compensarse en la &#171;escala sumada&#187; finalmente obtenida&#46; Como es sabido&#44; la fiabilidad de la escala es mayor que la de cada uno de los &#237;tems que la componen&#44; y tanto mayor cuanto mayor sea el n&#250;mero de &#237;tems<span class="elsevierStyleSup">24&#44;25</span>&#46;</p><p class="elsevierStylePara">Para evaluar la fiabilidad de la escala&#44; de forma an&#225;loga a como se ha hecho con el &#237;tem individual&#44; se consideran dos formas paralelas de un mismo test o bien su subdivisi&#243;n en 2 mitades equivalentes <span class="elsevierStyleItalic"> &#40;split-halves&#41;&#44;</span> y se correlacionan ambas a continuaci&#243;n&#46; Dada la arbitrariedad del <span class="elsevierStyleItalic">split-halving</span> &#40;la escala se puede partir de muchas maneras&#41;&#44; los psic&#243;metras han desarrollado coeficientes de fiabilidad que la evitan &#40;aunque comparten sus supuestos&#41; conocidos como coeficientes de consistencia interna o equivalencia&#46; Entre ellos el m&#225;s popular es el coeficiente &#42;&#44; para el que&#44; de manera un tanto simplista&#44; y sin hacer referencia a los supuestos mencionados&#44; se proponen<span class="elsevierStyleSup">12</span> umbrales m&#237;nimos como 0&#44;7 para comparar grupos y 0&#44;9 para comparaciones individuales&#46; La diferencia entre estos umbrales est&#225; relacionada con la necesidad de disminuir la incertidumbre en el caso del diagn&#243;stico de un solo paciente&#44; mientras que la posibilidad de aumentar la precisi&#243;n con un mayor tama&#241;o muestral permite relajar el umbral en los estudios de grupos&#46;</p><p class="elsevierStylePara"><span class="elsevierStyleItalic">Cr&#237;tica al modelo de la teor&#237;a cl&#225;sica del test cuando eval&#250;a la fiabilidad</span></p><p class="elsevierStylePara">Hemos visto que en medicina la fiabilidad se estima seg&#250;n correlaciones y asunciones poco justificadas en datos recogidos por encuesta&#44; ya que &#233;stos incluyen errores que no son aleatorios&#46; Encuestador&#44; encuestado y cuestionario son fuentes del error sistem&#225;tico que conducen a vulnerar los supuestos de la TCT&#46;</p><p class="elsevierStylePara">Adem&#225;s&#44; estas asunciones tan restrictivas no se someten a ning&#250;n contraste&#46; En particular&#44; la medida de fiabilidad m&#225;s utilizada &#40;&#42; de Chronbach&#41; s&#243;lo estima correctamente la fiabilidad si los &#237;tems son al menos tau-equivalentes<span class="elsevierStyleSup">18&#44;26</span> &#40;cuyo contraste requiere comprobar la igualdad de covarianzas&#44; no de correlaciones&#41;&#46; En cualquier otro caso&#44; proporciona un l&#237;mite inferior de la fiabilidad&#46; Sus defensores ponderan precisamente este aspecto conservador&#59; no obstante&#44; &#42; se utiliza a menudo&#44; en correlaciones o coeficientes de regresi&#243;n&#44; para corregir el sesgo debido a errores de medici&#243;n&#44; con lo que una fiabilidad subestimada se traducir&#225; en una correcci&#243;n excesiva del sesgo&#44; lo que no es nada conservador&#46;</p><p class="elsevierStylePara">M&#233;todos cl&#225;sicos para evaluar la validez&#46; La perspectiva exploratoria del modelo de an&#225;lisis factorial</p><p class="elsevierStylePara">Hasta finales de los a&#241;os sesenta el investigador se ha servido del AFE<span class="elsevierStyleSup">27</span> para establecer indicadores adecuados que hicieran emerger dimensiones subyacentes&#46; Actualmente&#44; todav&#237;a es frecuente en medicina &#40;a pesar de disponer de mejores alternativas&#41; servirse de estos modelos exploratorios para validar cuestionarios<span class="elsevierStyleSup">28</span>&#46; El AFE incluye un primer supuesto sustantivo&#58; cada &#237;tem tiene dos fuentes de variaci&#243;n&#44; la &#171;com&#250;n&#187; y la &#171;&#250;nica&#187;&#46; Este supuesto se especifica mediante una ecuaci&#243;n de regresi&#243;n&#44; que relaciona los &#237;tems &#40;dependientes&#41; con los factores&#44; cuya naturaleza latente es precisamente lo que diferencia este modelo del de regresi&#243;n&#46; Estos m factores constituyen y explican la parte com&#250;n o compartida por los &#237;tems y se conocen como factores comunes&#46; El t&#233;rmino residual e<span class="elsevierStyleInf">j</span> es la parte &#250;nica o sin explicar por los factores latentes&#58;</p><p class="elsevierStylePara">&#160;</p><p class="elsevierStylePara"><img src="2v122nSupl.1-13057542tab05.gif"></img>&#40;5&#41;</p><p class="elsevierStylePara">&#160;</p><p class="elsevierStylePara">Esta expresi&#243;n recuerda la &#40;1&#41;&#44; aqu&#233;lla con un solo factor&#46; Los par&#225;metros &#42;<span class="elsevierStyleInf">jk</span> se denominan &#171;saturaciones&#187; y desempe&#241;an un papel an&#225;logo a los coeficientes de regresi&#243;n&#46; La pr&#225;ctica habitual de estandarizar las saturaciones facilita su interpretaci&#243;n como correlaci&#243;n del &#237;tem y el factor correspondiente&#46;</p><p class="elsevierStylePara">Dado que&#44; en general&#44; el &#237;tem no ser&#225; un reflejo exacto de la informaci&#243;n de los factores&#44; el t&#233;rmino residual e<span class="elsevierStyleInf">j</span> en la ecuaci&#243;n incluye dos tipos de efectos&#58; los debidos a &#171;caracter&#237;sticas espec&#237;ficas del indicador&#187;&#44; asociados a invalidez&#44; y los del &#171;error aleatorio de medici&#243;n&#187;&#46; Ambos efectos se asumen incorrelacionados entre s&#237; y con los factores comunes&#46; Estos supuestos permiten descomponer la varianza de cada &#237;tem en &#171;comunalidad&#187; &#40;varianza explicada por los factores comunes&#41;&#44; y &#171;unicidad&#187; o varianza &#250;nica&#44; sin explicar por esos factores&#46;</p><p class="elsevierStylePara"><span class="elsevierStyleItalic">Cr&#237;tica al modelo del AFE para evaluar la validez</span></p><p class="elsevierStylePara">Arrecian las cr&#237;ticas al modelo exploratorio y hasta estas p&#225;ginas se han hecho eco de sus inconvenientes<span class="elsevierStyleSup">29</span>&#46; Aqu&#237; resaltamos las deficiencias que hemos denunciado en otros escritos&#58;</p><p class="elsevierStylePara">&#160;</p><p class="elsevierStylePara">&#173; La propia formulaci&#243;n del AFE lo diferencia poco de otras t&#233;cnicas multivariantes y descriptivas&#44; llamadas gen&#233;rica y equ&#237;vocamente factoriales&#46; De hecho&#44; se identifica habitualmente la &#171;t&#233;cnica de an&#225;lisis en componentes principales&#187; &#40;ACP&#41; con un &#171;modelo&#187;&#44; el del AFE&#46; Aquella t&#233;cnica no asume ning&#250;n modelo para los &#237;tems&#44; su &#250;nica finalidad es reducir la dimensionalidad&#46;</p><p class="elsevierStylePara">&#173; Los paquetes estad&#237;sticos&#44; verdaderos promotores de este festival de la confusi&#243;n&#44; ni tan siquiera requieren que el usuario explicite el n&#250;mero de factores del modelo&#46; Adem&#225;s&#44; se acostumbra obviar su contraste estad&#237;stico y se utilizan en su lugar criterios sin fundamentar&#44; propios del ACP&#44; como umbrales m&#237;nimos para la varianza explicada<span class="elsevierStyleSup">28</span>&#46;</p><p class="elsevierStylePara">&#173; No es posible determinar una &#250;nica expresi&#243;n de cada &#237;tem a partir de los factores comunes&#46; Esta indeterminaci&#243;n propia del AFE se conoce con el eufemismo de &#171;rotaci&#243;n&#187;<span class="elsevierStyleSup">30</span>&#46; Cada m&#233;todo de rotaci&#243;n &#173;por cierto&#44; arbitrario&#173; conduce a interpretaciones distintas y a menudo mantiene la r&#237;gida y poco realista estructura de factores incorrelacionados&#46;</p><p class="elsevierStylePara">&#173; El modelo incorpora pocos supuestos sustantivos y permite que cada &#237;tem dependa de todos los factores comunes&#44; con lo que la interpretaci&#243;n es heur&#237;stica y dif&#237;cil&#46; En consecuencia&#44; con el AFE es imposible demostrar la validez &#173;que cada indicador mida &#250;nicamente el factor que se supone que debe medir&#46;</p><p class="elsevierStylePara">Sin embargo&#44; en investigaci&#243;n m&#233;dica&#44; la perspectiva exploratoria parece ser la &#250;nica aproximaci&#243;n al replicar la estructura factorial de un cuestionario desarrollado en otro pa&#237;s&#46; A&#250;n hoy&#44; desviarse de esta metodolog&#237;a tradicional en medicina es excepcional<span class="elsevierStyleSup">31-33</span>&#46; Y por si esto fuera poco&#44; la secuencia de an&#225;lisis procede evaluando en primer lugar la fiabilidad para despu&#233;s aplicar el AFE&#46; De nada sirve una medida fiable de algo distinto a lo que se desea medir&#46; El diagn&#243;stico de la validez debe preceder siempre al de la fiabilidad&#46; Adem&#225;s&#44; basta con reunir un gran n&#250;mero de &#237;tems inv&#225;lidos&#44; o incluso multidimensionales&#44; para obtener un &#42;<span class="elsevierStyleSup">26</span> elevado&#46;</p><p class="elsevierStylePara">M&#233;todos alternativos para evaluar la validez y la fiabilidad&#46; El an&#225;lisis factorial confirmatorio</p><p class="elsevierStylePara">Cuando el investigador tiene suficientes conocimientos previos para formular hip&#243;tesis concretas sobre la relaci&#243;n entre indicadores y dimensiones latentes&#44; su inter&#233;s se centra en contrastar estas hip&#243;tesis&#46; Por ejemplo&#44; al traducir o adaptar cuestionarios ya desarrollados sabemos qu&#233; &#237;tems deber&#237;an medir qu&#233; dimensiones&#46; El modelo de an&#225;lisis factorial confirmatorio &#40;AFC&#41;<span class="elsevierStyleSup">34&#44;18&#44;19</span> corrige las deficiencias inherentes a la perspectiva exploratoria y conduce a una mayor concreci&#243;n de las hip&#243;tesis que deben ser contrastadas&#46; Su especificaci&#243;n difiere de la perspectiva exploratoria en aspectos esenciales como&#58;</p><p class="elsevierStylePara">&#160;</p><p class="elsevierStylePara">&#173; Permitir restricciones en algunas saturaciones&#46; Lo habitual es suponer la validez de cada &#237;tem&#44; es decir&#44; que satura en un &#250;nico factor&#46; Se delimita as&#237; el concepto de factor com&#250;n a aquel que subyace &#250;nicamente a sus indicadores concretos y se evita introducir factores <span class="elsevierStyleItalic">ad hoc</span> de dif&#237;cil interpretaci&#243;n&#46;</p><p class="elsevierStylePara">&#173; Permitir contrastes estad&#237;sticos de las hip&#243;tesis especificadas&#46;</p><p class="elsevierStylePara">&#173; Permitir componentes &#250;nicas correlacionadas&#46; Aunque es un recurso poco elegante&#44; se justifica por la existencia de otros factores sin inter&#233;s&#44; como un m&#233;todo de medici&#243;n com&#250;n que no se desea explicitar en la especificaci&#243;n&#46;</p><p class="elsevierStylePara">&#173; Permitir analizar la matriz de covarianzas en lugar de la de correlaciones&#44; indispensable para establecer si los indicadores son tau-equivalentes&#46;</p><p class="elsevierStylePara">&#160;</p><p class="elsevierStylePara">Advi&#233;rtase que el AFC es mucho menos restrictivo que la TCT&#46; En efecto&#44; el AFC s&#243;lo asume que los &#237;tems constituyen &#171;mediciones congen&#233;ricas&#187;&#44; pero no asume la igualdad de las saturaciones ni de las varianzas de error&#46; Adem&#225;s&#44; el AFC somete estos supuestos a contrastes estad&#237;sticos que&#44; en caso de rechazarse&#44; desaconsejar&#237;an la evaluaci&#243;n de la fiabilidad&#46;</p><p class="elsevierStylePara">El modelo se suele representar en un diagrama de flujos <span class="elsevierStyleItalic">&#40;path diagram&#41;</span>&#44; acorde con su especificaci&#243;n&#46; Convencionalmente&#44; los rect&#225;ngulos representan &#237;tems y las elipses&#44; factores comunes&#46; Flechas unidireccionales entre factores comunes e &#237;tems expresan saturaciones&#46; Flechas bidireccionales indican correlaciones entre factores comunes o &#250;nicos&#46; La figura 1 muestra los diagramas de dos posibles modelos de AFE y de AFC&#46; En el modelo de AFC&#44; los factores &#250;nicos de las variables v<span class="elsevierStyleInf">1</span> y v<span class="elsevierStyleInf">4</span> que podr&#237;an compartir m&#233;todo de medici&#243;n est&#225;n correlacionados&#46; Se resalta que v<span class="elsevierStyleInf">1</span>&#44; v<span class="elsevierStyleInf">2</span> y v<span class="elsevierStyleInf">3</span> son indicadores exclusivamente de f<span class="elsevierStyleInf">1</span> mientras que v<span class="elsevierStyleInf">4</span>&#44; v<span class="elsevierStyleInf">5</span> y v<span class="elsevierStyleInf">6</span> lo son s&#243;lo de f<span class="elsevierStyleInf">2</span>&#46;</p><p class="elsevierStylePara"><img src="2v122nSupl.1-13057542tab06.gif"></img></p><p class="elsevierStylePara"><span class="elsevierStyleItalic">Fig&#46; 1&#46; Diferencias entre el diagrama de flujos</span> &#40;path diagram&#41; <span class="elsevierStyleItalic">de los modelos de an&#225;lisis factorial confirmatorio y an&#225;lisis factorial exploratorio con 6 variables y 2 factores&#46;</span></p><p class="elsevierStylePara">En un principio&#44; los programas para estimar modelos de AFC eran escasos y requer&#237;an conocimientos de &#225;lgebra matricial&#46; Actualmente&#44; existe una gran variedad de ellos&#44; todos accesibles y sencillos de utilizar &#40;en algunos&#44; el usuario se limita a dibujar el diagrama del modelo&#41; que permiten estimar cualquier modelo de ecuaciones estructurales&#46;</p><p class="elsevierStylePara">Evaluaci&#243;n de las propiedades del cuestionario mediante modelos de an&#225;lisis factorial confirmatorio</p><p class="elsevierStylePara">El dise&#241;o ideal del cuestionario no consiste tanto en una &#250;nica bater&#237;a de &#237;tems relativos al constructo global de inter&#233;s como en subconjuntos de &#237;tems espec&#237;ficos para cada dimensi&#243;n&#46;</p><p class="elsevierStylePara">La asignaci&#243;n de indicadores espec&#237;ficos a dimensiones concretas es una de las mayores aportaciones de la perspectiva confirmatoria&#46; Los modelos de AFC permiten contrastar la validez ajustando un modelo que la asuma y diagnosticando su bondad de ajuste &#40;validaci&#243;n de constructo&#41;&#46; En este modelo&#44; cada &#237;tem satura &#250;nicamente sobre el factor-dimensi&#243;n del que se supone que constituye un indicador v&#225;lido&#46; La invalidez de los &#237;tems se detecta en indicios como los siguientes<span class="elsevierStyleSup">19</span>&#58;</p><p class="elsevierStylePara">&#173; La bondad del ajuste del modelo es insatisfactoria&#44; lo que implica que algunas saturaciones&#44; o correlaciones entre factores &#250;nicos&#44; se asumieron nulas por error&#46; Los &#237;tems que saturan en m&#225;s de un factor no son indicadores v&#225;lidos&#46; Asimismo&#44; la necesidad de una correlaci&#243;n entre factores &#250;nicos refleja errores sistem&#225;ticos y es otra se&#241;al de invalidez&#46;</p><p class="elsevierStylePara">&#173; Algunos &#237;tems tienen un porcentaje de varianza &#250;nica elevado&#44; lo que hace poco cre&#237;ble que dicha varianza contenga s&#243;lo error aleatorio de medici&#243;n &#40;invalidez convergente&#41;&#46;</p><p class="elsevierStylePara">&#173; Algunos factores presentan correlaciones muy pr&#243;ximas a la unidad&#44; lo que plantea que estos factores representan una &#250;nica dimensi&#243;n &#40;invalidez discriminante&#41;&#46;</p><p class="elsevierStylePara">&#173; Las correlaciones entre algunos factores son de signo o magnitud sorprendente seg&#250;n la teor&#237;a&#44; lo que evidencia que las teor&#237;as disponibles son falsas o las variables miden factores distintos de los que se supon&#237;an &#40;invalidez nomol&#243;gica&#41;&#46; Lamentablemente&#44; se eval&#250;an aqu&#237; simult&#225;neamente las teor&#237;as y la validez&#46; Se recomienda&#44; por tanto&#44; incluir en el modelo un cierto n&#250;mero de dimensiones potencialmente relacionadas con las de inter&#233;s<span class="elsevierStyleSup">35</span>&#46;</p><p class="elsevierStylePara">Una vez establecida la validez&#44; puede procederse a evaluar la fiabilidad&#46; &#201;sta puede calcularse simplemente como el porcentaje de varianza del &#237;tem explicado por el factor&#46; La fiabilidad de una escala sumada de los &#237;tems de una misma dimensi&#243;n puede calcularse seg&#250;n el coeficiente ‡<span class="elsevierStyleSup">36</span>&#58;</p><p class="elsevierStylePara">&#160;</p><p class="elsevierStylePara"><img src="2v122nSupl.1-13057542tab07.gif"></img>&#40;6&#41;</p><p class="elsevierStylePara">&#160;</p><p class="elsevierStylePara">donde el denominador es la varianza total de la escala y el numerador es la suma de las varianzas de error de todos los &#237;tems de la escala&#46;</p><p class="elsevierStylePara">Etapas en el ajuste de un modelo de an&#225;lisis factorial confirmatorio</p><p class="elsevierStylePara">Esta secci&#243;n refiere sucintamente las etapas a seguir para validar un cuestionario empleando el AFC&#46; Debe tenerse en cuenta que el ajuste de modelos estructurales es un proceso complejo&#44; del que s&#243;lo se destacan algunos de los aspectos m&#225;s relevantes&#46; El lector interesado puede acudir a las referencias citadas&#46;</p><p class="elsevierStylePara"><span class="elsevierStyleItalic">Especificaci&#243;n&#44; identificaci&#243;n y estimaci&#243;n</span></p><p class="elsevierStylePara">Seg&#250;n se ha comentado&#44; la especificaci&#243;n del modelo establece que cada variable satura s&#243;lo sobre el factor com&#250;n que mide&#44; que los factores comunes est&#225;n correlacionados&#44; y que los &#250;nicos est&#225;n incorrelacionados&#46;</p><p class="elsevierStylePara">Una vez especificado el modelo&#44; se debe evaluar si es estimable&#46; Esta etapa se conoce como de &#171;identificaci&#243;n&#187;&#46; En el caso del AFC&#44; con car&#225;cter general&#44; se requieren para cada factor al menos dos &#237;tems que ni saturen en otro factor ni presenten componentes &#250;nicas correlacionadas&#46; La precisi&#243;n de las estimaciones mejora sustancialmente si se dispone de tres indicadores por factor&#46; Dado que las propiedades de los estimadores son asint&#243;ticas&#44; se recomiendan tama&#241;os de muestra superiores a 200&#44; aunque depende de las caracter&#237;sticas del modelo<span class="elsevierStyleSup">37</span>&#46;</p><p class="elsevierStylePara">Existe una multitud de procedimientos de estimaci&#243;n del modelo&#46; Los m&#233;todos cl&#225;sicos se basan en el criterio de la m&#225;xima verosimilitud&#44; de acuerdo con el supuesto de normalidad multivariante de los &#237;tems&#46; Existen m&#233;todos alternativos para los &#237;tems de nivel de medida ordinal<span class="elsevierStyleSup">38&#44;39</span> &#40;como los de Likert&#41; y contrastes robustos para el caso de los &#237;tems no normales<span class="elsevierStyleSup">40</span>&#46;</p><p class="elsevierStylePara"><span class="elsevierStyleItalic">Diagn&#243;stico de la bondad del ajuste</span></p><p class="elsevierStylePara">Un modelo correcto es aquel que s&#243;lo incorpora las restricciones y supuestos que se cumplen en la poblaci&#243;n&#44; sin omisi&#243;n de par&#225;metros&#46; Puesto que los modelos sobreparametrizados&#44; que imponen pocas restricciones&#44; suelen conducir a ajustes perfectos de los datos&#44; un buen modelo implicar&#225; un compromiso entre la parquedad y la bondad del ajuste<span class="elsevierStyleSup">41</span>&#46;</p><p class="elsevierStylePara">El diagn&#243;stico de la bondad de ajuste es crucial para establecer la validez del cuestionario&#46; En Batista y Coenders<span class="elsevierStyleSup">42</span> puede encontrarse este desarrollo ampliado&#46; La etapa de diagn&#243;stico permitir&#225; distinguir los modelos que ajusten flagrantemente mal los datos de aquellos modelos que los ajusten razonablemente bien&#44; aunque de estos &#250;ltimos puede haber muchos&#46; La etapa de diagn&#243;stico nunca ser&#225;&#44; pues&#44; capaz de demostrar que un modelo es correcto&#44; sino&#44; a lo sumo&#44; incapaz de demostrar que es incorrecto&#46; En consecuencia&#44; tampoco ser&#225; capaz de demostrar que un cuestionario es v&#225;lido&#44; sino&#44; incapaz de demostrar que es inv&#225;lido&#46;</p><p class="elsevierStylePara">El diagn&#243;stico empieza por un examen general de la soluci&#243;n obtenida para detectar problemas graves como la presencia de estimaciones no admisibles o la falta de convergencia del algoritmo de estimaci&#243;n&#46; A continuaci&#243;n&#44; se establece de modo global la adecuaci&#243;n o no del modelo&#46; Finalmente&#44; se emplean diagn&#243;sticos detallados&#44; par&#225;metro a par&#225;metro&#44; para detectar partes del modelo cuya especificaci&#243;n no es id&#243;nea&#46;</p><p class="elsevierStylePara">Un primer diagn&#243;stico global del modelo es el &#171;contraste de raz&#243;n de verosimilitudes o estad&#237;stico &#42;<span class="elsevierStyleSup">2</span>&#187;&#46; Su hip&#243;tesis nula establece que las restricciones del modelo son correctas&#46; Su objetivo consiste en detectar posibles par&#225;metros indebidamente omitidos en el modelo&#46; Ya que un modelo no puede ser m&#225;s que una aproximaci&#243;n a la realidad&#44; la hip&#243;tesis que establece que el modelo es exactamente correcto ser&#225; siempre falsa e incluso absurdo su contraste&#46; Adem&#225;s&#44; dado que los modelos de AFC suelen estimarse sobre muestras relativamente grandes&#44; la potencia del contraste es a menudo elevada y conducir&#225; a rechazar modelos por insignificantes errores de especificaci&#243;n&#46; En la pr&#225;ctica interesar&#225; m&#225;s cuantificar el grado de ajuste &#40;o desajuste&#41; del modelo que simplemente rechazar o no la hip&#243;tesis nula&#46;</p><p class="elsevierStylePara">La lista de &#237;ndices de bondad de ajuste es muy larga y queda fuera del alcance de este art&#237;culo<span class="elsevierStyleSup">43</span>&#46; Destacamos el &#171;residuo estandarizado cuadr&#225;tico medio &#40;SRMR&#41;&#187;<span class="elsevierStyleItalic">&#44;</span> el &#171;error cuadr&#225;tico medio de aproximaci&#243;n &#40;RMSEA&#41;&#187; y las medidas de bondad de ajuste basadas en el estad&#237;stico &#42;<span class="elsevierStyleSup">2</span>&#44; reescalado de manera que tome valores entre 0 y 1&#46; El m&#225;s utilizado es el &#171;&#237;ndice de ajuste no normado &#40;NNFI&#41;&#187; de Tucker y Lewis&#44; que es independiente del tama&#241;o muestral y tiene en cuenta la parquedad del modelo adem&#225;s de su bondad de ajuste<span class="elsevierStyleSup">44</span>&#46; Con la debida flexibilidad&#44; el ajuste se considera aceptable si el SRMR y el RMSEA no alcanzan 0&#44;05 y el NNFI supera 0&#44;95&#46;</p><p class="elsevierStylePara"><span class="elsevierStyleItalic">Diagn&#243;stico detallado&#44; modificaci&#243;n del modelo y capitalizaci&#243;n del azar</span></p><p class="elsevierStylePara">Dif&#237;cilmente los modelos de AFC ajustan los datos en un primer contraste&#46; Pero el diagn&#243;stico no s&#243;lo permite evaluar el modelo&#44; sino tambi&#233;n sugiere maneras de mejorarlo&#46; As&#237;&#44; la modificaci&#243;n del modelo<span class="elsevierStyleSup">45</span> se ha convertido en pr&#225;ctica habitual para optimizar la bondad del ajuste al a&#241;adir par&#225;metros&#44; conseguir mayor parquedad elimin&#225;ndolos o aumentar la validez mediante la supresi&#243;n de &#237;tems inapropiados &#40;&#171;poda de &#237;tems&#187;&#41;&#46;</p><p class="elsevierStylePara">El proceso de modificaci&#243;n viene guiado esencialmente por dos &#237;ndices&#58; &#171;contraste de los multiplicadores de Lagrange&#187; <span class="elsevierStyleItalic">&#40;&#237;ndice de modificaci&#243;n&#41;</span> y &#171;contraste de Wald&#187; &#40;estad&#237;stico t&#41;&#46; El primero refiere la significaci&#243;n de los par&#225;metros omitidos del modelo&#46; &#201;stos corresponden a saturaciones sobre otros factores o covarianzas entre factores &#250;nicos en el modelo de AFC y si fueran significativos indicar&#237;an invalidez&#46; El segundo comprueba la significaci&#243;n de los par&#225;metros incluidos en el modelo&#46; Una saturaci&#243;n no significativamente distinta de 0 o una correlaci&#243;n entre factores no significativamente distinta de 1 indican invalidez&#46;</p><p class="elsevierStylePara">Diversos autores<span class="elsevierStyleSup">46&#44;47</span> aconsejan introducir s&#243;lo modificaciones plausibles&#44; de manera secuencial&#44; reexaminando los resultados antes de efectuar la siguiente y empezar a&#241;adiendo par&#225;metros significativos antes que eliminar los no significativos o los &#237;tems poco v&#225;lidos&#46;</p><p class="elsevierStylePara">En cualquier caso&#44; debe tenerse presente que la modificaci&#243;n del modelo se ha basado en los resultados de una muestra concreta&#46; La introducci&#243;n de modificaciones adecuadas para el ajuste del modelo a la muestra&#44; pero inadecuadas para el ajuste a la poblaci&#243;n se denomina &#171;capitalizaci&#243;n del azar&#187;&#46; La capitalizaci&#243;n del azar tiende a sesgar al alza las estimaciones y los estad&#237;sticos t<span class="elsevierStyleSup">48</span>&#44; lo que obliga a tener suma cautela en la interpretaci&#243;n&#46; Para que los resultados y el modelo final puedan generalizarse m&#225;s all&#225; de la muestra concreta&#44; precisaremos estimar y diagnosticar el modelo en una segunda muestra independiente &#40;&#171;validaci&#243;n cruzada&#187;&#41;&#46;</p><p class="elsevierStylePara">&#160;</p><p class="elsevierStylePara">Discusi&#243;n</p><p class="elsevierStylePara">El cuestionario es una pieza cada vez m&#225;s relevante en la evaluaci&#243;n de la evidencia cient&#237;fica a favor de los efectos de un tratamiento&#44; de la satisfacci&#243;n del usuario o de las preferencias por diversos resultados sanitarios&#46; Por ello&#44; el investigador en medicina debe conocer qu&#233; procedimientos estad&#237;sticos le permiten hoy optimizar la medida de sus variables de inter&#233;s&#46;</p><p class="elsevierStylePara">Es obvio que haber probado un cuestionario en una muestra de pacientes&#44; haber calculado algunas correlaciones y publicado sus resultados&#44; no garantiza que &#233;ste se haya validado&#46; El proceso de validaci&#243;n de un cuestionario implica un conjunto de decisiones que se apoyan en contrastes de hip&#243;tesis correctamente formuladas&#46; Adem&#225;s&#44; cada cuestionario requiere de la suficiente evidencia cient&#237;fica para su adecuaci&#243;n&#46;</p><p class="elsevierStylePara">Las publicaciones biom&#233;dicas que incluyen cuestionarios revelan la necesidad de precisar&#44; como hemos hecho&#44; los t&#233;rminos esenciales de la medici&#243;n &#40;fiabilidad y validez&#41;&#46; Como se ha visto&#44; la investigaci&#243;n con cuestionarios o tests utiliza generalmente metodolog&#237;as tradicionales basadas en supuestos poco realistas que se incumplen en la pr&#225;ctica y&#44; en consecuencia&#44; la fiabilidad se eval&#250;a incorrectamente y&#44; habitualmente&#44; antes de que se eval&#250;e la validez&#46;</p><p class="elsevierStylePara">Se han se&#241;alado las limitaciones de los procedimientos de evaluaci&#243;n de un cuestionario mediante la TCT&#46; En contraposici&#243;n&#44; se han referido las ventajas de los modelos del AFC&#44; que permiten evaluar la validez y la fiabilidad de cada &#237;tem&#46; El investigador contrasta hip&#243;tesis acerca de &#237;tems individuales&#44; &#191;miden lo que pretenden medir&#63; &#40;validez&#41; y&#44; una vez establecida &#233;sta&#44; &#191;con qu&#233; precisi&#243;n se obtiene esta medida&#63; &#40;fiabilidad&#41;&#46; Los modelos del AFC han mostrado su aptitud tanto para validar un nuevo cuestionario como para adaptar el desarrollado en otra lengua o aplicado a una poblaci&#243;n o cultura diferente&#44; puesto que nada garantiza que los &#237;tems se entiendan de la misma manera en distintos contextos&#44; o incluso que las variables latentes tengan la misma conceptualizaci&#243;n<span class="elsevierStyleSup">8&#44;12</span>&#46; </p>"
    "pdfFichero" => "2v122nSupl.1a13057542pdf001.pdf"
    "tienePdf" => true
    "PalabrasClave" => array:2 [
      "es" => array:1 [
        0 => array:4 [
          "clase" => "keyword"
          "titulo" => "Palabras clave"
          "identificador" => "xpalclavsec223779"
          "palabras" => array:5 [
            0 => "Validez"
            1 => "Fiabilidad"
            2 => "An&#225;lisis factorial confirmatorio"
            3 => "An&#225;lisis factorial exploratorio"
            4 => "&#42; de Chronbach"
          ]
        ]
      ]
      "en" => array:1 [
        0 => array:4 [
          "clase" => "keyword"
          "titulo" => "Keywords"
          "identificador" => "xpalclavsec223780"
          "palabras" => array:5 [
            0 => "Validity"
            1 => "Reliability"
            2 => "Confirmatory factor analysis"
            3 => "Exploratory factor analysis"
            4 => "Chronbach&#39;s"
          ]
        ]
      ]
    ]
    "tieneResumen" => true
    "resumen" => array:2 [
      "es" => array:1 [
        "resumen" => "El investigador que usa cuestionarios en ciencias de la salud se basa t&#225;citamente &#40;a menudo&#44; inadvertidamente&#41; en la teor&#237;a cl&#225;sica del test&#44; cuyos supuestos&#44; poco realistas&#44; se incumplen con frecuencia y conducen a evaluar deficientemente la fiabilidad y validez del instrumento&#46; Este art&#237;culo destaca la necesidad de precisar los t&#233;rminos esenciales de la medici&#243;n &#40;fiabilidad y validez&#41; clarificando las deficiencias en que incurre la metodolog&#237;a tradicional en su uso&#46; Se&#241;ala las limitaciones de la evaluaci&#243;n de la fiabilidad mediante el &#42; de Chronbach o la laxitud en la valoraci&#243;n cuantitativa de la validez mediante el an&#225;lisis factorial exploratorio&#46; Como alternativa se propone el tratamiento secuencial e integrado de la validez y la fiabilidad en el marco de los modelos del an&#225;lisis factorial confirmatorio&#46; Estos modelos proporcionan el marco estad&#237;stico adecuado para evaluar la validez y la fiabilidad de cada &#237;tem&#44; en lugar de efectuar s&#243;lo valoraciones globales&#46; La perspectiva confirmatoria gu&#237;a al investigador para que optimice el proceso de construcci&#243;n o adaptaci&#243;n de un cuestionario&#44; liber&#225;ndole del ritual poco fundamentado que &#171;recetaba&#187; la metodolog&#237;a cl&#225;sica&#46;"
      ]
      "en" => array:1 [
        "resumen" => "Researchers who use questionnaires in the health sciences tacitly base themselves &#40;often inadvertently&#41; in Classical Test Theory&#44; the suppositions of which are unrealistic and frequently violated&#44; leading to defective evaluation of the reliability and validity of the instrument&#46; The present article emphasizes the need for precise definition of essential terms of measurement &#40;reliability and validity&#41; by clarifying the deficiencies that traditional methodology incurs in their use&#46; The limitations of evaluation of reliability through Chronbach&#39;s alpha and laxity in quantitative evaluation of validity through exploratory factor analysis are described&#46; As an alternative&#44; a sequential and integrated approach to validity and reliability within the framework of confirmatory factor analysis models is proposed&#46; These models provide the appropriate statistical framework to evaluate the validity and reliability of each item&#44; instead of carrying out overall evaluations only&#46; The confirmatory approach guides researchers to optimize the process of designing or adapting a questionnaire&#44; freeing them from the largely unfounded ritual laid down by classical methodology&#46;"
      ]
    ]
    "multimedia" => array:14 [
      0 => array:6 [
        "identificador" => "tbl1"
        "tipo" => "MULTIMEDIATABLA"
        "mostrarFloat" => true
        "mostrarDisplay" => false
        "copyright" => "Elsevier Espa&#241;a"
        "tabla" => array:1 [
          "tablatextoimagen" => array:1 [
            0 => array:1 [
              "tablaImagen" => array:1 [
                0 => array:4 [
                  "imagenFichero" => "2v122nSupl.1-13057542tab01.gif"
                  "imagenAlto" => 60
                  "imagenAncho" => 150
                  "imagenTamanyo" => 11010
                ]
              ]
            ]
          ]
        ]
      ]
      1 => array:6 [
        "identificador" => "tbl2"
        "tipo" => "MULTIMEDIATABLA"
        "mostrarFloat" => true
        "mostrarDisplay" => false
        "copyright" => "Elsevier Espa&#241;a"
        "tabla" => array:1 [
          "tablatextoimagen" => array:1 [
            0 => array:1 [
              "tablaImagen" => array:1 [
                0 => array:4 [
                  "imagenFichero" => "2v122nSupl.1-13057542tab02.gif"
                  "imagenAlto" => 57
                  "imagenAncho" => 150
                  "imagenTamanyo" => 10500
                ]
              ]
            ]
          ]
        ]
      ]
      2 => array:6 [
        "identificador" => "tbl3"
        "tipo" => "MULTIMEDIATABLA"
        "mostrarFloat" => true
        "mostrarDisplay" => false
        "copyright" => "Elsevier Espa&#241;a"
        "tabla" => array:1 [
          "tablatextoimagen" => array:1 [
            0 => array:1 [
              "tablaImagen" => array:1 [
                0 => array:4 [
                  "imagenFichero" => "2v122nSupl.1-13057542tab03.gif"
                  "imagenAlto" => 60
                  "imagenAncho" => 150
                  "imagenTamanyo" => 11010
                ]
              ]
            ]
          ]
        ]
      ]
      3 => array:6 [
        "identificador" => "tbl4"
        "tipo" => "MULTIMEDIATABLA"
        "mostrarFloat" => true
        "mostrarDisplay" => false
        "copyright" => "Elsevier Espa&#241;a"
        "tabla" => array:1 [
          "tablatextoimagen" => array:1 [
            0 => array:1 [
              "tablaImagen" => array:1 [
                0 => array:4 [
                  "imagenFichero" => "2v122nSupl.1-13057542tab04.gif"
                  "imagenAlto" => 42
                  "imagenAncho" => 236
                  "imagenTamanyo" => 1895
                ]
              ]
            ]
          ]
        ]
      ]
      4 => array:6 [
        "identificador" => "tbl5"
        "tipo" => "MULTIMEDIATABLA"
        "mostrarFloat" => true
        "mostrarDisplay" => false
        "copyright" => "Elsevier Espa&#241;a"
        "tabla" => array:1 [
          "tablatextoimagen" => array:1 [
            0 => array:1 [
              "tablaImagen" => array:1 [
                0 => array:4 [
                  "imagenFichero" => "2v122nSupl.1-13057542tab05.gif"
                  "imagenAlto" => 33
                  "imagenAncho" => 202
                  "imagenTamanyo" => 1509
                ]
              ]
            ]
          ]
        ]
      ]
      5 => array:8 [
        "identificador" => "tbl6"
        "etiqueta" => "Fig. 1"
        "tipo" => "MULTIMEDIATABLA"
        "mostrarFloat" => true
        "mostrarDisplay" => false
        "copyright" => "Elsevier Espa&#241;a"
        "tabla" => array:1 [
          "tablatextoimagen" => array:1 [
            0 => array:1 [
              "tablaImagen" => array:1 [
                0 => array:4 [
                  "imagenFichero" => "2v122nSupl.1-13057542tab06.gif"
                  "imagenAlto" => 293
                  "imagenAncho" => 554
                  "imagenTamanyo" => 8189
                ]
              ]
            ]
          ]
        ]
        "descripcion" => array:1 [
          "es" => "Diferencias entre el diagrama de flujos &#40;path diagram&#41; de los modelos de an&#225;lisis factorial confirmatorio y an&#225;lisis factorial exploratorio con 6 variables y 2 factores&#46;"
        ]
      ]
      6 => array:6 [
        "identificador" => "tbl7"
        "tipo" => "MULTIMEDIATABLA"
        "mostrarFloat" => true
        "mostrarDisplay" => false
        "copyright" => "Elsevier Espa&#241;a"
        "tabla" => array:1 [
          "tablatextoimagen" => array:1 [
            0 => array:1 [
              "tablaImagen" => array:1 [
                0 => array:4 [
                  "imagenFichero" => "2v122nSupl.1-13057542tab07.gif"
                  "imagenAlto" => 63
                  "imagenAncho" => 193
                  "imagenTamanyo" => 1604
                ]
              ]
            ]
          ]
        ]
      ]
      7 => array:5 [
        "identificador" => "tbl8"
        "tipo" => "MULTIMEDIATABLA"
        "mostrarFloat" => true
        "mostrarDisplay" => false
        "copyright" => "Elsevier Espa&#241;a"
      ]
      8 => array:5 [
        "identificador" => "tbl9"
        "tipo" => "MULTIMEDIATABLA"
        "mostrarFloat" => true
        "mostrarDisplay" => false
        "copyright" => "Elsevier Espa&#241;a"
      ]
      9 => array:5 [
        "identificador" => "tbl10"
        "tipo" => "MULTIMEDIATABLA"
        "mostrarFloat" => true
        "mostrarDisplay" => false
        "copyright" => "Elsevier Espa&#241;a"
      ]
      10 => array:5 [
        "identificador" => "tbl11"
        "tipo" => "MULTIMEDIATABLA"
        "mostrarFloat" => true
        "mostrarDisplay" => false
        "copyright" => "Elsevier Espa&#241;a"
      ]
      11 => array:5 [
        "identificador" => "tbl12"
        "tipo" => "MULTIMEDIATABLA"
        "mostrarFloat" => true
        "mostrarDisplay" => false
        "copyright" => "Elsevier Espa&#241;a"
      ]
      12 => array:5 [
        "identificador" => "tbl13"
        "tipo" => "MULTIMEDIATABLA"
        "mostrarFloat" => true
        "mostrarDisplay" => false
        "copyright" => "Elsevier Espa&#241;a"
      ]
      13 => array:5 [
        "identificador" => "tbl14"
        "tipo" => "MULTIMEDIATABLA"
        "mostrarFloat" => true
        "mostrarDisplay" => false
        "copyright" => "Elsevier Espa&#241;a"
      ]
    ]
    "bibliografia" => array:2 [
      "titulo" => "Bibliograf&#237;a"
      "seccion" => array:1 [
        0 => array:1 [
          "bibliografiaReferencia" => array:48 [
            0 => array:3 [
              "identificador" => "bib1"
              "etiqueta" => "1"
              "referencia" => array:1 [
                0 => array:2 [
                  "referenciaCompleta" => "The detection of psychiatric illness by questionnaire. London: Oxford University Press, 1972 (Maudsley Monograph n.º 21)."
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "The detection of psychiatric illness by questionnaire&#46; London&#58; Oxford University Press&#44; 1972 &#40;Maudsley Monograph n&#46;&#186; 21&#41;&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Goldberg DP&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            1 => array:3 [
              "identificador" => "bib2"
              "etiqueta" => "2"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Study of the validity of Goldberg&#39;s&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:5 [
                            0 => "Mu&#241;oz PE"
                            1 => "V&#225;zquez JL"
                            2 => "Pastrana E"
                            3 => "Rodr&#237;guez F"
                            4 => "Oneca C&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "Soc Psychiatry"
                        "fecha" => "1978"
                        "volumen" => "13"
                        "paginaInicial" => "99"
                        "paginaFinal" => "104"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            2 => array:3 [
              "identificador" => "bib3"
              "etiqueta" => "3"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Validation of a simplified medication adherence questionnaire in a large cohort of HIV-infected patients&#58; the GEEMA study&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:7 [
                            0 => "Knobel H"
                            1 => "Alonso J"
                            2 => "Casado JL"
                            3 => "Collazos J"
                            4 => "Gonz&#225;lez J"
                            5 => "Ruiz I"
                            6 => "et al&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "AIDS"
                        "fecha" => "2002"
                        "volumen" => "16"
                        "paginaInicial" => "605"
                        "paginaFinal" => "13"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/11873004"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            3 => array:3 [
              "identificador" => "bib4"
              "etiqueta" => "4"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "The effects of antihypertensive therapy on the quality of life&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:7 [
                            0 => "Croog SH"
                            1 => "Levine S"
                            2 => "Testa MA"
                            3 => "Brown B"
                            4 => "Bulpitt CJ"
                            5 => "Jenkins CD"
                            6 => "et al&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:2 [
                      "doi" => "10.1056/NEJM198606263142602"
                      "Revista" => array:6 [
                        "tituloSerie" => "NEJM"
                        "fecha" => "1986"
                        "volumen" => "314"
                        "paginaInicial" => "1657"
                        "paginaFinal" => "64"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/3520318"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            4 => array:3 [
              "identificador" => "bib5"
              "etiqueta" => "5"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "The quality of physician-patient relationships&#46; Patients&#39; experiences 1996-1999&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:5 [
                            0 => "Murphy J"
                            1 => "Chang H"
                            2 => "Montgomery JE"
                            3 => "Rogers WH"
                            4 => "Safran DG&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "J Fam Parct"
                        "fecha" => "2001"
                        "volumen" => "50"
                        "paginaInicial" => "123"
                        "paginaFinal" => "9"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            5 => array:3 [
              "identificador" => "bib6"
              "etiqueta" => "6"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Using structural equation models to evaluate the magnitude of measurement error in blood pressure&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:3 [
                            0 => "Batista-Foguet JM"
                            1 => "Coenders G"
                            2 => "Art&#233;s M&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:2 [
                      "doi" => "10.1002/sim.836"
                      "Revista" => array:6 [
                        "tituloSerie" => "Statistics in Medicine"
                        "fecha" => "2001"
                        "volumen" => "20"
                        "paginaInicial" => "2351"
                        "paginaFinal" => "68"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/11468768"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            6 => array:3 [
              "identificador" => "bib7"
              "etiqueta" => "7"
              "referencia" => array:1 [
                0 => array:2 [
                  "referenciaCompleta" => "Translating questionnaires and other research instruments: problems and solutions. Thousand Oaks: SAGE, 2000."
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Translating questionnaires and other research instruments&#58; problems and solutions&#46; Thousand Oaks&#58; SAGE&#44; 2000&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:2 [
                            0 => "Behling O"
                            1 => "Law KS&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            7 => array:3 [
              "identificador" => "bib8"
              "etiqueta" => "8"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Cross-cultural adaptation of healthrelated quality of life measures&#58; literature review and proposed guidelines&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:3 [
                            0 => "Guillemin F"
                            1 => "Bombardier C"
                            2 => "Beaton D&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "J Clin Epidemiol"
                        "fecha" => "1993"
                        "volumen" => "46"
                        "paginaInicial" => "1417"
                        "paginaFinal" => "32"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/8263569"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            8 => array:3 [
              "identificador" => "bib9"
              "etiqueta" => "9"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Crosscultural adaptation of health measures&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:6 [
                            0 => "Hunt SM"
                            1 => "Alonso J"
                            2 => "Bucquet D"
                            3 => "Niero M"
                            4 => "Wiklund I"
                            5 => "McKenna S&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "Health Policy"
                        "fecha" => "1991"
                        "volumen" => "19"
                        "paginaInicial" => "33"
                        "paginaFinal" => "44"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/10117390"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            9 => array:3 [
              "identificador" => "bib10"
              "etiqueta" => "10"
              "referencia" => array:1 [
                0 => array:2 [
                  "referenciaCompleta" => "Thinking about answers: the application of cognitive processes to survey methodology. San Francisco: Jossey-Bass, 1996."
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Thinking about answers&#58; the application of cognitive processes to survey methodology&#46; San Francisco&#58; Jossey-Bass&#44; 1996&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Sudman S&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            10 => array:3 [
              "identificador" => "bib11"
              "etiqueta" => "11"
              "referencia" => array:1 [
                0 => array:2 [
                  "referenciaCompleta" => "Survey errors and survey costs. New York: John Wiley &#38; Sons, 1989."
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Survey errors and survey costs&#46; New York&#58; John Wiley &#38; Sons&#44; 1989&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Groves RM&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            11 => array:3 [
              "identificador" => "bib12"
              "etiqueta" => "12"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Assessing health status and quality-of-life instruments&#58; Attributes and review criteria&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Scientific Advisory Committee of the Medical Outcomes Trust&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "Qual Life Res"
                        "fecha" => "2002"
                        "volumen" => "11"
                        "paginaInicial" => "193"
                        "paginaFinal" => "205"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/12074258"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            12 => array:3 [
              "identificador" => "bib13"
              "etiqueta" => "13"
              "referencia" => array:1 [
                0 => array:2 [
                  "referenciaCompleta" => "Social Measurement. Thousand Oaks: SAGE, 2001."
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Social Measurement&#46; Thousand Oaks&#58; SAGE&#44; 2001&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:2 [
                            0 => "Campbell DT"
                            1 => "Russo MJ&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            13 => array:3 [
              "identificador" => "bib14"
              "etiqueta" => "14"
              "referencia" => array:1 [
                0 => array:2 [
                  "referenciaCompleta" => "Métodos estadísticos para evaluar la concordancia. Med Clin (Barc) 2003;121(supl. 2):28-34.."
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "M&#233;todos estad&#237;sticos para evaluar la concordancia&#46; Med Clin &#40;Barc&#41; 2003&#59;121&#40;supl&#46; 2&#41;&#58;28-34&#46;&#46;"
                      "idioma" => "es"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:2 [
                            0 => "Carrasco JL"
                            1 => "Jover L&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            14 => array:3 [
              "identificador" => "bib15"
              "etiqueta" => "15"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "General intelligence&#44; objectively determined and measured&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Spearman C&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "Am J of Psychol"
                        "fecha" => "1904"
                        "volumen" => "15"
                        "paginaInicial" => "201"
                        "paginaFinal" => "93"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            15 => array:3 [
              "identificador" => "bib16"
              "etiqueta" => "16"
              "referencia" => array:1 [
                0 => array:2 [
                  "referenciaCompleta" => "The essentials of mental measurement. Cambridge: Cambridge University Press, 1911."
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "The essentials of mental measurement&#46; Cambridge&#58; Cambridge University Press&#44; 1911&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Brown W&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            16 => array:3 [
              "identificador" => "bib17"
              "etiqueta" => "17"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "The tenth Maudsley Lecture&#58; The psychiatric use of methods and results of experimental psychology&#46; An investigation into the significance of perseveration&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Spearman C&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "Journal of Mental Sciences"
                        "fecha" => "1928"
                        "volumen" => "34"
                        "paginaInicial" => "653"
                        "paginaFinal" => "9"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            17 => array:3 [
              "identificador" => "bib18"
              "etiqueta" => "18"
              "referencia" => array:1 [
                0 => array:2 [
                  "referenciaCompleta" => "Structural equations with latent variables. New York: John Wiley &#38; Sons, 1989."
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Structural equations with latent variables&#46; New York&#58; John Wiley &#38; Sons&#44; 1989&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Bollen KA&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            18 => array:3 [
              "identificador" => "bib19"
              "etiqueta" => "19"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Introducci&#243;n a los modelos estructurales&#46; Utilizaci&#243;n del an&#225;lisis factorial confirmatorio para la depuraci&#243;n de un cuestionario&#46; En&#58; Renom J&#44; editor&#46; Tratamiento informatizado de datos&#46; Barcelona&#58; Masson"
                      "idioma" => "es"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:2 [
                            0 => "Batista-Foguet JM"
                            1 => "Coenders G&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Libro" => array:4 [
                        "titulo" => "Introducci&#243;n a los modelos estructurales&#46; Utilizaci&#243;n del an&#225;lisis factorial confirmatorio para la depuraci&#243;n de un cuestionario&#46; En&#58; Renom J&#44; editor&#46; Tratamiento informatizado de datos&#46; Barcelona&#58; Masson"
                        "fecha" => "1998"
                        "paginaInicial" => "229"
                        "paginaFinal" => "86"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            19 => array:3 [
              "identificador" => "bib20"
              "etiqueta" => "20"
              "referencia" => array:1 [
                0 => array:2 [
                  "referenciaCompleta" => "Psychometric theory. 2nd ed. New York: McGraw-Hill, 1978."
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Psychometric theory&#46; 2nd ed&#46; New York&#58; McGraw-Hill&#44; 1978&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Nunnally JC&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            20 => array:3 [
              "identificador" => "bib21"
              "etiqueta" => "21"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Statistical analysis of sets of congeneric tests&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "J&#246;reskog KG&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "Psychometrika"
                        "fecha" => "1971"
                        "volumen" => "36"
                        "paginaInicial" => "109"
                        "paginaFinal" => "33"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            21 => array:3 [
              "identificador" => "bib22"
              "etiqueta" => "22"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Coefficient alpha and the internal structure of the test&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Chronbach LJ&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "Psychometrika"
                        "fecha" => "1951"
                        "volumen" => "16"
                        "paginaInicial" => "297"
                        "paginaFinal" => "334"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            22 => array:3 [
              "identificador" => "bib23"
              "etiqueta" => "23"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Stability of three-wave simplex estimates of reliability&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:4 [
                            0 => "Coenders G"
                            1 => "Saris WE"
                            2 => "Batista-Foguet JM"
                            3 => "Andreenkova A&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "Structural Equation Modelling"
                        "fecha" => "1999"
                        "volumen" => "6"
                        "paginaInicial" => "135"
                        "paginaFinal" => "57"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            23 => array:3 [
              "identificador" => "bib24"
              "etiqueta" => "24"
              "referencia" => array:1 [
                0 => array:2 [
                  "referenciaCompleta" => "Summated rating scale construction. 1st ed. Thousand Oaks: Sage, 1992."
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Summated rating scale construction&#46; 1st ed&#46; Thousand Oaks&#58; Sage&#44; 1992&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Spector PE&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            24 => array:3 [
              "identificador" => "bib25"
              "etiqueta" => "25"
              "referencia" => array:1 [
                0 => array:2 [
                  "referenciaCompleta" => "Socio-economic indexes in surveys for comparisons between countries. An applied comparison using the family affluence scale. Social Indicators Research [en prensa]."
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Socio-economic indexes in surveys for comparisons between countries&#46; An applied comparison using the family affluence scale&#46; Social Indicators Research &#91;en prensa&#93;&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:4 [
                            0 => "Batista-Foguet JM"
                            1 => "Fortiana J"
                            2 => "Currie C"
                            3 => "Villalbi JR&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            25 => array:3 [
              "identificador" => "bib26"
              "etiqueta" => "26"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "What is coefficient alpha&#63; An examination of theory and applications&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Cortina JM&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "Journal of Applied Psychology"
                        "fecha" => "1993"
                        "volumen" => "78"
                        "paginaInicial" => "98"
                        "paginaFinal" => "104"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            26 => array:3 [
              "identificador" => "bib27"
              "etiqueta" => "27"
              "referencia" => array:1 [
                0 => array:2 [
                  "referenciaCompleta" => "Factor analysis as a statistical method. 1st ed.London: Butterworth, 1971."
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Factor analysis as a statistical method&#46; 1st ed&#46;London&#58; Butterworth&#44; 1971&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:2 [
                            0 => "Lawley DN"
                            1 => "Maxwell AE&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            27 => array:3 [
              "identificador" => "bib28"
              "etiqueta" => "28"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Evaluaci&#243;n del estr&#233;s laboral en trabajadores de un hospital p&#250;blico espa&#241;ol&#46; Estudio de las propiedades psicom&#233;tricas de la versi&#243;n espa&#241;ola del modelo &#171;desequilibrio esfuerzo-recompensa&#187;&#46;"
                      "idioma" => "es"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:6 [
                            0 => "Mac&#237;as Robles MD"
                            1 => "Fern&#225;ndez-L&#243;pez JA"
                            2 => "Hern&#225;ndez-Mej&#237;a R"
                            3 => "Cueto Espinar A"
                            4 => "Ranca&#241;o I"
                            5 => "Siegrist J&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "Med Clin"
                        "fecha" => "2003"
                        "volumen" => "120"
                        "paginaInicial" => "652"
                        "paginaFinal" => "7"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            28 => array:3 [
              "identificador" => "bib29"
              "etiqueta" => "29"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Prop&#243;sito del uso del an&#225;lisis factorial en la evaluaci&#243;n de la equivalencia transcultural de cuestionarios&#46;"
                      "idioma" => "es"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:2 [
                            0 => "Prieto L"
                            1 => "Alonso JA&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "Med Clin"
                        "fecha" => "1998"
                        "volumen" => "19"
                        "paginaInicial" => "717"
                        "paginaFinal" => "8"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            29 => array:3 [
              "identificador" => "bib30"
              "etiqueta" => "30"
              "referencia" => array:1 [
                0 => array:2 [
                  "referenciaCompleta" => "Análisis en componentes principales y modelo de análisis factorial. En: Sánchez Carrión, editor. Métodos de análisis multivariantes aplicados en ciencias sociales. Madrid: CIS-Siglo XXI, 1984."
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "An&#225;lisis en componentes principales y modelo de an&#225;lisis factorial&#46; En&#58; S&#225;nchez Carri&#243;n&#44; editor&#46; M&#233;todos de an&#225;lisis multivariantes aplicados en ciencias sociales&#46; Madrid&#58; CIS-Siglo XXI&#44; 1984&#46;"
                      "idioma" => "es"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Batista-Foguet JM&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            30 => array:3 [
              "identificador" => "bib31"
              "etiqueta" => "31"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Use of structural equation modeling to test the construct validity of the SF-36 Health Survey in ten countries&#58; results from the IQOLA project&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:7 [
                            0 => "Keller SD"
                            1 => "Ware JE"
                            2 => "Bentler PM"
                            3 => "Aaronson NK"
                            4 => "Alonso J"
                            5 => "Apolone G"
                            6 => "et al&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "J Clin Epidemiol"
                        "fecha" => "1998"
                        "volumen" => "51"
                        "paginaInicial" => "1179"
                        "paginaFinal" => "88"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/9817136"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            31 => array:3 [
              "identificador" => "bib32"
              "etiqueta" => "32"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Structural equation models in medical research&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:2 [
                            0 => "Bentler PM"
                            1 => "Stein JA&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "Statistical Methods in Medical Research"
                        "fecha" => "1992"
                        "volumen" => "1"
                        "paginaInicial" => "159"
                        "paginaFinal" => "81"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/1341656"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            32 => array:3 [
              "identificador" => "bib33"
              "etiqueta" => "33"
              "referencia" => array:1 [
                0 => array:2 [
                  "referenciaCompleta" => "Statistics in Psychiatry. London: Arnold, 2000."
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Statistics in Psychiatry&#46; London&#58; Arnold&#44; 2000&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:2 [
                            0 => "Dun&#46;n"
                            1 => "G&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            33 => array:3 [
              "identificador" => "bib34"
              "etiqueta" => "34"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "A general approach to confirmatory maximum likelihood factor analysis&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "J&#246;reskog KG&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "Psychometrika"
                        "fecha" => "1969"
                        "volumen" => "34"
                        "paginaInicial" => "183"
                        "paginaFinal" => "202"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            34 => array:3 [
              "identificador" => "bib35"
              "etiqueta" => "35"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Mehl PE&#46; Construct validity in psychological tests&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Chronbach LJ&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "Psychological Bulletin"
                        "fecha" => "1955"
                        "volumen" => "52"
                        "paginaInicial" => "281"
                        "paginaFinal" => "302"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/13245896"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            35 => array:3 [
              "identificador" => "bib36"
              "etiqueta" => "36"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "&#46; San Francisco&#58; Jossey-Bass"
                      "idioma" => "pt"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:2 [
                            0 => "Heise DR"
                            1 => "Bohrnstedt GW&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Libro" => array:4 [
                        "titulo" => "&#46; San Francisco&#58; Jossey-Bass"
                        "fecha" => "1970"
                        "paginaInicial" => "104"
                        "paginaFinal" => "29"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            36 => array:3 [
              "identificador" => "bib37"
              "etiqueta" => "37"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "The robustness of LISREL modeling revisited&#46; En&#58; Cudeck R&#44; Du Toit S&#44; S&#246;rbom D&#44; editors&#46; Structural equation modeling&#58; present and future&#46; A festschrift in honor of Karl J&#246;reskog&#46; Chicago&#58; Scientific Software International"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:2 [
                            0 => "Boomsma A"
                            1 => "Hoogland JJ&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Libro" => array:4 [
                        "titulo" => "The robustness of LISREL modeling revisited&#46; En&#58; Cudeck R&#44; Du Toit S&#44; S&#246;rbom D&#44; editors&#46; Structural equation modeling&#58; present and future&#46; A festschrift in honor of Karl J&#246;reskog&#46; Chicago&#58; Scientific Software International"
                        "fecha" => "2001"
                        "paginaInicial" => "139"
                        "paginaFinal" => "68"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            37 => array:3 [
              "identificador" => "bib38"
              "etiqueta" => "38"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "New developments in LISREL&#46; Analysis of ordinal variables using polychoric correlations and weighted least squares&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "J&#246;reskog KG&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:2 [
                      "doi" => "10.1016/j.ijfoodmicro.2015.02.001"
                      "Revista" => array:6 [
                        "tituloSerie" => "Quality &#38; Quantity"
                        "fecha" => "1990"
                        "volumen" => "24"
                        "paginaInicial" => "387"
                        "paginaFinal" => "404"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/25796062"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            38 => array:3 [
              "identificador" => "bib39"
              "etiqueta" => "39"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Alternative approaches to structural modelling of ordinal data&#46; A Monte Carlo study&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:3 [
                            0 => "Coenders G"
                            1 => "Satorra A"
                            2 => "Saris WE&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "Structural Equation Modelling"
                        "fecha" => "1997"
                        "volumen" => "4"
                        "paginaInicial" => "261"
                        "paginaFinal" => "82"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            39 => array:3 [
              "identificador" => "bib40"
              "etiqueta" => "40"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Scaling corrections for chi-square statistics in covariance structure analysis&#46; En&#58; Van Eye A&#44; Clogg CC&#44; editors&#46; Latent variable analysis&#46; Thousand Oaks&#58; SAGE"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:2 [
                            0 => "Satorra A"
                            1 => "Bentler PM&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Libro" => array:4 [
                        "titulo" => "Scaling corrections for chi-square statistics in covariance structure analysis&#46; En&#58; Van Eye A&#44; Clogg CC&#44; editors&#46; Latent variable analysis&#46; Thousand Oaks&#58; SAGE"
                        "fecha" => "1994"
                        "paginaInicial" => "399"
                        "paginaFinal" => "419"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            40 => array:3 [
              "identificador" => "bib41"
              "etiqueta" => "41"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Science and statistics&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Box GEP&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:4 [
                        "tituloSerie" => "Journal of the American Statistical Association"
                        "fecha" => "1976"
                        "paginaInicial" => "71791"
                        "paginaFinal" => "9"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            41 => array:3 [
              "identificador" => "bib42"
              "etiqueta" => "42"
              "referencia" => array:1 [
                0 => array:2 [
                  "referenciaCompleta" => "Modelos de ecuaciones estructurales. Modelos para el análisis de relaciones causales. 1.#a #ed. Madrid: La Muralla, 2000."
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Modelos de ecuaciones estructurales&#46; Modelos para el an&#225;lisis de relaciones causales&#46; 1&#46;&#35;a &#35;ed&#46; Madrid&#58; La Muralla&#44; 2000&#46;"
                      "idioma" => "es"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:2 [
                            0 => "Batista-Foguet JM"
                            1 => "Coenders G&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            42 => array:3 [
              "identificador" => "bib43"
              "etiqueta" => "43"
              "referencia" => array:1 [
                0 => array:2 [
                  "referenciaCompleta" => "Testing structural equation models. 1.#a# ed. Thousand Oaks: SAGE, 1993."
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Testing structural equation models&#46; 1&#46;&#35;a&#35; ed&#46; Thousand Oaks&#58; SAGE&#44; 1993&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:2 [
                            0 => "Bollen KA"
                            1 => "Long JS&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            43 => array:3 [
              "identificador" => "bib44"
              "etiqueta" => "44"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "An evaluation of incremental fit indices&#46; A clarification of mathematical and empirical properties&#46; En&#58; Marcoulides GA&#44; Schumacker RE&#44; editors&#46; Advanced structural equation modeling&#46; Issues and techniques&#46; Mahwah&#46; New Jersey&#58; Lawrence Erlbaum"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:3 [
                            0 => "Marsh HW"
                            1 => "Balla JR"
                            2 => "Hau KT&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Libro" => array:4 [
                        "titulo" => "An evaluation of incremental fit indices&#46; A clarification of mathematical and empirical properties&#46; En&#58; Marcoulides GA&#44; Schumacker RE&#44; editors&#46; Advanced structural equation modeling&#46; Issues and techniques&#46; Mahwah&#46; New Jersey&#58; Lawrence Erlbaum"
                        "fecha" => "1996"
                        "paginaInicial" => "315"
                        "paginaFinal" => "53"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            44 => array:3 [
              "identificador" => "bib45"
              "etiqueta" => "45"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "An&#225;lisis factorial confirmatorio y capitalizaci&#243;n del azar&#46; Una aplicaci&#243;n pr&#225;ctica&#46;"
                      "idioma" => "es"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Mu&#241;oz J&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:5 [
                        "tituloSerie" => "Papers ESADE"
                        "fecha" => "1999"
                        "volumen" => "14"
                        "paginaInicial" => "1"
                        "paginaFinal" => "33"
                      ]
                    ]
                  ]
                ]
              ]
            ]
            45 => array:3 [
              "identificador" => "bib46"
              "etiqueta" => "46"
              "referencia" => array:1 [
                0 => array:2 [
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Model modification in covariance structure analysis&#58; the problem of capitalization on chance&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:3 [
                            0 => "MacCallum RC"
                            1 => "Roznowski M"
                            2 => "Necowitz LB&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                  "host" => array:1 [
                    0 => array:1 [
                      "Revista" => array:6 [
                        "tituloSerie" => "Psychological Bulletin"
                        "fecha" => "1992"
                        "volumen" => "111"
                        "paginaInicial" => "490"
                        "paginaFinal" => "504"
                        "link" => array:1 [
                          0 => array:2 [
                            "url" => "https://www.ncbi.nlm.nih.gov/pubmed/16250105"
                            "web" => "Medline"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            46 => array:3 [
              "identificador" => "bib47"
              "etiqueta" => "47"
              "referencia" => array:1 [
                0 => array:2 [
                  "referenciaCompleta" => "Causal modelling in nonexperimental research. Amsterdam: Sociometric Research Foundation, 1984."
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Causal modelling in nonexperimental research&#46; Amsterdam&#58; Sociometric Research Foundation&#44; 1984&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:2 [
                            0 => "Saris WE"
                            1 => "Stronkhorst LH&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
            47 => array:3 [
              "identificador" => "bib48"
              "etiqueta" => "48"
              "referencia" => array:1 [
                0 => array:2 [
                  "referenciaCompleta" => "Statistical guidance for model modification in covariance structure analysis. Amsterdam: Sociometric Research Foundation, 1989."
                  "contribucion" => array:1 [
                    0 => array:3 [
                      "titulo" => "Statistical guidance for model modification in covariance structure analysis&#46; Amsterdam&#58; Sociometric Research Foundation&#44; 1989&#46;"
                      "idioma" => "en"
                      "autores" => array:1 [
                        0 => array:2 [
                          "etal" => false
                          "autores" => array:1 [
                            0 => "Luijben T&#46;"
                          ]
                        ]
                      ]
                    ]
                  ]
                ]
              ]
            ]
          ]
        ]
      ]
    ]
  ]
  "idiomaDefecto" => "es"
  "url" => "/00257753/00000122000000S1/v0_201307292058/13057542/v0_201307292059/es/main.assets"
  "Apartado" => array:4 [
    "identificador" => "16884"
    "tipo" => "SECCION"
    "es" => array:2 [
      "titulo" => "T&#233;cnicas emergentes"
      "idiomaDefecto" => true
    ]
    "idiomaDefecto" => "es"
  ]
  "PDF" => "https://static.elsevier.es/multimedia/00257753/00000122000000S1/v0_201307292058/13057542/v0_201307292059/es/2v122nSupl.1a13057542pdf001.pdf?idApp=UINPBA00004N&text.app=https://www.elsevier.es/"
  "EPUB" => "https://multimedia.elsevier.es/PublicationsMultimediaV1/item/epub/13057542?idApp=UINPBA00004N"
]

Información del artículo

ISSN: 00257753
Idioma original: Español

Datos actualizados diariamente

año/Mes	Html	Pdf	Total

2024 Noviembre	37	11	48
2024 Octubre	1006	104	1110
2024 Septiembre	718	125	843
2024 Agosto	598	95	693
2024 Julio	755	78	833
2024 Junio	771	153	924
2024 Mayo	843	132	975
2024 Abril	697	125	822
2024 Marzo	591	98	689
2024 Febrero	505	101	606
2024 Enero	865	136	1001
2023 Diciembre	707	140	847
2023 Noviembre	916	133	1049
2023 Octubre	930	165	1095
2023 Septiembre	583	106	689
2023 Agosto	502	88	590
2023 Julio	742	111	853
2023 Junio	802	144	946
2023 Mayo	813	143	956
2023 Abril	519	128	647
2023 Marzo	534	144	678
2023 Febrero	371	152	523
2023 Enero	355	125	480
2022 Diciembre	465	163	628
2022 Noviembre	794	160	954
2022 Octubre	680	135	815
2022 Septiembre	520	96	616
2022 Agosto	466	110	576
2022 Julio	617	127	744
2022 Junio	498	142	640
2022 Mayo	553	150	703
2022 Abril	383	137	520
2022 Marzo	436	130	566
2022 Febrero	236	94	330
2022 Enero	327	73	400
2021 Diciembre	311	107	418
2021 Noviembre	556	123	679
2021 Octubre	470	102	572
2021 Septiembre	666	77	743
2021 Agosto	535	63	598
2021 Julio	491	96	587
2021 Junio	329	67	396
2021 Mayo	355	69	424
2021 Abril	651	109	760
2021 Marzo	456	92	548
2021 Febrero	296	83	379
2021 Enero	240	75	315
2020 Diciembre	254	58	312
2020 Noviembre	268	43	311
2020 Octubre	100	31	131
2020 Agosto	1	2	3
2019 Octubre	5	0	5
2019 Marzo	1	2	3
2017 Noviembre	1	0	1
2017 Octubre	49	5	54
2017 Septiembre	68	13	81
2017 Agosto	63	10	73
2017 Julio	65	5	70
2017 Junio	119	29	148
2017 Mayo	141	27	168
2017 Abril	79	13	92
2017 Marzo	171	29	200
2017 Febrero	383	11	394
2017 Enero	156	6	162
2016 Diciembre	140	17	157
2016 Noviembre	194	13	207
2016 Octubre	226	18	244
2016 Septiembre	221	25	246
2016 Agosto	104	19	123
2016 Julio	72	6	78
2016 Junio	158	33	191
2016 Mayo	133	14	147
2016 Abril	132	38	170
2016 Marzo	101	19	120
2016 Febrero	76	17	93
2016 Enero	102	14	116
2015 Diciembre	119	18	137
2015 Noviembre	112	18	130
2015 Octubre	138	22	160
2015 Septiembre	117	21	138
2015 Agosto	111	17	128
2015 Julio	128	18	146
2015 Junio	96	17	113
2015 Mayo	118	16	134
2015 Abril	157	20	177
2015 Marzo	127	12	139
2015 Febrero	116	2	118
2015 Enero	77	4	81
2014 Diciembre	126	1	127
2014 Noviembre	93	6	99
2014 Octubre	120	4	124
2014 Septiembre	91	2	93
2014 Agosto	86	7	93
2014 Julio	99	7	106
2014 Junio	73	5	78
2014 Mayo	48	4	52
2014 Abril	48	4	52
2014 Marzo	61	4	65
2014 Febrero	53	3	56
2014 Enero	50	3	53
2013 Diciembre	55	2	57
2013 Noviembre	56	2	58
2013 Octubre	63	3	66
2013 Septiembre	36	2	38
2013 Agosto	39	4	43
2013 Julio	29	3	32
2004 Febrero	1923	0	1923

Mostrar todo

Indexada en:

Síguenos:

Suscribirse:

Estadísticas

Indexada en:

Síguenos:

Suscribirse:

Estadísticas

Suscríbase a la newsletter