El Alcohol, Smoking and Substance Involvement Screening Test (ASSIST) se emplea como herramienta de cribado en la detección de consumidores de drogas que necesitan una intervención breve. Este test podría ser empleado en dispositivos de atención temprana. El test fue traducido al español por el mismo equipo que desarrolló la versión inglesa original, pero carece de los necesarios estudios de validez en la versión española.
Objetivo. El objetivo de esta investigación es estimar la fiabilidad del test así como conocer su estructura latente, como forma de obtener evidencias de validez del test para el uso propuesto.
Método. La muestra se compone de 1176 personas que consumen cocaína y que completaron la versión on line del test. La fiabilidad fue estimada mediante el procedimiento alfa de Cronbach. Se aplicó un análisis factorial exploratorio y otro confirmatorio para analizar la estructura factorial del ASSIST.
Resultados: El test ha mostrado una alta fiabilidad y una bondad de ajuste adecuada a una estructura unidimensional, proporcionando evidencia de validez del uso de la suma de los ítems para la interpretación de puntuaciones propuesta.
Conclusiones: Los resultados obtenidos en este test avalan la utilización de este instrumento con este tipo de muestra, desde el punto de vista de la fiabilidad y la estructura factorial. No obstante, es necesario realizar nuevos estudios que aporten evidencias de validez basadas en la relación con otras variables, para determinar su utilidad como instrumento de screening.
The Alcohol, Smoking and Substance Involvement Screening Test (ASSIST) is used as a screening tool for detecting drug consumers people who need a short intervention. This test's use could be suitable at primary care facilities. The test was translated into Spanish by the team that developed its English original version, but it lacks of the necessary validity assessment studies.
Objectives. The aim of this study is to estimate the reliability of the test as well as to assess its latent structure, as a way to provide validity evidence for the proposed score interpretations. Method. The sample is composed of 1176 people using cocaine who completed the on¿line version of the test. All the participants were volunteers and response the test for their own use. Reliability was estimated by Cronbach's alpha procedure. An exploratory and confirmatory factor analysis was applied to analyze the factorial structure of ASSIST
Results. The scale has shown a high reliability and an adequate goodness of fit to a unidimensional structure, providing so validity evidences for using the sum of the items for the proposed score interpretations.
Conclusions: Results supports use of this test for this sample, in terms of reliability and factor structure. However, further studies are required to provide evidence of validity based on relationships with other variables, to determine its usefulness as a screening tool.
Introducción
El consumo de drogas es considerado por la Organización Mundial de la Salud (OMS) como uno de los principales problemas de salud en los países desarrollados. La OMS estima en su último informe que en 2009, entre el 3,3 y el 6,1% de la población mundial con edad comprendida entre los 15¿64 años había consumido alguna droga ilícita durante el año previo1.
Gran parte de los consumidores de drogas no llegan a desarrollar dependencia ni problemas relacionados con el consumo de las mismas. Sin embargo, los indicadores de consumo problemático de drogas ponen de manifiesto que, a pesar de ello, el alcance de estas drogas afecta a buena parte de los consumidores, con graves consecuencias para la salud física y mental, la familia y el entorno social. En términos generales, el contacto de estas personas consumidoras de drogas con los servicios de atención especializados se demora en el tiempo hasta la aparición de dichos problemas2¿4. Ante esta situación, instituciones como la OMS proponen desarrollar intervenciones breves, cuyo objetivo es identificar a personas con problemas actuales o potenciales relacionados con el consumo de drogas, y motivarles para que cambien su comportamiento en relación al consumo5. No está orientada hacia personas con serios problemas relacionados con la dependencia de sustancias, de ahí que la intervención se desarrolle habitualmente en los dispositivos de atención primaria.
Una de las escalas desarrolladas para el cribado de estas personas consumidoras de drogas susceptibles de recibir las intervenciones breves es el Alcohol, Smoking and Substance Involvement Screening Test (ASSIST). Dicha escala fue desarrollada por la OMS y su objetivo es servir como instrumento de cribado, fundamentalmente en los contextos de atención primaria, donde el consumo perjudicial de drogas suele pasar desapercibido6. El ASSIST fue originariamente diseñado para su aplicación en diversas culturas6. Este instrumento ha sido traducido al español por el equipo que lo diseñó, si bien no se han encontrado estudios que aporten evidencias de validez de las puntuaciones del mismo.
La validez debe ser, según los estándares de la AERA, la APA y el NCME7 la consideración fundamental en el desarrollo y evaluación de los tests. Se entiende por validez el grado en que la evidencia y la teoría mantienen la interpretación de las puntuaciones de los tests encaminada al uso específico para el que han sido diseñados. De esta manera, la validez no es una propiedad intrínseca del test, sino una propiedad circunstancial de la interpretación que realizamos de las puntuaciones obtenidas con el mismo. Por lo tanto, la validez comienza con una clara definición del propósito para el que se crea el test. Además de ello, hay varias fuentes por las que se obtienen evidencias de validez, como el análisis de la estructura interna de la herramienta y la relación entre las puntuaciones del test y otras variables8.
Existen dos técnicas que permiten el análisis de las estructuras latentes de una serie de puntuaciones: el Análisis Factorial Exploratorio (AFE) y el Análisis Factorial Confirmatorio (AFC). El AFE es una técnica de análisis que parte sin una idea previa del número de dimensiones latentes presentes en la estructura interna de una serie de puntuaciones9. Es una técnica ampliamente extendida, en parte debido a su implementación en software general de análisis de datos, si bien el modelo cuenta con numerosas debilidades y se encuentran bastantes interpretaciones tendentes a error10¿12. Entre ellas destacan especialmente que la selección del número de dimensiones que representan adecuadamente a los datos no se basa en un criterio estadístico, por una parte; que tiende a malinterpretarse la relación entre los ítems y los factores en caso de que ésta sea baja, por otra, y finalmente que mantiene asunciones estadísticas poco realistas. Por su parte, el AFC11,13 cuenta con una hipótesis previa del número de dimensiones que representa fielmente a la estructura latente de los datos, así como una clara estipulación e interpretación de la relación entre cada variable observada y cada dimensión latente. Aún más, cuenta con una prueba estadística de la bondad de ajuste entre la estructura propuesta y los datos obtenidos como evidencia empírica. Por lo tanto, esta herramienta suple alguna de las limitaciones del AFE a la hora de obtener evidencia empírica sobre la estructura interna de un test.
La presente investigación se plantea con el objetivo de obtener evidencia empírica que avale la interpretación de las puntuaciones del ASSIST como herramienta de cribado, analizando la estructura de la escala. Para ello se plantea como objetivo conocer la fiabilidad de las puntuaciones de la misma, así como conocer su estructura interna.
Método
Participantes
El presente estudio se ha realizado teniendo como objetivo población consumidora de cocaína, que fue captada fuera de un contexto terapéutico. Para la obtención de la muestra se diseñó una página web vinculada a Energy Control, en la que se dispuso un cuestionario que contenía, entre otros, la escala ASSIST. El estudio fue realizado entre los meses de mayo de 2010 y mayo de 2011. En este tiempo se produjeron un total de 3.694 visitas a la web. El número de registros válidos fue de 1.568 (el 42% del total de visitas). De entre éstos, el 75% (n = 1.176) fueron consumidores habituales de cocaína que la realizaron para sí mismos, mientras que el resto de las visitas fueron realizadas "para otras personas" (12%) o profesionales interesados en conocer el recurso (13%). Es sobre este 75% de los participantes sobre quienes se han realizado los análisis que se presentan en este estudio.
Instrumento
Se diseñó un cuestionario auto¿aplicado on line (Cocacheck) que incluía el test ASSIST y otras variables no tratadas en el presente trabajo.
El test ASSIST consta de diferentes ítems que evalúan, en los tres meses anteriores a la realización del cuestionario, la frecuencia de consumo de cocaína; la frecuencia con la que se experimentan fuertes deseos de consumirla; la frecuencia con la que se experimentan problemas de salud, sociales, legales o económicos; la frecuencia con la que el consumo de cocaína ha llevado a dejar de hacer lo que se esperaba de uno mismo; la frecuencia con la que un amigo, un familiar o alguien más ha mostrado preocupación por el consumo de cocaína alguna vez; y si se ha hecho algún intento por controlar, reducir o abandonar el consumo sin haberlo logrado.
A cada respuesta le corresponde una puntuación que, al sumarlas, permiten establecer la categoría de riesgo: bajo (0¿3), moderado (4¿26) o alto (27 o más puntos)6,14.
Procedimiento
La intervención Cocacheck fue implementada a través de una página web. Ésta fue difundida a través de las diferentes acciones vía Internet del programa EnergyControl de la Asociación Bienestar y Desarrollo. Se trata de un programa de reducción de daños y riesgos asociados al consumo recreativo de drogas cuyas intervenciones incluyen acciones de proximidad (outreach work) en los espacios de ocio y fuera de ellos. Para la difusión de la web Cocacheck se creó un banner y se realizó un video promocional para ser difundido a través de las redes sociales. Finalmente, también se editaron materiales impresos de difusión que se distribuyeron en espacios de ocio nocturno, especialmente de Cataluña, Madrid, Islas Baleares y Andalucía.
Antes de iniciar el cuestionario, de carácter anónimo, se realizaba una presentación que describía la intervención. Se instaba a la persona a contestar con sinceridad a cada una de las preguntas y se pedía el consentimiento informado para continuar.
A continuación, el usuario comenzaba la cumplimentación del cuestionario. Con objeto de poder aislar a los consumidores de cocaína de otros potenciales usuarios, el cuestionario comenzaba con una pregunta de cribado: "Estoy haciendo el Cocacheck... (a) para mí mismo/a; (b) pensando en otra persona; (c) soy un profesional".
El cuestionario fue programado para evitar valores perdidos. Una vez completadas todas las respuestas, se presentaba un informe en pantalla en el que se ofrecía un feedback personalizado a partir de las respuestas de la persona. Dicho informe podía descargarse en formato pdf.
Análisis de datos
La fiabilidad del instrumento se ha estimado como consistencia interna mediante el coeficiente alfa de Cronbach. Posteriormente, la muestra se dividió aleatoriamente en dos mitades mediante un muestreo estratificado con afijación proporcional, teniendo en cuenta como estratos el sexo de los sujetos y la edad (esta última mediante una codificación en tres categorías: de 16 a 25 años, de 26 a 35 años y más de 35 años). La primera de las dos mitades (equivalentes en cuanto a sexo y edad) fue empleada para realizar un AFE con el que detectar la estructura latente de la escala, mientras que con la segunda se puso a prueba la estructura resultante del análisis anterior mediante un AFC, a modo de comprobación.
El AFE se realizó con el método de máxima verosimilitud, decidiendo el número de factores a retener mediante un análisis paralelo de la matriz de datos15,16. Dicho análisis consiste en analizar los autovalores resultantes de llevar a cabo un análisis de componentes principales a una réplica de la matriz de datos generada aleatoriamente, repitiendo dicho proceso 50 veces. El promedio de cada uno de los autovalores obtenidos, así como el límite superior del intervalo de confianza al 95% de cada uno, es proyectado en una gráfica conjuntamente con los autovalores de la matriz de datos observados. Todo autovalor observado mayor que el límite superior del intervalo de confianza al 95% del autovalor paralelo aleatorio será considerado como no esperable por azar, por lo que dicho factor será retenido.
El AFC se realizó con el procedimiento de estimación de máxima verosimilitud. Se analizó la normalidad multivariada con el coeficiente de Mardia17. Para comprobar el ajuste global del modelo se analizaron diversos índices18. En primer lugar, se tuvo en cuenta la prueba de bondad de ajuste deχ2 aunque en muestras grandes resulta liberal13. Otros índices que se han tenido en cuenta para evaluar el ajuste global han sido el Índice de bondad de ajuste (Goodness of Fit Index o GFI) y el Índice corregido de bondad de ajuste (Adjusted Goodness of Fit Index o AGFI) así como los índices comparativos19 Índice de ajuste normado (Normed¿Fit¿Index, NFI), Índice de ajuste no normado (Non¿Normed¿Fit¿Index, NNFI), Índice comparativo de ajuste (Comparative¿Fit¿Index20, CFI) y el Índice de ajuste incremental (Incremental¿Fit¿Index17, IFI). Valores iguales o superiores a 0,90 de dichos índices se interpretarán como propios de un ajuste adecuado. También se interpretará el valor Estandarizado de la Raíz Media Cuadrática de los Residuos (Standardized Root MeanSquare Residual13, SRMR) considerando un ajuste adecuado si su valor es inferior a 0,05 y el valor Raíz Media Cuadrática del Error de Aproximación (Root MeanSquare Error of Approximation21,22 RMSEA), considerando indicador de un ajuste adecuado todo valor igual o inferior a 0,0823. Para comprobar si era necesaria la liberación de alguna restricción se empleó el test de los multiplicadores de Lagrange (LM¿test24) procediendo a liberar los que resultasen estadísticamente significativos (p < 0,01) hasta alcanzar un ajuste adecuado para conocer cuáles podrían ser los motivos por los que no se alcanzase un mejor ajuste.
La estimación de la fiabilidad, el AFE (así como el análisis paralelo) y las pruebas de contrastes bivariados se realizaron con el programa SPSS 15.025 y el AFC con el programa EAS 6.026.
Resultados
Estimación de la fiabilidad
El coeficiente alfa de Cronbach obtuvo un valor de 0,779 para los seis elementos de la escala. Todos los valores de alfa en caso de eliminar un ítem resultaban menores de 0,779, contando cada ítem con una correlación positiva y estadísticamente significativa (p < 0,05) con el total corregido de la escala, siendo la menor de ellas (ítem 6) de 0,395 y la mayor (ítem 3) de 0,621. Dados estos resultados, se está en condiciones de afirmar que los ítems muestran discriminación, y la consistencia interna del ASSIST es adecuada (tabla 1).
Evidencias de validez basadas en la estructura interna: estructura factorial
Inicialmente, en cuanto al AFE, se empleó con el objetivo de conocer el número de factores que podrían ser extraídos. Se analizó la prueba de Bartlett, que resultó estadísticamente significativa (χ2 (1, N = 576) = 822,561, p = 0,000) por lo que nada se opone a considerar pertinente la extracción factorial. El método de extracción de factores empleados fue el de máxima verosimilitud, obteniéndose las saturaciones de cada ítem (todas son superiores a 0,40 y positivas) que se muestran en la tabla 2.
En relación a la estructura factorial, en la figura 1 puede verse la gráfica con los autovalores observados, así como el promedio y el límite superior del intervalo de confianza de los autovalores paralelos. Se observa que sólo el primer factor cuenta con un autovalor mayor que lo esperable por azar, por lo que se propondrá una estructura unidimensional (por lo que el único factor no puede ser rotado). El primer factor cuenta con un autovalor de 2,834, explicando un 47,4% de la varianza.
Figura 1. Proyección de los autovalores observados y el promedio y límite superior del intervalo de confianza de los autovalores paralelos.
A partir de los resultados anteriores, se planteó el AFC de una estructura unidimensional, mediante el procedimiento de estimación de máxima verosimilitud. Se liberaron los valores de saturación de los ítems, fijando en 1 el valor de la varianza del único factor. El coeficiente de Mardia obtuvo un valor de 12,033, menor que p · (p+2) (siendo p el número de ítems) por lo que nada se opone a considerar que se da normalidad multivariada27. Los valores de los distintos indicadores de bondad de ajuste del modelo se muestran en la tabla 3.
Puede apreciarse que diversos indicadores cuentan con valores que permiten afirmar que el modelo es adecuado (GFI, AGFI, NFI, CFI, IFI y SRMR) aunque otros indican que el ajuste es pobre (prueba de χ2, NNFI y RMSEA). Se analizaron, por lo tanto, los multiplicadores de Lagrange, siendo el mayor el de la covarianza entre errores del ítem 3 y el ítem 4 (χ2 (1, N= 576) = 52,274, p = 0,0000) por lo que se pasó a liberar dicho parámetro para comprobar si se daba una mejoría en el ajuste. El resultado de los indicadores de ajuste de dicho modelo puede verse en la tabla 2. Tras este paso, sólo la prueba de χ2 (que resulta liberal en tamaños de muestras grandes) muestra un ajuste pobre (χ2 (8, N= 576) = 32,069, p = 0,0001). Por lo tanto, se puede considerar que tras la inclusión del parámetro de covarianza entre los errores del ítem 3 y el ítem 4 (con valor estimado de 0,193, p < 0,05) el modelo presenta un ajuste adecuado a los datos. Los valores de los coeficientes de regresión de los ítems se muestran en la tabla 3.
Discusión
El presente estudio ha tenido como objetivo mostrar las propiedades psicométricas del test ASSIST cuando es aplicado a una muestra de consumidores de cocaína de España. En este sentido, se ha ofrecido un análisis de las propiedades de los ítems y la fiabilidad, así como se han aportado evidencias de validez basada en la estructura interna. Si bien este instrumento se ha aplicado en diferentes culturas14, hasta la fecha, éste es uno de los primeros estudios psicométricos realizados con este test en población de España.
El análisis de la fiabilidad se ha realizado bajo la perspectiva de la Teoría clásica de los tests (TCT), y más concretamente, se ha aplicado el procedimiento de consistencia interna, calculando el coeficiente alfa de Cronbach. Este coeficiente informa sobre la relación que existe entre los diferentes ítems que componen el test, de tal forma que cuando la relación entre los mismos es elevada, se está ante valores adecuados de fiabilidad28. No obstante, el coeficiente alfa de Cronbach también está influido por otras fuentes de variación como es el número de ítems y la variabilidad de las personas.
Como se ha visto, en términos generales, el ASSIST ha mostrado adecuada fiabilidad sobre esta muestra de consumidores de cocaína, y también sus ítems han mostrado adecuados índices de discriminación. Así pues, desde la perspectiva de la TCT, el ASSIST reúne una adecuada fiabilidad al aplicarlo sobre esta muestra.
En relación a la aportación de evidencias de validez, el presente estudio se ha centrado en la estructura interna del ASSIST. Hasta la fecha no se han encontrado estudios con evidencias en esta dirección, y los autores no han hecho explícita la estructura dimensional de la escala. No obstante, la propuesta de una puntuación total sumativa de los ítems que la componen hace presumir que los autores establecen que la estructura del ASSIST es unidimensional. Esto es, se supone que todos los ítems tienden a medir lo mismo, por lo que están determinados por un factor común, y de ahí se extrae una puntuación total sumativa de todos los ítems.
Esta situación ha guiado la forma de proceder del presente artículo, estableciendo una primera etapa de exploración (AFE) y decisión del número de factores descartando los que pueden ser explicados por azar (análisis paralelo). Posteriormente, se ha procedido a una etapa de confirmación de la estructura hallada (AFC) en lo que pueden considerarse dos muestras independientes (es decir, dos submuestras seleccionadas al azar por un procedimiento de muestreo aleatorio estratificado con afijación proporcional según las combinaciones de sexo y edad de los participantes).
Como se ha visto, los resultados han mostrado que la mayoría de los índices de ajuste son adecuados para una estructura unidimensional. Este resultado debe ser interpretado en la dirección de que la puntuación total obtenida, tal y como plantean los autores, está empíricamente apoyada, al menos en esta versión española y con la muestra de consumidores de cocaína.
No obstante, cuando se han utilizado los índices de ajuste sensibles al tamaño de la muestra (χ2 y NNFI) se ha detectado que el ítem 3 (En los últimos 3 meses, ¿con qué frecuencia te ha llevado tu consumo de cocaína a tener problemas de salud, sociales, legales o económicos?) y el ítem 4 (En los últimos 3 meses, ¿con qué frecuencia dejaste de hacer lo que se esperaba de ti habitualmente por el consumo de cocaína?) presentan una covarianza de error estadísticamente significativa. A partir de la redacción de los ítems se desprende que una hipótesis que explicaría la covarianza de error es la posible carencia de independencia local entre los ítems, lo que invalida el modelo. Si bien tal caso debería ser confirmado con análisis posteriores, esta posible carencia de independencia local podría estar afectando, de manera especial, a los puntos de corte del ASSIST establecidos por los autores.
Finalmente, cabe decir que este estudio se ha centrado en estimar la fiabilidad y aportar evidencias de validez basada en la estructura interna del ASSIST sobre una muestra de consumidores de cocaína. Estudios posteriores deberán continuar con el proceso de aportar evidencias de validez basada en la relación con otras variables (estudios convergentes y discriminantes) y sobre otras muestras de consumidores de drogas.
Conflicto de intereses
Los autores declaran que no tienen ningún conflicto de intereses.
Recibido el 11 de junio de 2012; aceptado el 21 de junio de 2012
* Autor para correspondencia.
Correo electrónico: pedro.perez@dpsi.uhu.es (P. Pérez Moreno)