Un instrumento de medición desarrollado para un grupo cultural determinado no puede ser simplemente empleado en un grupo diferente, y es necesario realizar una serie de tareas que garanticen adecuadas propiedades psicométricas para la nueva aplicación del instrumento. En la literatura se proponen tres diferentes niveles de adaptación de un test: aplicación, adaptación y ensamble. La Comisión internacional de los tests estableció una serie de recomendaciones con el objetivo de minimizar las vías de error en los procesos de adaptación de instrumentos. En este marco, este estudio tiene como objetivo ofrecer una descripción de los diferentes procesos de adaptación seguidos para llegar a instrumentos que midan las expectativas hacia el alcohol, ofreciendo cada una de las experiencias como estudios independientes. A partir de los resultados obtenidos, se puede observar cómo un mayor nivel de complejidad en el tipo de adaptación realizada, y por lo tanto en el control de sesgos, se refleja en mejoras en cuanto a la adecuación psicométrica de los instrumentos. Todos los ejemplos presentados permiten destacar la importancia de considerar los aspectos sociales y culturales particulares del grupo donde se pretende aplicar un instrumento de medición.
Introducción
Dentro del campo del uso y abuso de alcohol una de las líneas de investigación que está centrando el interés es el de las expectativas hacia el alcohol. Las expectativas hacia el alcohol se refieren a las creencias acerca de los efectos que el alcohol produce sobre el comportamiento, el estado de ánimo y las emociones. La percepción de contingencia entre un comportamiento dado y ciertos resultados conduce al almacenamiento de tales asociaciones en la memoria, en la forma de expectativas del tipo "si...entonces" entre el comportamiento y los resultados, que influyen tiempo después, en la decisión de consumir o no alcohol1. Estudios realizados con niños, adolescentes y jóvenes muestran claramente cómo las expectativas positivas se relacionan con la decisión que lleva a una persona a iniciar y mantener la conducta de beber2¿7, mientras que las expectativas negativas parecen ser más importantes en la decisión que lleva a una persona a evitar o retrasar el consumo, o bien a detener la ingesta una vez iniciada la misma8,9.
A partir de la importancia de las expectativas en la comprensión de la conducta de consumo de alcohol, uno de los puntos centrales radica en la obtención de instrumentos válidos y fiables para su correcta medición. Dos de los instrumentos más empleados en la literatura para valorar los efectos anticipados del alcohol en adolescentes, jóvenes y adultos fueron desarrollados en Estados Unidos10, al igual que muchos de los instrumentos de medición de variables psicológicas11. Estos dos instrumentos son el Cuestionario de expectativas hacia el alcohol (AEQ en sus siglas en inglés), en su versión para adultos12 y para adolescentes13 y el Cuestionario de los efectos globales del alcohol (CEOA, en sus siglas en inglés)14. Tanto el AEQ como el CEOA cuentan con adaptaciones al español que han sido empleadas en México15, Colombia16 y Perú17, aunque no en la población argentina.
Un instrumento de medición desarrollado para un grupo cultural determinado no puede ser simplemente empleado en un grupo diferente, y es necesario realizar una serie de tareas que garanticen adecuadas propiedades psicométricas para la nueva aplicación del instrumento y para evitar, o al menos disminuir, la aparición de errores por el uso indebido de los tests. Efectivamente, antes de utilizar un instrumento con un grupo diferente al de origen, se debe realizar una adaptación meticulosa considerando las diferencias de lenguaje y culturales entre ambos grupos18. Así, la correcta adaptación de un test o instrumento de medición posibilita la obtención de mediciones válidas y confiables en cada una de las culturas donde se aplican los instrumentos.
En la literatura se proponen tres niveles diferentes de adaptación de un test: aplicación, adaptación y ensamble19. Específicamente, la aplicación se refiere al procedimiento de aplicar el instrumento después de realizar una traducción literal de los ítems, adaptación que implica un grado de transformación del instrumento, donde se quitan y/o añaden ítems, y finalmente el ensamble donde las modificaciones son tan profundas que dan lugar a un nuevo instrumento.
Debido a algunos vacíos en la literatura específica acerca de cómo traducir y adaptar un test, desde 1996, la Comisión internacional de los tests estableció una serie de recomendaciones con el objetivo de minimizar las vías de error en los procesos de adaptación de instrumentos18¿21. Así, se identifican tres fuentes principales de sesgos: de constructo, metodológicos y del ítem, y se señala además, cómo ciertas decisiones equivocadas en cualquiera de las cuatro dimensiones implicadas en la construcción de un test, contexto, construcción y adaptación, aplicación e interpretación de los resultados, puede llevar a la aparición de errores al adaptar un test de una cultura a otra18.
Teniendo presente lo anterior, este estudio tiene como objetivo ofrecer una descripción de diferentes procesos de adaptación seguidos para llegar a instrumentos que midan las expectativas hacia el alcohol, ofreciendo cada una de las experiencias como estudios independientes.
Estudio 1. Ejemplo del nivel de aplicación del AEQ
En función del nivel de cambios entre el instrumento original y su versión adaptada, aplicar el instrumento después de su traducción literal es la opción que menos cambios introduce entre ambas versiones. Un ejemplo cercano a este tipo de procedimiento se encuentra en el primer estudio psicométrico destinado a la medición de las expectativas hacia el alcohol realizado por este equipo22. En este estudio se describe la aplicación de la versión del AEQ adaptada al español por un grupo de investigadores de México15 a una muestra de estudiantes de la ciudad de Córdoba (Argentina).
Método
El instrumento en español está formado por 50 ítems agrupados en cinco dimensiones que se corresponden con un formato dicotómico. En primera instancia, se llevó adelante un estudio piloto con la finalidad de obtener información acerca del nivel de comprensión de la consigna y de los ítems y una aproximación de los tiempos de administración, buscando de esta manera evitar errores originados por instrucciones ambiguas o por falta de familiaridad con los estímulos19¿20. Para esto, se pidió a los participantes que indicaran el nivel de comprensión de la consigna y de cada uno de los ítems y que señalaran aquellos términos o expresiones que no fueran habituales en su lenguaje cotidiano. Como resultado de este procedimiento, y siguiendo una de las recomendaciones para disminuir el sesgo de constructo23, se reemplazaron algunas palabras identificadas como poco comunes en el lenguaje local, aunque se mantuvo el mismo número y contenido de los ítems. Específicamente, se reemplazaron las siguientes palabras: copas fue reemplazada por bebidas, platicar por conversar y platicador por conversador.
Posteriormente, se analizó la equivalencia de constructo entre la versión de los autores de México y la versión local mediante técnicas estadísticas24. Para esto se aplicó el instrumento a una muestra de 327 estudiantes (79% mujeres) del último año del nivel medio y de dos carreras universitarias: Psicología y Ciencias Políticas con edades entre 16 y 54 años (M = 21 años). Para disminuir sesgos del instrumento originados por determinados estilos de respuesta20, se aplicó una escala de deseabilidad social. Mediante este procedimiento se detectaron y eliminaron cuatro casos con puntajes extremos que sugerían una tendencia a responder en base a modelos socialmente aceptables.
Resultados
Los análisis de la confiabilidad mediante el procedimiento de consistencia interna mostraron un adecuado nivel para la prueba global (α = 0,91) y para cuatro escalas (desde α = 0,72 hasta α = 0,77), mientras que el resto de las escalas tuvieron índices no aceptables de confiabilidad (menores a α = 0,60).
En relación a la estructura factorial, se aplicó un análisis factorial exploratorio, ajustando la solución a cinco factores, de acuerdo a las cinco dimensiones de la versión adaptada al español15. De manera similar que en el estudio de referencia, se encontró una estructura de cinco factores que explicaron cerca del 35% de la varianza15. No obstante, el quinto factor quedó conformado sólo por dos ítems, número insuficiente para conformar una escala25, mientras que un único factor estuvo compuesto por 28 ítems, agrupando ítems correspondientes a tres escalas. Específicamente, los ítems de los factores expresividad verbal, interacción grupal y desinhibición se agruparon en el primer factor, en lo que podría considerarse una dimensión referida a los efectos del alcohol a nivel social. En síntesis, aunque se observó una consistencia interna global elevada, la baja confiabilidad de algunas escalas, la presencia de un factor principal que concentró más de la mitad de los ítems, y el hecho de que algunos ítems se agruparon en escalas diferentes a las propuestas por el modelo de referencia15, indicaban la falta de adecuación psicométrica del instrumento, especialmente en relación a la validez de constructo.
Conclusiones
A través de este ejemplo es posible identificar no sólo una de las principales ventajas de esta opción de adaptación, esto es, su simpleza, sino también cómo el método de aplicar la versión literal de un instrumento deja importantes aspectos del constructo a medir inexplorados19. Ciertamente, mediante el empleo de este procedimiento se asume la ausencia de sesgos metodológicos y sesgos de constructo. Esto es, se entiende que la cobertura teórica de la variable psicológica que se pretende medir y el formato del instrumento tal como fueron desarrollados para el grupo de origen, se corresponden con el grupo donde se pretende utilizar la prueba19. Sin embargo, los resultados observados sugieren que, aún cuando se tomaron algunas medidas para disminuir la amenaza de diferentes fuentes de sesgos, la falta de consideración de puntos relevantes del proceso de adaptación, seguramente influyó en la falta de adecuación psicométrica de la versión local del AEQ. En este sentido, aún cuando la lengua del instrumento original y la del instrumento aplicado sea la misma, es necesario llevar adelante una serie de pasos que consideren el cambio cultural de un contexto al otro26.
Estudio 2. Un ejemplo del nivel de adaptación aplicado al CEOA
Teniendo presentes los resultados del estudio anterior, se decidió realizar la adaptación del CEOA14 partiendo de su versión original en inglés27. En la literatura se mencionan dos formas de realizar la traducción de un instrumento. Una manera corresponde a la traducción inversa, donde un instrumento es traducido de la lengua de origen a la lengua destino y luego, de manera independiente, nuevamente a la lengua de origen. Posteriormente, se comparan ambas versiones en la lengua original para establecer el nivel de precisión alcanzado20,23. Otra modalidad se refiere a la formación de un comité, integrado por un grupo de personas con diferentes niveles de conocimiento respecto a aspectos culturales, psicológicos y lingüísticos, encargado de obtener una versión traducida lo más estrechamente relacionada con la original20,23. Esta aproximación intenta que la traducción capte también el sentido cultural y psicológico de las palabras, esto es, realizar una traducción funcional28. Para esto, se señala la importancia de que los traductores no sólo tengan dominio de ambas lenguas sino que además, estén familiarizados con aspectos culturales de la sociedad de origen y de destino del instrumento21,23,24.
Método
Se contactó con cuatro personas nacidas en Argentina pero radicadas en Estados Unidos por más de tres años para que actuaran como traductores expertos. A dos de los expertos se les envió la versión original del instrumento y se les pidió que realizaran una traducción directa al español, obteniendo así dos versiones independientes de los ítems del CEOA en español. Luego, se compararon ambas versiones entre los miembros del equipo de trabajo y se obtuvo una versión consensuada de cada uno de los ítems del instrumento.
Posteriormente, se envió esta versión en español a los otros dos expertos con la consigna de realizar una traducción inversa. Esto es, que traduzcan los ítems del español al inglés. Estas versiones fueron comparadas y contrastadas con la versión original en inglés y luego sometidas a discusión hasta obtener una versión consensuada de cada uno de los ítems.
A continuación, se llevó adelante un estudio piloto con una muestra de 15 adolescentes. Siguiendo un procedimiento similar al anteriormente señalado, se realizó una serie de entrevistas cognitivas individuales para obtener información acerca del nivel de comprensión de cada uno de los ítems. No se encontraron ítems que fueran identificados como confusos o poco frecuentes en el lenguaje cotidiano de los adolescentes. Como ya se ha mencionado, una vez realizada la traducción de los ítems es necesario obtener evidencia estadística acerca de las características psicométricas de la nueva forma del instrumento. Entonces, se aplicó esta versión en español a una muestra de 213 adolescentes (48% varones) de entre 14 y 20 años (M = 16,24) asistentes a cuatro colegios públicos de nivel medio.
Resultados
El análisis de las propiedades psicométricas mostró un buen nivel de consistencia interna global de la prueba (α = 0,80), aunque a nivel individual, sólo tres escalas mostraron valores aceptables de confiabilidad (desde α = 0,66 hasta α = 0,77), mientras que el resto presentó índices no aceptables de consistencia interna (desde α = 0,45 hasta α = 0,60). Siguiendo los procedimientos de Weirs et al.29 se agruparon las expectativas en función de su valencia (positiva y negativa) y se volvió a calcular el coeficiente alfa para todos los ítems correspondientes a las expectativas positivas y para las expectativas negativas, encontrándose adecuados valores de confiabilidad (α = 0,79 para cada grupo).
En relación a las evidencias de validez, se analizó la estructura interna mediante un análisis factorial exploratorio, ajustando la solución a 7 factores (de acuerdo a los 7 factores de la versión original en inglés). Estos siete factores explicaron el 46% de la varianza total del modelo, aunque se observó que los ítems no se agrupaban del mismo modo que en el modelo de referencia14. Posteriormente, y en base a los resultados obtenidos al analizar la confiabilidad, se realizó un análisis factorial ajustando el modelo a dos factores: uno por las expectativas positivas y otro por las expectativas negativas. Se encontró que, en general, los ítems se agruparon en dos factores, dejando por un lado las expectativas positivas y otro por las expectativas negativas. Sin embargo, cinco ítems cargaron en el factor correspondiente al de expectativas positivas, cuando en la estructura original formaban parte del grupo de expectativas negativas.
Conclusiones
Los resultados encontrados en este segundo trabajo pusieron en evidencia, una vez más, que el proceso de adaptación de un test es mucho más que traducir un instrumento de una lengua a otra. Este punto es particularmente relevante con variables relacionadas con el uso de alcohol, donde existen marcadas diferencias entre los diferentes grupos socio¿culturales, no sólo en la modalidad de consumo de alcohol sino también en el papel que el alcohol mantiene dentro de cada sociedad16,30. De esta manera, la falta de correspondencia entre las adaptaciones y las estructuras originalmente propuestas puede deberse a la marcada influencia de aspectos sociales y culturales sobre la variable consumo de alcohol16,30 y a la imposibilidad de la adaptación de dar cuenta de las diferencias entre los grupos. Específicamente, una posible causa de estos resultados podría ser la inadecuada representación de los comportamientos asociados al constructo en el grupo destino20.
Estudio 3. Un ejemplo del nivel de ensamble para el diseño de un test para medir las expectativas hacia el consumo de alcohol
Teniendo como referencia los estudios anteriores, se optó por realizar un tercer estudio31 incluyendo ajustes y cambios sustanciales en los ítems, utilizando un procedimiento de adaptación denominado ensamble. Concretamente, y como se ha mencionado, una de las fuentes principales de sesgo de constructo se refiere a la falta de pertinencia de las conductas asociadas a la variable que se pretende medir19,20. Para superar este obstáculo, y siguiendo las recomendaciones de la literatura, se realizó una encuesta local con preguntas abiertas. Específicamente, con este estudio se buscó obtener información acerca de los efectos que los adolescentes del medio local anticipaban sobre el consumo de alcohol, intentando capturar de manera más precisa el contenido de las dimensiones del constructo. Para ello, este estudio se dividió en tres partes: a) estudio orientado a la delimitación de los contenidos y redacción de los ítems; b) análisis de la estructura de la versión preliminar; y, c) confirmación de los resultados preliminares.
Delimitación de los contenidos y redacción de ítems
En este estudio participaron 212 adolescentes (66% mujeres) con edades entre 13 y 17 años (M = 14,89), asistentes a escuelas privadas y públicas de nivel medio de las ciudades de Esperanza (provincia de Santa Fe) y de Córdoba (provincia de Córdoba). Los participantes completaron un cuestionario abierto sobre expectativas hacia el alcohol formado por la siguiente pregunta estímulo: ¿Cómo te sentís ocomportás después de tomar bebidas con alcohol? 31. A través de esta tarea se obtuvo un conjunto de 164 palabras.
Posteriormente, y de acuerdo a una de las recomendaciones de la guía de adaptación de instrumentos para evitar sesgos del ítem, se formó un grupo de tres jueces expertos28 en el área de construcción de pruebas y/o del uso y abuso de alcohol para realizar la evaluación semántica y el análisis de la concordancia de las frases obtenidas. Concretamente, cada juez recibió la definición conceptual de las variables de interés y los sistemas de categorización correspondientes a dos modelos teóricos: el de Fromme et al.14 y Dunn y Goldman32. Siguiendo un procedimiento similar al sugerido por Jeanrie y Bertrand28, a cada juez se le pidió que ubicara cada frase en una de las dimensiones ofrecidas por cada uno de los dos modelos de categorización y que realizara una evaluación de la calidad de cada frase, considerando aspectos como corrección sintáctica, claridad semántica y la adecuación para la población a la que estaba dirigido el instrumento. Para disminuir sesgos del ítem se volvieron a redactar algunos ítems para evitar reactivos multidimensionales, y con el objetivo de reducir el número de ítems, se agruparon aquellos de significado similar. Se obtuvo un cuestionario de 70 ítems distribuidos en siete escalas que fue aplicado a una nueva muestra (diferente a la anterior) para valorar sus propiedades psicométricas.
Análisis de la estructura de la versión preliminar
Participaron 275 adolescentes (55% mujeres) con edades entre 13 y 18 años (M = 15,18) asistentes a escuelas privadas y públicas de nivel medio de las ciudades de Esperanza y de Córdoba. Para analizar la estructura interna de los cuestionarios se realizó un análisis factorial exploratorio empleando el método de componentes principales, de acuerdo con los procedimientos utilizados en el modelo de referencia14, finalmente adoptado por presentar mayor acuerdo entre los jueces. Se analizaron las saturaciones factoriales de los ítems, y sólo se retuvieron los ítems que, entre otros criterios, mantuvieran correspondencia con la clasificación realizada por los jueces. Siguiendo estos criterios, todos los ítems pertenecientes a la escala coraje con sentimientos de seguridad quedaron eliminados, ya que presentaron un comportamiento irregular al cargar en diferentes factores sin presentar una agrupación clara entre ellos. De esta manera se obtuvo un modelo de seis factores que explicaron el 52% de la varianza y presentaban correspondencia con el modelo teórico de referencia. El análisis de consistencia interna mostró que el cuestionario global (a = 0,92) y cinco escalas presentaron muy buenos valores de fiabilidad (desde α = 0,85 hasta α = 0,89), mientras que una única escala presentó valores moderados pero adecuados de fiabilidad (α = 0,72).
Confirmación de los resultados preliminares
Finalmente, se realizó un estudio33 en el que se aplicó un análisis factorial confirmatorio para obtener una valoración más estricta acerca de las características psicométricas del CEA¿A. Específicamente, se realizaron dos análisis confirmatorios, uno para las expectativas positivas y otro para las expectativas negativas para corroborar estadísticamente la pertenencia de cada ítem a las dimensiones halladas en el análisis factorial exploratorio (que plantea tres escalas de EA positivas y tres escalas de EA negativas). Para evaluar el ajuste del modelo se emplearon múltiples indicadores34. En este estudio participaron 343 adolescentes (56% mujeres) con edades entre 13 y 18 años (M = 15) asistentes a tres colegios públicos de nivel medio de la ciudad de Córdoba. Los resultados indicaron que el modelo de los tres factores relacionados, correspondientes a las escalas de expectativas hacia el alcohol positivas y, el modelo de tres factores relacionados correspondientes a las escalas de expectativas hacia el alcohol negativas presentaban adecuado ajuste y adecuados valores de consistencia interna en todas las escalas: deterioro (α = 0,87), estados negativos (α = 0,88), riesgo y agresividad (α = 0,91), sociabilidad (α = 0,90), sexualidad(α = 0,84) y relajación (α = 0,75). Sumado a esto, se realizó un análisis de regresión múltiple para valorar la capacidad del instrumento para predecir el consumo de alcohol de los participantes, aspecto relacionado con la validez predictiva del instrumento. Los resultados encontrados mostraron que esta versión adaptada del CEA¿A predice de manera significativa la frecuencia y la cantidad de consumo de alcohol, aportando así mayor evidencia acerca de la validez de esta nueva versión local para medir las expectativas hacia el alcohol. Estos resultados indican que esta versión final del CEA¿A, lograda a través de la opción de adaptación denominada ensamble, presenta propiedades psicométricas adecuadas en relación a la validez de constructo, validez predictiva y confiabilidad.
Discusión
En el presente trabajo se presentaron diferentes ejemplos correspondientes a estudios empíricos realizados en el medio local que muestran distintas modalidades de adaptación de instrumentos destinados a medir las expectativas hacia el alcohol. A partir de los resultados obtenidos en cada uno de los estudios realizados, se puede observar cómo un mayor nivel de complejidad en el tipo de adaptación realizada, y por lo tanto en el control de sesgos, se refleja en mejoras en cuanto a la adecuación psicométrica de los instrumentos. Específicamente, tanto la aplicación de una versión adaptada al español para ser utilizada con estudiantes universitarios de México22 como la adaptación de un instrumento construido en Estados Unidos para ser utilizado con adolescentes27, no presentaron resultados satisfactorios, especialmente en relación a la validez de constructo.
Al respecto, era esperable cierta heterogeneidad en los resultados en función de los supuestos teóricos subyacentes al concepto de expectativas hacia el alcohol. Puntualmente, las expectativas hacia el alcohol, entendidas como asociaciones almacenadas en la memoria acerca de la relación entre un objeto (alcohol) y sus consecuencias (efectos del consumo), no presentan límites claros respecto a su pertenencia a una dimensión en lugar de otra sino que, por el contrario, las categorías son difusas1. Esto se debe a que, a diferencia de otros constructos psicológicos, en el estudio de las EA el objetivo no radica tanto en la obtención de un conjunto de clases puras e independientes, sino más bien en lograr una medida que dé cuenta de la información almacenada en la memoria sobre los efectos del consumo de alcohol. Ciertamente, no es fácil imaginar la anticipación de un efecto puro del alcohol, ya que casi cualquier situación de consumo implica la ocurrencia simultánea de efectos conductuales y farmacológicos. En este contexto, el modelo factorial que se ajusta a este solapamiento de los ítems es aquel en donde los factores se encuentran relacionados entre sí pero, al mismo tiempo, poseen elementos distintivos que permiten distinguirlos unos de otros1.
Más allá de este grado de solapamiento esperado, la falta de evidencia empírica acerca de las dimensiones propuestas por los distintos modelos teóricos, parecía indicar que algunos aspectos relevantes no estaban siendo considerados. Puntualmente, las adaptaciones realizadas no parecían reflejar variaciones entre una cultura y otra en relación a los efectos anticipados del consumo de alcohol16,17. Si las expectativas están determinadas, al menos en parte, por factores culturales y sociales, la imposibilidad de replicar las estructuras factoriales podría estar asociada a una inadecuación del contenido de los ítems para representar cada una de las dimensiones20,23. De esta manera, se realizó un ensamble donde el ajuste y la modificación de los ítems son tan profundos que se obtiene un nuevo instrumento. Así, la tarea de registrar los efectos que los adolescentes locales anticipan como consecuencia del consumo de alcohol tenía comofinalidad construir una herramienta que refleje con mayor realidad el contenido de las expectativas hacia el alcohol de los adolescentes argentinos.
En síntesis, todos los ejemplos presentados permiten destacar la importancia de considerar los aspectos sociales y culturales particulares del grupo donde se pretende aplicar un instrumento de medición. Al respecto, en la literatura se recomienda atender en primer lugar a la posible variación transcultural de la operacionalización del constructo psicológico que se quiere medir19,20,23 para lograr que la equivalencia en el contenido de los ítems sea funcional y no literal28. Ciertamente, el proceso de adaptación implica la consideración cuidadosa de las características sociales y culturales del contexto donde se aplicará el instrumento26,35 para lograr capturar el exacto significado de algunas palabras que presentan diferencias muy sutiles entre diferentes culturas35.
Financiación
El presente trabajo ha sido financiado con dos becas de postgrado (Beca Interna Tipo I y Beca Interna Tipo II) otorgadas a la autora por el CONICET, así como por subsidios de investigación y desarrollo otorgados por SECyt¿UNC, FONCYT y MINCYT al Dr. Juan Carlos Godoy (director de las becas).
Conflicto de intereses
Los autores declaran que no tienen ningún conflicto de intereses.
Recibido el 4 de junio de 2012; aceptado el 21 de junio de 2012
* Autor para correspondencia.
Correo electrónico: angepilatti@gmail.com (A. Pilatti)