la disponibilidad de instrumentos para la medición del ambiente de aprendizaje en las escuelas de Medicina en español es limitada. El Dundy ready environment Educational Measure (DREEM) es el único disponible. El objetivo de este estudio fue determinar la validez del constructo y consistencia interna del instrumento Johns Hopkins Learning Environment Scale (JHLES) en español.
Métodosel instrumento JHLES fue traducido al español siguiendo las recomendaciones del proyecto IQola. Posteriormente, fue aplicado en una cohorte de 364 estudiantes de Medicina de tercero a séptimo año durante el ciclo de formación clínica. Sobre las respuestas obtenidas se realizó un análisis factorial exploratorio. La retención de factores fue determinada por los criterios de valor propio, así como el criterio de los investigadores. Finalmente se realizó un análisis factorial confirmatorio para la evaluación de los criterios de ajuste del modelo a los datos obtenidos.
Resultadosuna vez realizada la validación de contenido en conjunto con el autor original del instrumento, el análisis factorial exploratorio permitió retener 7 factores con criterio de valor propio mayor a 1, congruentes con el criterio de interpretación de los autores. En el análisis factorial confirmatorio se demostró una adecuada bondad de ajuste del modelo a los datos obtenidos en la población. El alfa de Cronbach del JHLES fue 0,91.
Conclusionesel JHLES es un instrumento en el que se demuestra una adecuada validez de contenido y constructo en idioma español. Se requieren nuevos estudios sobre otros tipos de validez predictiva y concurrente, así como estudios comparativos sobre mediciones en diferentes países de habla hispana.
The availability of instruments for measuring the learning environment in Spanish-language medical schools is limited. The Dundy ready environment Educational Measure (DREEM) is the only one available. The aim of this study was to determine the construct validity and internal consistency of the Johns Hopkins Learning Environment Scale (JHLES) in Spanish.
MethodsThe JHLES instrument was translated into Spanish following the recommendations of the IQola project. Subsequently, it was administered to a cohort of 362 third to seventh-year medical students during the clinical training cycle. An exploratory factor analysis was conducted on the obtained responses. Factor retention was determined by eigenvalue criteria, as well as the researchers' criteria. Finally, a confirmatory factor analysis was conducted to assess the model's fit to the obtained data.
ResultsAfter content validation in collaboration with the original instrument's author, exploratory factor analysis allowed the retention of seven factors with eigenvalue criteria greater than 1, consistent with the authors' interpretation criteria. Confirmatory factor analysis demonstrated adequate model fit to the data in the population. The Cronbach's α for the JHLES was 0.91.
ConclusionsThe JHLES is an instrument that shows adequate content and construct validity in the Spanish language. Further studies are needed on other types of predictive and concurrent validity, as well as comparative studies on measurements in different Spanish-speaking countries.
La necesidad de evaluar los ambientes de aprendizaje en la educación médica ha aumentado en los últimos años. Esta evaluación es necesaria desde la percepción de los estudiantes de Medicina1,2. En este contexto, el desarrollo de escalas de medición confiables y replicables es indispensable para lograr objetivos educativos específicos, identificar factores que condicionen ambientes de aprendizaje no favorables, y para adelantar estrategias de intervención3–5. Estas estrategias deben realizarse de manera mancomunada entre todos los actores de los procesos educativos, profesores, supervisores e instituciones6,7.
El ambiente de aprendizaje en los estudiantes de Medicina se ha evaluado mediante instrumentos derivados de marcos teóricos del aprendizaje experiencial y a través de metodologías cualitativas y cuantitativas1,6,8–11, dentro de los que se destacan el MEEM (Medical Education Environment Measure), LEQ – 1970 (Learning Environment Questionnaire), STEEM - 2007 (Surgical theatre Educational Environment Measure) y el DREEM (Dundee Ready Educational Environment Measure). Este último es el más utilizado actualmente en medicina y otras áreas de la salud (enfermería, fisioterapia, bioingeniería).8,3 El DREEM fue desarrollado en el Reino Unido a finales de los años 90 por Roff et al.8. Este es el único instrumento disponible en lengua española y cuenta con estudios que han demostrado la utilidad de su medición12. Sin embargo, ha sido criticado por su pobre aplicabilidad en contextos transculturales y por la baja utilidad que ofrece para generalizar las dinámicas que confluyen en el ambiente1,13. Se han aplicado una variedad de métodos estadísticos paramétricos y no paramétricos para comparar diferentes grupos y poblaciones con puntajes ideales/esperados, pero su uso es inconsistente14. Esta falta de uniformidad dificulta la comparación entre instituciones. Igualmente, la extensión del DREEM (50 ítems) y la pobre claridad de algunos de sus ítems han cuestionado su aplicación15,16.
El Johns Hopkins Learning Environment Scale (JHLES) es un cuestionario diseñado en los Estados Unidos para corregir algunas de las debilidades del DREEM9,17. Especialmente, representa una alternativa para la evaluación de la percepción de los estudiantes de Medicina sobre su entorno y cómo se ven influenciados por este18. Particularmente, la medición de la percepción de ambientes de aprendizaje se ha basado en la identificación de agentes estresores. Sin embargo, las experiencias positivas parecen tener una mayor influencia en la percepción global del ambiente18,19, un punto central en el JHLES. En este sentido el JLHES agrupa las vivencias y factores que determinan la percepción sobre el ambiente de aprendizaje mediante 28 ítems tras un proceso de validación estructural20. No obstante, la validación externa del JHLES requiere evidencia empírica que reafirme su validez de constructo y forma, en otros contextos diferentes al norteamericano, así como en otros idiomas. Considerando la necesidad de evaluar objetivamente el ambiente de aprendizaje en los estudiantes de Medicina y teniendo en cuenta las limitaciones del DREEM, el objetivo del presente estudio es validar en constructo y forma al idioma español el cuestionario JHLES. Este estudio contribuye al desarrollo de herramientas para la medición de la calidad de la educación médica en idioma español.
Materiales y métodosProceso de validación del Johns Hopkins Learning Environment Scale al españolTraducción delJohns Hopkins Learning Environment Scaleal español y validación de contenido
Inicialmente invitamos a Robert Bruce Shochet, uno de los autores del JHLES original de 28 ítems para realizar la adaptación del cuestionario. Tradujimos los ítems del inglés al español siguiendo las recomendaciones del proyecto de Evaluación de calidad de vida internacional (IQOLA)21, que se aplicaron previamente para traducir la encuesta de salud SF-36 del inglés a otros idiomas22. Inicialmente, 2 investigadores nativos de habla hispana realizaron 2 traducciones directas independientes de inglés a español. Las traducciones se compararon y unificaron en una sola versión por Luis Carlos Dominguez, Jorge Alberto Restrepo y Sebastián Contreras. Una vez completados, 2 traductores bilingües certificados realizaron 2 traducciones independientes reversas del español al inglés y, posteriormente, un tercer traductor certificado unificó estas traducciones en una sola versión. Luego, Robert Bruce Shochet en conjunto con Sebastián Contreras, Luis Carlos Dominguez y Jorge Alberto Restrepo, compararon la traducción inversa resultante con la versión original. Para concluir, los investigadores principales organizaron un panel de discusión para aclarar cualquier discrepancia y generar el JHLES final en español. Por último, se seleccionó una muestra de la población por conveniencia no probabilística de 35 estudiantes pertenecientes al grupo a evaluar (estudiantes de 3o a 7o año de Medicina de la Universidad de La Sabana, Colombia) para evaluar la pertinencia, la claridad y la relevancia de los ítems. Esta evaluación fue realizada por vía electrónica.
Validación de constructo y confiabilidad del Johns Hopkins Learning Environment ScaleMétodos de recolección de información
El instrumento JLHES traducido al español fue aplicado en una cohorte por selección no probabilística de conveniencia de 364 estudiantes que se encuentran en formación clínica de la universidad de La Sabana, de 3o a 7o año de carrera, durante agosto-noviembre de 2018. La participación de los estudiantes fue voluntaria, confidencial y anónima. El cuestionario se evaluó mediante formato digital por medio de la plataforma (Google Forms). Se adjuntaron preguntas sociodemográficas de género, edad y rotación actual del estudiante, así como los 28 ítems del cuestionario.
Métodos estadísticos
Analizamos los datos con el software STATA 14 (STATA CORP). El paso inicial fue el cálculo de las estadísticas descriptivas para cada ítem (medias, desviaciones estándar, rangos). El segundo punto fue el análisis factorial exploratorio (AFE), tomando como base de la adecuación de la muestra la prueba de Kaiser-Meyer-Oslin (KMO), satisfactorio si es > 0,8 (0,98). En la extracción de factores se utilizó el método de máxima verosimilitud (MV), el cual nos permitió obtener los valores propios de cada factor (valores propios positivos si es mayor a 1), las cargas factoriales y la proporción de la variancia ocupada por cada uno de ellos, así mismo, la prueba de esfericidad de Barlett. Luego se realizó la retención de los factores a partir de los siguientes criterios: 1) Factor propio (>1,2) criterio de interpretación, mediante el cual se realizó un análisis lógico entre el grupo de autores sobre el sentido y coherencia de los ítems pertenecientes a cada factor11,12. El siguiente paso fue realizar una rotación oblicua (Varimax) sobre los factores retenidos. Esta rotación nos permitió la identificación de los constructos resultantes de la AFE para determinar si se encontraban relacionados apropiadamente con los datos empíricos obtenidos en el JHLES. Posteriormente se condujo el análisis factorial confirmatorio (AFC) para establecer la bondad de ajuste (goodness of fit) del modelo propuesto. Se calcularon los siguientes índices: los valores de referencia, la bondad de ajuste se determinó por SMRS <0,08 para un buen ajuste y <0,12 para un ajuste aceptable; RMSA <0,06 buen ajuste y <0,10 para un ajuste aceptable y el CFI >0,95 para un buen ajuste >0,90 para un ajuste aceptable. Por último, se realizó el cálculo de la confiabilidad del instrumento mediante el alfa de Cronbach satisfactorio si era >0,7.
ResultadosCaracterísticas demográficas de la población
En total se incluyeron 364 estudiantes con una media de edad de 21,6 años (DS = 1,75 Min 18 – Max 28), de los cuales un 69,15% correspondían a mujeres (n = 252, DS = 1,73 Min 18 – Max 28) y un 30,85% a hombres (n=112, DS = 1,79 Min 18 – Max 28). Como se muestra en la tabla 1.
Análisis factorial exploratorio
| Estadística descriptiva sociodemográfica | |||||
|---|---|---|---|---|---|
| n % | Media | DS | min | máx | |
| Edad Global | 364 | 21,63187 | 1.752.346 | 18 | 28 |
| Edad Mujeres (años) | 252 (69,15) | 21,56574 | 1.736.278 | 18 | 28 |
| Edad Hombres (años) | 112 (30,85) | 21,77679 | 1.794.435 | 18 | 26 |
| Año de carrera | |||||
| III | 147 (40,3) | ||||
| IV | 68 (18) | ||||
| V | 59 (16) | ||||
| VI | 60 (16) | ||||
| VII | 30 (8) | ||||
Análisis de información socio demográfica. Contreras et al. 2023.
Se realizó un AFE siguiendo las recomendaciones de la literatura actual sobre el cual se incluyeron 28 ítems de las 364 observaciones obtenidas. La prueba de Kaiser–Meyer indicó que los datos eran apropiados para un AFE con un valor de 0,92 (satisfactorio si >0,8). La prueba de esfericidad de Barlett a su vez fue estadísticamente significativo determinando una adecuada asociación interítem (x2 = 4,483; dF = 378, p = 0,00). En el análisis se mostró una extracción de 7 factores que presentaban un criterio de valor propio mayor a 1 (factor 1 = 9,51; factor 2 = 1,96; factor 3 = 1,80; factor 4 = 1,26; factor 5 = 1,14; factor 6 = 1,05; factor 7 = 1,01) confirmando la estructura de análisis planteada en el estudio original. Posteriormente realizó una rotación octogonal (Varimax), que mantuvo la retención del mismo número factores sobre los 28 ítems del modelo, demostrando una adecuada extracción de la variancia y la estructura del instrumento planteado, como se muestra en la tabla 2.
Análisis factorial confirmatorio
Análisis factorial exploratorio
| Factor | Varianza | Diferencia | Proporción |
|---|---|---|---|
| FACTOR 1 | 4,4826 | 1,1979 | 0,16 |
| FACTOR 2 | 3,2847 | 0,3188 | 0,11 |
| FACTOR 3 | 2,9658 | 0,9387 | 0,10 |
| FACTOR 4 | 2,0271 | 0,0806 | 0,07 |
| FACTOR 5 | 1,9465 | 0,0810 | 0,06 |
| FACTOR 6 | 1,8654 | 0,6729 | 0,06 |
| FACTOR 7 | 1,1924 | - | 0,04 |
Resultados análisis factorial exploratorio.
Fuente: Contreras et al. 2023.
Posterior a la realización del análisis confirmatorio, se calcularon los índices de bondad de ajuste sobre los datos obtenidos con el fin de confirmar la estructura factorial del instrumento. Los datos alcanzados fueron: SMRS obtenido de 0,12; RMSA obtenido de 0,087 y CFI obtenido de 0,78; los que permiten confirmar la estructura del instrumento sobre un ajuste aceptable de acuerdo con los valores de referencia tomados (tabla 2).
Análisis de confiabilidad
La confiabilidad del instrumento (coeficiente de Cronbach) fue 0,91; lo cual determina una excelente confiabilidad de la consistencia interna del instrumento. Permite delimitar que los factores asociados se encuentran relacionados con el mismo objetivo de medición y verifican la aplicabilidad global del instrumento en español, como se muestra en la tabla 3.
Resultados generales delJohns Hopkins Learning Environment Scale
Análisis factorial confirmatorio, alpha calculado por ítem
| Descripción de factores alpha | |||||
|---|---|---|---|---|---|
| Alpha | MEAN | SD | MIN | MAX | |
| Global | 0,91 | 3.944.038 | 0,6508481 | 2 | 5 |
| FACTOR 1 | 0,82 | 3.944.038 | 0,6508481 | 2 | 5 |
| FACTOR 2 | 0,86 | 3.492.555 | 0,7886109 | 1 | 5 |
| FACTOR 3 | 0,81 | 3.375.687 | 0,7377789 | 1,2 | 5 |
| FACTOR 4 | 0,70 | 3.358.984 | 0,7507123 | 1 | 5 |
| FACTOR 5 | 0,76 | 3.127.747 | 0,9725003 | 1 | 5 |
| FACTOR 6 | 0,61 | 3.089.808 | 0,867545 | 1 | 5 |
| FACTOR 7 | 0,53 | 3.946.429 | 0,8318809 | 1 | 5 |
Resultados análisis factorial confirmatorio alpha por ítem. Contreras et al. 2023.
Los 28 ítems del JHLES se gradúan en una escala de Likert, los cuales tienen un resultado potencial entre 28 y 140, los puntajes más elevados indican una mejor percepción del ambiente de aprendizaje. El resultado obtenido sobre nuestra población tuvo una media de 99, con un máximo en 140 y un mínimo en 51 expresado en la figura 1.
Discusión
El JHLES es una herramienta útil para la medición de ambientes de aprendizaje; su menor extensión y enfoque a las experiencias positivas de los estudiantes ha generado resultados prometedores de validación en contextos transculturales desde su descripción inicial20,23. Al día de hoy, su validación se ha logrado en su idioma original y en portugués24. Los datos obtenidos en el análisis de validación permiten determinar que el instrumento es válido en su aplicabilidad al idioma español. Con los resultados del AFE y AFC se demostró que conserva una distribución factorial adecuada similar a la del estudio original. Así mismo se demostró una adecuada bondad de ajuste y un índice de confiabilidad del instrumento bueno para la medición de ambientes de aprendizaje.
El presente estudio es el primero de validar el JHLES al idioma español, valida su uso en el constructo y forma para la población hispanohablante, permite tener una segunda herramienta en español para la medición de los ambientes de aprendizaje. Esto se da en el contexto de una creciente necesidad de medición por parte de las instituciones con el fin de ser más competitivas y aportar datos a los procesos de mejoramiento continuo que permitan progresar en el bienestar de sus estudiantes, se suma a la validación en portugués y las distintas validaciones en idioma original que han permitido su utilización en contextos transculturales de Norte América, América Latina y Asia23,24.
La validación del JHLES al español es una nueva herramienta para aplicar en América Latina. Una región que por su cercanía cultural comparte características y procesos de educación. Su disponibilidad e implementación permite aumentar la información disponible en la región sobre los ambientes de aprendizaje, donde existen estudios aislados de medición y correlación con elementos externos25. Pero que aún es pobre actualmente en la integración de estas temáticas como temas centrales en la discusión académica. El presente estudio presenta limitaciones en su validación concurrente y prospectiva, que limita la aplicabilidad del instrumento a modelos de predicción. Dando una oportunidad de investigación futura en estos campos.
El uso del JHLES en idioma español permite sentar las bases de una medición más amplia en nuestro contexto. Un aumento en la medición de estos ambientes permite la identificación de agentes estresores y de impacto negativo, permite la generación de intervenciones oportunas y eficaces para la mejoría de estos agentes estresores y como resultado una mejoría de la percepción por parte de todos los actores implicados. A la luz de la literatura actual, el mejorar los ambientes educativos impacta en el éxito educativo de los estudiantes, aumenta la sensación de pertenencia a las instituciones, permite el desarrollo de vínculos dentro de los estudiantes y se han relacionado con el éxito en la vida laboral y desarrollo profesional26,27.
El JHLES es un instrumento nuevo que ha demostrado ser adecuado en la medición de ambientes de aprendizaje para estudiantes de Medicina. Sus características en extensión y enfoque han sido resaltadas en las aplicaciones transculturales realizadas a la actualidad. Su validación al español permite aumentar la oferta de herramientas en este idioma. Mayores estudios en relación a la reproducibilidad del instrumento sobre la población hispanohablante, así como la factibilidad sostenida en el tiempo, son necesarios para ampliar la base teórica que sustente su uso de manera general en idioma español. Un aumento en las herramientas de medición va de la mano de un desarrollo general del concepto en la región y permite que se sensibilice su uso para una medición efectiva permitiendo una mejoría en los procesos educativos, genera estándares de medición y permite la comparación entre grupos. Estudios a futuro son necesarios para ampliar su aplicabilidad, pero los datos obtenidos en el presente estudio permiten un uso racional en idioma español y dan bases a la investigación futura.
Responsabilidades éticasDado que este estudio se realiza de manera voluntaria a través de la plataforma Google Forms y se ha explicado detalladamente el propósito del mismo, además de asegurar el anonimato de los participantes, no se requiere consentimiento informado formal. Los participantes están tomando una decisión informada al participar en el estudio, así mismo se les explicó de manera clara los objetivos del estudio. A su vez, el estudio fue aprobado por el comité de ética de la Universidad de La Sabana dando aval de acuerdo a los estatutos y lineamientos de la universidad.
FinanciaciónNinguna.
Conflicto de interesesLos autores declaran no tener conflictos de intereses.
