Propiedades psicométricas del Dundee Ready Education Environment Measure en la Odontología

Resumen

Introducción

La evaluación del ambiente educacional ayuda a una institución a evaluar si el proceso de aprendizaje está siendo efectivo de acuerdo con los objetivos o necesita ser mejorada. El Dundee Ready Education Environment Measure es uno de los instrumentos más utilizados para valorar el ambiente educacional. El presente estudio tuvo como objetivo evaluar las propiedades psicométricas (fiabilidad y validez de constructo) del Dundee Ready Education Environment Measure.

Materiales y métodos

Se encuestó a 276 estudiantes. La evaluación de la confiabilidad se realizó a través del análisis de consistencia interna, la valoración de los ítems se llevó a cabo a través del análisis de correlación producto-momento de Pearson y la validez de constructo, a través del análisis factorial exploratorio.

Resultados

Los 50 ítems evidenciaron una buena fiabilidad, con un valor alfa de Cronbach de 0,898; 2 subescalas evidenciaron unos valores bajos de confiabilidad: autopercepción social y autopercepción académica, con valores de 0,362 y 0,687, respectivamente. Cinco ítems fueron eliminados (r < 0,3) y los restantes no sustentaron la estructura de 5 factores del instrumento original.

Conclusión

La versión en español utilizada para el presente estudio evidenció ser confiable, pero la validez de constructo no se evidenció acorde a los 5 factores originales, por lo que se considera que las propiedades psicométricas del cuestionario son variables acorde a las muestras y las condiciones del estudio.

Abstract

Introduction

Assessment of the educational environment helps an institution evaluate whether the learning process is being effective in accordance with the objectives or needs to be improved. The Dundee Ready Education Environment Measure is one of the most frequent tools for assessing the educational environment. The present study aimed to evaluate the psychometric properties (reliability and construct validity) of the Dundee Ready Education Environment Measure.

Materials and methods

Two hundred and seventy-six students were surveyed. The reliability assessment was performed through the internal consistency analysis; the item valuation was performed through Pearson's product-moment correlation analysis and the construct validity through exploratory factor analysis.

Results

The 50 items showed good reliability with a Cronbach alpha value of 0.898; 2 subscales showed low values of reliability: social self-perception and academic self-perception with values of 0.362 and 0.687 respectively. Five items were eliminated (r < 0.3) and the remaining items did not support the 5-factor structure of the original instrument.

Conclusion

The Spanish version used for the present study proved to be reliable but the construct validity was not evidenced according to the 5 original factors, so the psychometric properties of the questionnaire are considered to be variable according to the samples and study conditions.

Introducción

Es muy aceptado entre los educadores médicos que los efectos del ambiente educacional (tanto en lo académico como en lo clínico) son determinantes importantes para las actitudes, los conocimientos, las habilidades, la progresión y el comportamiento de los estudiantes^1,2. El análisis del ambiente educacional es reconocido incluso como uno de los indicadores de evaluación de los programas de educación médica principalmente para lograr los estándares de calidad³.

De las distintas herramientas para la evaluación del ambiente educacional, el cuestionario Dundee Ready Education Environment Measure (DREEM) fue desarrollado por Roff et al.⁴ y es uno de los principales instrumentos utilizados en el campo de la Medicina, la Odontología, la Enfermería, la Obstetricia y profesiones relacionadas con las Ciencias de la Salud. El DREEM ha sido utilizado para: identificar las debilidades y fortalezas de un currículo^5–7, comparar las expectativas de los estudiantes con las actuales experiencias para identificar puntos que requieran un mejoramiento⁷, comparar el ambiente de aprendizaje en diferentes lugares y etapas de entrenamiento^8,9, así como comparar el ambiente entre instituciones internacionales¹⁰.

El DREEM es indudablemente una útil herramienta para la evaluación del ambiente educacional en la educación médica, pero existe un inadecuado enfoque y mantenimiento de sus propiedades psicométricas. La mayoría de los estudios concuerdan que posee una buena confiabilidad con valores de consistencia interna aceptables (alfa de Cronbach mayores de 0,7)^11,12; sin embargo, algunos autores indican que su validez de constructo es cuestionable y que requiere de revisión y una mejor comprensión^13–15. El uso del DREEM entre diferentes países hace que sea pertinente la evaluación de sus propiedades psicométricas, puesto que las variaciones de validez y confiabilidad pueden afectar el significado de las comparaciones. En la presente investigación se evaluaron las propiedades de validez de constructo y fiabilidad del DREEM en una muestra de estudiantes de la Facultad de Odontología de la Universidad Nacional Mayor de San Marcos, en Lima (Perú).

Materiales y método

Se diseñó un estudio transversal, retrospectivo y descriptivo del tipo validación de instrumentos de medición, donde participaron 276 estudiantes en el pregrado de Odontología (estudiantes del primer, segundo, tercer, cuarto y quinto año). El promedio de edad de los participantes fue de 21,2 ± 4,09 años; el 62% perteneció al género masculino y el 38% al femenino. El 22% fueron estudiantes que cursaban el primer año, el 16% el segundo año, el 12% el tercer año, el 30% el cuarto año y el 20% el quinto año del pregrado.

Los estudiantes debieron ser alumnos regulares, matriculados en el periodo 2017-I. Se excluyó a los estudiantes con matrícula irregular por ser estudiantes que no se mantienen en constante actividad en la facultad; también se excluyó a los estudiantes del sexto año (internado hospitalario) por realizar sus actividades académicas fuera del claustro universitario.

El estudio se realizó entre los meses de junio-julio del 2017. Los datos fueron recogidos durante las actividades académicas de los distintos años de estudio. El instrumento utilizado fue el DREEM, cuestionario que ha sido utilizado en distintas escuelas de Medicina y Odontología^16–19. Para la presente investigación se utilizó la versión en español traducida por el estudio de Aguilar-Barojas et al.²⁰.

El cuestionario DREEM utilizado contó con 50 preguntas, que se relacionaron con la percepción del aprendizaje (12 preguntas, puntaje máximo de 48), la percepción de los docentes (11 preguntas, puntaje máximo de 44), la autopercepción académica (8 preguntas, puntaje máximo de 32), la percepción de la atmósfera (12 preguntas, puntaje máximo de 48) y autopercepción social (7 preguntas, puntaje máximo de 28). Las preguntas fueron evaluadas con una escala tipo Likert de 0 a 4, donde 0 fue «completamente en desacuerdo» y 4 «completamente de acuerdo». Esta codificación se invierte en los ítems 4, 8, 9, 17, 25, 35, 39, 48 y 50. El puntaje máximo posible del cuestionario es de 200, indicador de un buen ambiente educativo¹⁰.

Todos los estudiantes participaron voluntariamente y estuvieron de acuerdo en participar y firmar el consentimiento informado. Se respetaron los criterios bioéticos de los participantes relacionados con la confidencialidad, el respeto, la libertad y la no maleficencia. El rellenado del cuestionario demoró entre 10-15 min. El trabajo de recogida de datos fue realizado por 2 investigadores (YCR y LHA) previamente entrenados en el uso del cuestionario.

Se realizó un análisis descriptivo a través de medias, desviaciones estándar y frecuencias para describir la muestra de estudio. Se evaluaron las propiedades psicométricas básicas, que incluyeron confiabilidad y validez. La confiabilidad del instrumento se valoró a través del análisis de consistencia interna (alfa de Cronbach), tomando en consideración que el instrumento es confiable si el valor es mayor de 0,7²¹. También se evaluó la corrección y la correlación ítem-total, así como el valor del alfa de Cronbach si el ítem fuera eliminado. Se calculó el alfa de Cronbach total (para cada ítem) y por cada subescala (para cada dimensión); para este análisis se consideró que los valores entre 0,7 y 0,9 demostraron una aceptable confiabilidad; valores menores evidenciaron una alta heterogeneidad y valores mayores de 0,9 indicaron similitud (redundancia de ítems)¹³.

La validez de cada ítem fue evaluada a través de la correlación producto-momento de Pearson. Un ítem fue declarado válido si la correlación fue mayor de 0,3^22–24; también se estableció que los elementos de la misma subescala debían tener una fuerte correlación (r > 0,6).

El análisis factorial confirmatorio fue evaluado con la técnica de extracción del análisis de componentes principales con la rotación Varimax. El análisis factorial confirmatorio observó: muestras necesarias para validar el instrumento de al menos 5 escalas^22–24, prueba de Kaiser-Meyer-Olkin y prueba de esfericidad de Bartlett para determinar la posibilidad de dividir los reactivos en factores agrupables; se aceptó un Kaiser-Meyer-Olkin > 0,6 y una esfericidad de Barlett significativa (p < 0,05) para indicar un análisis futuro de los datos, valor propio ≥ 1 para mostrar el número de factores formado a partir de los elementos analizados²⁴ y, finalmente, el agrupamiento de los elementos en un factor de acuerdo con el factor de carga (r > 0,3); los elementos no debieron tener una correlación muy diferente a la de los otros del mismo factor (ser homogéneos).

Resultados

El valor alfa de Cronbach de los 50 elementos del DREEM fue 0,898, pero 2 subescalas, a saber, las autopercepciones sociales de los estudiantes y las autopercepciones académicas de los estudiantes, obtuvieron unos valores alfa de Cronbach de 0,362 y 0,687, respectivamente (tabla 1). Cinco ítems (1, 11, 21, 30 y 31) fueron no válidos con valores de r < 0,3, por lo que solo 45 ítems fueron analizados (tabla 2).

Tabla 1.

Valores obtenidos de cada subescala del ambiente educacional y resultados de consistencia interna

Subescalas	Media	Desviación estándar	Alfa de Cronbach
Percepción del aprendizaje	34,4	6,15	0,777^a,b
Percepción de los profesores	30,7	4,13	0,826^c
Autopercepción académica	21,1	3,84	0,362^d,e
Percepción de la atmósfera	33,1	5,35	0,792
Autopercepción social	18,1	3,41	0,687

a

Aumento a 0,898 si se elimina el ítem: «Se me estimula a participar en clases».

b

Aumento a 0,903 si se elimina el ítem: «La enseñanza está demasiado centrada en el profesor».

c

Aumento a 0,896 si se elimina el ítem: «Los profesores son autoritarios».

d

Aumento a 0,898 si se elimina el ítem: «He aprendido mucho sobre la empatía en mi profesión».

e

Aumento a 0,919 si se elimina el ítem: «Los métodos de estudio que tenía antes todavía me sirven».

Tabla 2.

Estadísticos descriptivos y correlación ítem-total de cada reactivo

Ítems	Media	Desviación estándar	Correlación elemento-total corregida	Alfa de Cronbach si se elimina el elemento
Ítem 01	2,10	0,76	0,242^a	0,898
Ítem 02	2,11	0,83	0,416	0,896
Ítem 03	2,03	0,82	0,381	0,896
Ítem 04	2,01	0,90	0,426	0,896
Ítem 05	1,90	0,72	0,351	0,897
Ítem 06	1,80	0,74	0,439	0,896
Ítem 07	2,06	0,84	0,541	0,895
Ítem 08	2,08	0,88	0,542	0,895
Ítem 09	2,05	0,95	0,580	0,894
Ítem 10	2,12	0,97	0,536	0,894
Ítem 11	2,22	1,80	0,116^a	0,903
Ítem 12	1,90	0,83	0,417	0,896
Ítem 13	2,04	0,98	0,542	0,894
Ítem 14	1,90	0,90	0,500	0,895
Ítem 15	1,80	0,76	0,416	0,896
Ítem 16	1,97	0,92	0,549	0,894
Ítem 17	1,82	0,75	0,490	0,895
Ítem 18	2,09	1,00	0,559	0,894
Ítem 19	2,19	1,06	0,440	0,895
Ítem 20	2,16	1,01	0,383	0,896
Ítem 21	1,95	0,85	0,299^a	0,897
Ítem 22	1,88	0,77	0,417	0,896
Ítem 23	2,15	0,93	0,363	0,896
Ítem 24	1,88	0,88	0,398	0,896
Ítem 25	1,71	0,71	0,380	0,896
Ítem 26	1,77	0,82	0,384	0,896
Ítem 27	1,82	0,73	0,391	0,896
Ítem 28	1,96	0,90	0,521	0,895
Ítem 29	1,80	0,78	0,371	0,896
Ítem 30	1,97	0,82	0,195^a	0,898
Ítem 31	2,48	3,42	0,099^a	0,919
Ítem 32	2,01	0,75	0,346	0,897
Ítem 33	2,18	1,48	0,357	0,897
Ítem 34	2,05	0,82	0,396	0,896
Ítem 35	2,02	0,80	0,451	0,896
Ítem 36	2,16	0,96	0,520	0,895
Ítem 37	2,19	0,93	0,505	0,895
Ítem 38	1,98	0,79	0,518	0,895
Ítem 39	1,98	0,84	0,432	0,896
Ítem 40	2,22	1,06	0,481	0,895
Ítem 41	2,19	1,09	0,347	0,897
Ítem 42	2,14	0,98	0,394	0,896
Ítem 43	1,95	0,74	0,448	0,896
Ítem 44	1,74	0,76	0,325	0,897
Ítem 45	2,33	1,27	0,429	0,896
Ítem 46	2,09	0,91	0,446	0,896
Ítem 47	2,12	0,89	0,473	0,895
Ítem 48	2,13	0,97	0,564	0,894
Ítem 49	1,92	0,77	0,404	0,896
Ítem 50	2,11	0,96	0,394	0,896

a

r < 0,3.

Los resultados de los análisis de factores mostraron un valor Kaiser-Meyer-Olkin de 0,753 y la prueba de esfericidad de Barlett mostró un nivel de significación p = 0,000, de modo que los datos para los 45 elementos se pudieron analizar. Conforme a los resultados de la prueba de la varianza total explicada, se identificaron 13 factores. Sin embargo, solo 5 fueron capaces de explicar el 46,45% de todas las percepciones de los estudiantes. La rotación Varimax evidenció que con 4 factores se pudieron agrupar los ítems (tabla 3).

Tabla 3.

Análisis de los principales componentes del Dundee Ready Education Environment Measure con la rotación Varimax

Número de ítem	Ítems	Factores
		I	II	III	IV	V
02	La enseñanza está suficientemente preocupada de desarrollar mi confianza	0,465	0,128	−0,365	−0,355	0,059
03	La enseñanza me estimula a aprender de forma activa	0,417	0,132	−0,362	−0,545	0,067
04	La enseñanza está bien enfocada	0,462	0,059	−0,240	−0,532	0,026
05	La enseñanza me ayuda a desarrollar mis competencias	0,413	0,253	0,139	−0,204	−0,208
06	Tengo claros los objetivos de aprendizaje de mis cursos	0,525	0,091	−0,137	−0,183	−0,245
07	La enseñanza es frecuentemente estimulante	0,599	−0,025	−0,203	−0,138	−0,123
08	El tiempo dedicado a la enseñanza está bien utilizado	0,591	−0,132	−0,290	−0,312	−0,071
09	La enseñanza está centrada en el estudiante	0,636	−0,175	−0,176	−0,126	−0,334
10	Se enfatiza más el aprendizaje a largo plazo que el de corto plazo	0,597	−0,089	−0,178	−0,004	−0,467
12	La enseñanza pone demasiado énfasis en el aprendizaje de detalles	0,479	0,017	0,033	−0,043	−0,406
13	Los profesores son buenos realizando feedback a los estudiantes	0,580	−0,134	−0,098	0,013	0,364
14	Los profesores tienen buenas destrezas comunicacionales con los pacientes	0,577	0,070	−0,328	0,205	0,212
15	Los profesores conocen las materias que dictan	0,482	0,150	−0,308	0,243	0,240
16	Los profesores dan ejemplos claros	0,596	0,070	−0,360	0,153	0,245
17	Los profesores están bien preparados para sus clases	0,522	0,256	−0,285	0,331	0,126
18	Los profesores hacen críticas constructivas	0,636	−0,125	−0,210	0,280	0,141
19	Los profesores ridiculizan a sus estudiantes	0,473	−0,399	−0,098	0,119	0,027
20	Los profesores se molestan y alteran en clases	0,432	−0,503	0,054	0,187	−0,144
22	Los profesores son pacientes con los pacientes	0,449	0,024	−0,090	0,231	0,100
23	Los estudiantes irritan a los profesores	0,413	−0,497	−0,050	0,116	−0,063
24	Soy capaz de memorizar todo lo necesario	0,456	−0,179	0,057	0,181	−0,135
25	Mucho de lo que tengo que aprender me parece relevante para mi carrera	0,434	0,166	−0,396	0,239	0,069
26	Siento que me están preparando para la profesión	0,423	0,262	0,053	0,351	0,037
27	Lo aprendido el año pasado fue una buena base para el trabajo de este año	0,462	0,337	0,093	0,378	−0,171
28	La facultad me ayuda a desarrollar mis habilidades resolviendo problemas	0,581	−0,055	−0,233	−0,089	0,001
29	Tengo la confianza de que voy a pasar este año	0,441	0,345	−0,065	0,152	−0,353
32	El ambiente es relajado durante las clases teóricas	0,357	0,302	0,370	−0,127	−0,028
33	Siento que puedo hacer todas las preguntas que quiero	0,244	0,248	0,063	−0,165	0,433
34	Me siento cómodo socialmente en las clases	0,423	0,422	0,392	−0,077	0,061
35	Tengo oportunidades para desarrollar mis habilidades interpersonales	0,508	0,386	0,434	0,045	−0,187
36	El disfrute de mis estudios pesa más que el estrés que estos generan	0,597	−0,028	0,237	−0,134	0,248
37	El ambiente de la facultad me motiva a aprender	0,568	0,085	0,291	−0,026	0,352
38	Soy capaz de concentrarme bien	0,534	0,110	0,310	−0,231	0,126
39	El ambiente es relajado en los campos clínicos	0,464	−0,104	0,292	−0,351	0,113
40	Los horarios de la escuela están bien programados	0,520	−0,394	0,252	−0,242	−0,051
41	Mi experiencia en la facultad ha sido desalentadora	0,366	−0,546	0,331	0,008	−0,035
42	Copiar en esta facultad es un problema	0,397	−0,326	0,198	0,152	0,400
43	El ambiente es relajado durante los seminarios, clases y prácticas tutoriales	0,476	0,004	0,270	0,205	0,263
44	Tengo buenos amigos en la escuela	0,360	0,272	0,103	0,145	−0,070
45	Hay un buen sistema de apoyo para los estudiantes que sufren estrés	0,464	−0,519	0,191	0,009	0,140
46	Estoy demasiado cansado para disfrutar los cursos	0,465	0,149	0,259	0,166	0,069
47	Rara vez me aburro en los cursos	0,545	−0,127	0,145	0,068	−0,197
48	El ambiente físico de la escuela es agradable	0,583	0,168	0,171	−0,258	0,172
49	Mi vida social es buena	0,453	0,234	0,151	0,053	−0,288
50	Rara vez me siento solo	0,450	−0,148	0,149	0,195	−0,433

*Los datos resaltados en negrita representan al mayor valor de varianza y su correspondiente componente factorial.

El factor i fue nombrado según la subescala de percepciones del aprendizaje, el factor ii, según la percepción de los docentes, el factor iii estaba relacionado con la autopercepción académica, el factor iv, con la percepción de la atmósfera, y el factor v, con la autopercepción social. Los ítems de las subescalas «aprendizaje» estuvieron de acuerdo con el cuestionario original. En el resto de las subescalas no se encontró ningún ítem que se estuviera de acuerdo con el instrumento original (tabla 3).

Discusión

Es reconocido que el ambiente de aprendizaje afecta las competencias del estudiante, el logro académico y el éxito^1,2. En una universidad, especialmente en las facultades de Ciencias de la Salud, debería proveerse un buen ambiente educacional para crear una confortable y efectiva atmósfera de aprendizaje para los estudiantes.

Evaluar las propiedades psicométricas del DREEM en diferentes contextos y comunidades permite conocer el grado en que la evidencia recogida apoya las inferencias que se realizan a partir de las puntuaciones obtenidas²⁵. Nuestro estudio se planteó en una muestra de estudiantes de una facultad de Odontología; la consistencia interna global encontrada fue alta excepto en 2 subescalas (autopercepciones social y académica), y la eliminación de 5 ítems permite mejorar la consistencia y asemejarse al modelo original. Nuestros resultados coinciden con los estudios de Vaughan et al.²⁶, Leman²⁷, Hammond et al.¹⁵ y Wang et al.²⁸, quienes demuestran que la consistencia interna del instrumento es elevada y confiable; sin embargo, la mayoría de los estudios concuerdan que las subescalas autopercepción académica y social poseen bajos valores de consistencia interna (< 0,7)^15,17,27,29. Las variaciones en el alfa de Cronbach evidencian que las características dependen de la muestra y que se requiere un mayor análisis²⁶. Además, los bajos valores de algunas subescalas generan incertidumbre para lograr la validez de constructo.

Las falencias en las propiedades psicométricas del DREEM ya habían sido reportadas y algunos autores consideran que la estructura de 5 subescalas no es sostenible ni válida. De esta forma, Hammond et al.¹⁵ indican que para obtener el modelo original de 5 factores se requiere suprimir 17 ítems. Yusoff¹⁴ plantea que con 17 ítems es posible replicar el modelo original; nuestro estudio encontró que la estructura de 5 factores no es dable y que 5 ítems deben ser eliminados para mejorar la confiabilidad. Otros estudios también reportan la eliminación de ítems: en el estudio de Leman²⁷ se invalidaron 17 ítems; Hammond et al.¹⁵ invalidaron 6 ítems; y Jakobsson et al.¹³ invalidaron el ítem 39. La invalidez de ítems puede deberse a que el ambiente de aprendizaje es afectado por las culturas locales, lo que genera diferentes percepciones, sobre todo si se considera que el DREEM fue desarrollado en otro país, en otro idioma y bajo un diferente contexto de educación. Se cree que la consistencia interna de las subescalas puede ser mejorada si se revisan y reestructuran algunos ítems; además, las bajas correlaciones de algunos ítems pudieron deberse a una malinterpretación de estos por parte de los estudiantes.

Esto supone que el cuestionario debe ser revisado con mayor profundidad, no solo a través de la teoría de respuesta al test, sino a través de la teoría de respuesta al ítem. Dichos análisis indican que el cuestionario es variable en sus factores; de esta forma, Jakobsson et al.¹³ revelan entre 5-9 factores en Suecia. Otros autores^2,5,10 concluyen que la consistencia interna y la validez de constructo de las mediciones no es estable y el modelo debe ser revisado. Nuestro estudio arrojó 13 factores, de los cuales 5 poseían más del 40% de la varianza; el estudio no soporta la estructura de 5 factores como lo soportan otros estudios^13,15,30,31. Wang et al.²⁸ también demostraron que el DREEM puede agruparse en más de 5 factores. Esto puede deberse al bajo número de la muestra que se utilizó en el presente estudio.

Según nuestro conocimiento, son pocos los estudios que han evaluado las propiedades psicométricas del DREEM en el ambiente odontológico. Nuestro estudio concluye que el cuestionario es fiable con excepción de 2 subescalas y que el modelo de 5 factores no se soporta según el cuestionario original y que, por el contrario, algunos de los ítems pueden ser eliminados para mejorar aún más la fiabilidad. Se recomienda ampliar el tamaño muestral así como el contraste entre facultades y comunidades para valorar los nuevos resultados. También se aconseja la realización de un análisis factorial confirmatorio para poder agrupar los ítems del cuestionario tomando en consideración el ambiente educacional clínico y académico de la Odontología.

Conflicto de intereses

Los autores declaran no tener ningún tipo de conflicto de intereses con respecto al artículo.