el creciente número de programas de educación médica en línea demanda una evaluación rigurosa. Estudios previos han subrayado la importancia de la percepción estudiantil en la efectividad de estos programas. Por tanto, el objetivo de este estudio fue adaptar y validar el Cuestionario de Experiencia de Curso (CEC) para su uso en programas de educación médica en línea en Perú.
Material y métodosse realizó un estudio de adaptación y validación del CEC en una academia de preparación para el examen nacional de medicina en Perú. Se adecuó el cuestionario y se administró a 127 participantes de forma anónima. Se realzó el análisis factorial exploratorio con rotación oblicua, cálculos de confiabilidad con los coeficientes de Cronbach y McDonald. Luego se evaluó la correlación del CEC y sus dominios con la satisfacción e impacto del programa.
Resultadosrespondieron 83 participantes, principalmente estudiantes de sexto año de Medicina. El análisis mostró la adecuación del CEC para el análisis factorial, con 3 factores identificados que explicaron el 59% de la variancia total. Los índices de confiabilidad del CEC fueron altos, indicando su consistencia. Los 3 dominios identificados fueron: docencia adecuada, apoyo adecuado y experiencias negativas del programa. Se hallaron correlaciones positivas entre el puntaje total del CEC y las medidas de satisfacción y percepción del impacto del programa.
Conclusiónel CEC adaptado presentó evidencias de validez para evaluar programas de educación médica en línea en Perú.
The growing number of online medical education programs demands rigorous evaluation. Previous studies have emphasized the importance of student perception in the effectiveness of these programs. Therefore, we aimed to adapt and validate the Course Experience Questionnaire (CEQ) for use in online medical education programs in Peru.
Material and methodsAn adaptation and validation study of the CEQ was conducted at a preparatory academy for the national medical examination in Peru. The questionnaire items were modified to suit our context and administered to 127 participants anonymously. Exploratory Factor Analysis with oblique rotation and reliability calculations with Cronbach's and McDonald's coefficients were performed. Then, the correlation of the CEQ and its domains with satisfaction and the program's impact was assessed.
Results83 participants responded, mainly sixth-year medical students. The analysis showed the suitability of the CEQ for factor analysis, with three factors identified that explained 59% of the total variance. The CEQ's reliability indices were high, indicating its consistency. The three domains identified were Adequate Teaching, Support, and Negative Program Experiences. Significant positive correlations were found between the total CEQ score, satisfaction measures, and perception of the program's impact.
ConclusionThe adapted CEQ showed evidence of validity for evaluating online medical education programs in Peru.
El aumento de los programas de educación médica en línea plantea un desafio significativo: la necesidad de una evaluación rigurosa. Esta necesidad surge por el creciente volumen de programas en este formato1,2. Las revisiones de O’Doherty3 y Regmi4 señalan que una evaluación negativa de estos programas por parte de los estudiantes podría representar una barrera para su implementación efectiva. Además, Barteit2 reportó la necesidad de métodos de evaluación más rigurosos. Frente a esta necesidad, el Cuestionario de Experiencia de Curso (CEC) se posiciona como una herramienta prometedora para la evaluación de estos programas.
El CEC fue diseñado para la medición de la percepción de la calidad de la enseñanza en ambientes tradicionales5. Su uso para la evaluación de programas educativos se extiende por regiones como Hong Kong6, Holanda7, China8 y en nuestro continente, en Chile9. Más tarde se adaptó para su uso en educación médica10, y aunque se ha aplicado para la evaluación de programas de medicina en línea, no existen evidencias de validez del instrumento para dicho contexto11. En consecuencia, la adaptación y validez del CEC para programas de medicina en línea es un aspecto crucial que aún no se ha investigado adecuadamente.
Ante las brechas identificadas, la importancia de evaluar con precisión la educación médica en línea no puede ser sobreestimada. Existe una necesidad urgente de herramientas que midan la percepción de los estudiantes en entornos de aprendizaje en línea. Por lo tanto, este estudio tuvo como objetivo adaptar y validar el CEC para la educación médica en línea, especificamente, en un programa de formato de aula invertida brindado a los estudiantes de Medicina de sexto año en Perú.
Material y métodosSe realizó un estudio de adaptación y validación del CEC9, para el contexto de evaluar un programa de educación médica en línea en formato de aula invertida. El estudio se realizó en la academia de preparación para el Examen Nacional de Medicina (ENAM) y Examen de Residentado Médico – USADEMIC (https://usamedic.pe/), en el contexto de un curso de revisión de 4 semanas para el ENAM a estudiantes de Medicina de sexto año y de internado médico durante el año 2022.
Cuestionario de experiencia de cursoEl CEC es un cuestionario autoadministrado para medir la percepción de la enseñanza en la educación superior. Fue desarrollado por la Universidad de Lancaster en 19805. Su uso en educación superior ha sido extenso, contando con evidencias de validez en distintos contextos6–8,12. Para este estudio se utilizó la versión de González et al.9; esta versión fue elegida porque en nuestro conocimiento es la versión en español que más evidencias de validez posee. Este instrumento es una versión corta del CEC, compuesto por 20 ítems en 5 dominios: buena docencia, metas y objetivos claros, evaluación apropiada, carga de trabajo apropiada y e-learning. La escala de medición es de tipo likert-5 que va de 1, en gran desacuerdo, a 5, en gran acuerdo.
ProcedimientosEl equipo de investigación realizó la revisión de cada ítem del CEC e hizo modificaciones. Se retiraron 2 items: «el profesor emplea mucho tiempo para comentar mi trabajo» y «mis experiencias en línea me ayudaron a involucrarme activamente con mi aprendizaje»; debido a que no se adaptaban a los servicios brindados en nuestra institución, ya que el equipo contextualizó que este último ítem hacía referencia a tutorías. El cuestionario se administró a 127 participantes de un programa introductorio para el ENAM. El programa siguió una metodología de aula invertida, con las sesiones sincrónicas realizadas por la plataforma Zoom. La versión final del cuestionario estuvo conformado por 4 secciones: factores sociodemográficos, apreciación del programa, CEC y recomendaciones.
Análisis de datosEl análisis de datos tuvo como objetivo la recolección de evidencias de validez de estructura interna y de relación con otras variables. Se inició eliminando a los participantes con información incompleta y curando la información. Luego, se evaluó la pertinencia para realizar el análisis factorial con la prueba de Kaiser-Meyer-Olkin (KMO) y la prueba de esfericidad de Bartlett con valores >0,7 y p < 0,05 indicando idoneidad, respectivamente. Para el análisis factorial exploratorio (AFE) se utilizó una rotación oblicua. Se retuvieron aquellos factores con valores propios mayores que 1. Los índices de ajuste usados fueron un Error de Aproximación Cuadrático Medio (RMSEA) menor que0,06 y un Índice de Tucker-Lewis (ITL) mayor que 0,9 para considerar al modelo como adecuado13. La confiabilidad del CEC y sus dominios se evaluó con el test de alpha de Cronbach y omega de Mcdonald. Para evaluar la relación con otras variables se realizó la correlación del puntaje total y de dominios del CEC con el puntaje de la satisfacción del programa y la percepción de impacto, estos últimos fueron medidos en una escala de Likert-10. Todos los análisis se realizaron en el programa Rstudio versión 4.1.1 usando el paquete psych14.
ResultadosLa población final estuvo conformada por 84 participantes, de los cuales, uno se eliminó por información faltante, resultando en 83 participantes (tasa de respuesta de 65,35%). El KMO fue de 0,86 y el test de Bartlett menor que0,001. El alpha de Cronbach fue de 0,86 y el omega de Mcdonald de 0,92, sugiriendo una confiabilidad adecuada. Tres factores tuvieron valores propios mayores que 1, siendo 4,02; 3,89 y 2,62 explicando un 59% de la variancia. La solución de 3 factores en el AFE tuvieron un RMSEA de 0,082 (intervalo de confianza [IC] al 90%: 0,058 a 0,108) y un ITL de 0,886. Todos los ítems tuvieron una carga mayor que0,4 para cada factor. Los factores (dimensiones) con sus respectivos ítems se muestran en la tabla 1.
Análisis factorial exploratorio del cuestionario de experiencia de cursos (n=83)
| Item | Carga | Dimensión | Omega |
|---|---|---|---|
| Los docentes normalmente me dan retroalimentación útil sobre cómo lo estoy haciendo | 0,899 | Docencia adecuada | 0,94 |
| Los docentes de este curso me motivaron a hacer mi mejor trabajo | 0,676 | ||
| Los docentes hacían un esfuerzo real para tratar de entender las dificultades que pudiera estar teniendo con mi trabajo | 0,797 | ||
| Los docentes eran muy buenos explicando las materias | 0,682 | ||
| Los docentes trabajaron duro para hacer interesante la materia | 0,476 | ||
| Generalmente me daban el tiempo suficiente para comprender las cosas que tengo que aprender | 0,426 | ||
| En este curso usualmente he tenido una idea clara hacia dónde vamos y qué se espera de mí. | 0,620 | Apoyo adecuado | 0,93 |
| Desde el inicio del curso el coordinador o la academia dejaron en claro qué se esperaba de los estudiantes | 0,691 | ||
| Donde fueron usadas, las TIC me ayudaron a aprender | 0,908 | ||
| Los recursos de la academia apoyaron mi aprendizaje | 0,815 | ||
| La comunicación en línea con estudiantes y profesores ayudó a mi aprendizaje | 0,529 | ||
| Las experiencias de aprendizaje en línea del curso estuvieron bien integradas con mi aprendizaje presencial | 0,606 | ||
| La academia parece más interesada en evaluar lo que he memorizado que lo que he comprendido | 0,657 | Experiencias negativas del programa | 0,88 |
| La academia solo me hacía preguntas literales de la materia | 0,784 | ||
| Hay una gran presión sobre mí como estudiante en este curso | 0,461 | ||
| La carga de trabajo era muy pesada | 0,630 | ||
| El gran volumen de trabajo contemplado en este curso significa que no todo puede ser comprendido en detalle | 0,652 | ||
| A menudo ha sido difícil descubrir qué se espera de mí en este curso | 0,655 |
Se encontró una correlación positiva entre el puntaje total con la satisfacción y la percepción del impacto como se muestra en la tabla 2. Al momento de evaluar los dominios del instrumento, hubo una correlación positiva con el dominio de docencia adecuada y apoyo adecuado, pero negativa con experiencias negativas del programa.
Correlación entre el puntaje total y dominios con la satisfacción y percepción del impacto (n=83)
| Satisfacción con el programa | Percepción del impacto | |
|---|---|---|
| Puntaje total del cuestionario de experiencia de curso | 0,63 | 0,60 |
| Docencia adecuada | 0,61 | 0,60 |
| Apoyo adecuado | 0,53 | 0,50 |
| Experiencias negativas del programa | -0,19 | -0,16 |
Este estudio tuvo como objetivo adaptar y validar el CEC para educación médica en un programa en línea en 83 estudiantes. Nuestros resultados principales fueron: 1) El CEC para este contexto está conformado por 3 dominios con 18 ítems de acuerdo al AFE: docencia adecuada (6 ítems), apoyo adecuado (6 ítems) y experiencias negativas del programa (6 ítems), 2) El CEC y sus dominios cuenta con buena confiabilidad tanto en el coeficiente de alfa de Cronbach (0,86) y omega de McDonald (0,92), y 3) El CEC cuenta con evidencias de validez de estructura interna y relación con otras variables.
Sin embargo, nuestro estudio presenta discordancias con el estudio original de González. En el estudio de González se identificaron 5 dominios, mientras que en el nuestro 3, esto podría deberse al contexto de la aplicación y el modelo usado, dado que González aplicó un análisis de componentes principales, el cual no es recomendado para este tipo de investigaciones15. Otra razón que podría explicar estas diferencias es la conceptualización y experiencia de los estudiantes de Medicina con el aprendizaje en línea, dado que nuestro programa fue enteramente en línea y la población de ambos estudios difiere, siendo el nuestro en medicina y el de González en ingeniería.
Fortalezas y limitacionesEste estudio tiene una serie de fortalezas. Se recolectó más de una evidencia de validez, se realizó esta adaptación y validación para un contexto específico y se obtuvo una tasa de respuesta óptima (>50%).
Sin embargo, este estudio también presenta limitaciones. Aunque se logró el número recomendado de participantes (>3 por cada ítem), la muestra es aún pequeña bajo otros estándares donde se requiere más de 100 participantes13. Además, debido a la ausencia de otros instrumentos que midan el mismo constructo, solo correlacionamos el instrumento con la satisfación y percepción de impacto del programa.
ImplicanciasEn nuestro conocimiento es el primer estudio en adaptar y validar el CEC en educación médica en línea, aún más para el uso en el aula invertida en Perú. Por lo tanto, nuestro estudio tiene múltiples implicancias, no solo para la comunidad investigadora, sino para los educadores e instituciones que resguardan la calidad educativa. En el marco del aseguramiento de la calidad en la educación médica el CEC puede ser de utilidad para estandarizar la evaluación de cursos y programas, como plantean las entidades acreditadoras16. Para educadores, es un punto de partida para iniciar una práctica de autoevaluación de sus cursos y adoptar una actitud más investigativa. Finalmente, para la comunidad investigadora en educación médica, el CEC se posiciona como una herramienta para evaluar el nivel de Kirkpatrik 1 – reacción de estudiantes17.
Este estudio aporta evidencias de validez para el uso del CEC en un entorno en línea en el contexto de la educación médica peruana. Por tanto, sugerimos usar el CEC con fines investigativos, educativos y de acreditación, dado que permite una medición más fiable de la percepción de la enseñanza.
Responsabilidades éticasSe siguieron los principios éticos apropiados para esta investigación. A los participantes se les informó sobre el propósito del estudio y se les ofreció la oportunidad de participar de manera voluntaria, a través de un consentimiento informado presentado mediante Typeforms antes de responder la encuesta. Además, se garantizó el anonimato de la información recopilada.
FinanciaciónLa presente investigación se llevó a cabo sin recibir apoyo financiero de ninguna entidad pública o privada, y actualmente no está siendo evaluada por otra revista científica.
Conflicto de interesesLos autores declaramos no tener conflictos de intereses.
Presentación previaSe presentó en el Congreso Internacional de Educación Médica 2023 organizado por la Asociación Peruana de Facultades de Medicina como poster.
