El proyecto integrador de saberes (PIS), es un ejercicio de investigación bajo tutoría docente, donde el estudiante adquiere el conocimiento; constituye una nueva metodología de enseñanza-aprendizaje en la carrera de obstetricia. Para evaluar nuevas metodologías, la opinión del estudiante es el eje fundamental, y la escala tipo Likert uno de los instrumentos más usados; sin embargo, recoge datos cuantitativos, al incluir en su diseño medidas ordinales que representan a las categorías de interés, por tanto, las distancias entre las alternativas de respuesta podrían no ser iguales, lo que hace necesario una mejor exploración e interpretación de sus resultados, con métodos de análisis ordinales.
MétodoEstudio transversal, en fuente secundaria; universo: totalidad de estudiantes de primer semestre de la carrera. Se comparó resultados de la encuesta tipo Likert, mediante la prueba t clásica, la prueba t bayesiana y el análisis bayesiano con modelos ordinales.
ResultadosHay una notable diferencia respecto a la percepción inicial y final, de los estudiantes con la metodología del PIS para alcanzar sus objetivos. A pesar de que los modelos de análisis métricos indicaron la existencia de preguntas que recibieron mayor número de afirmaciones positivas en la encuesta final, el método ordinal no demostró esta diferencia.
ConclusiónLa metodología del PIS cambia significativamente y de manera positiva la percepción de los estudiantes, respecto al cumplimiento de sus objetivos. Se recomienda utilizar métodos ordinales combinados con estadística bayesiana, en el análisis de cuestionarios en escala Likert, para evitar errores en la interpretación.
The knowledge integration project (PIS) is a research exercise using the tutorial method for the student to acquire knowledge. It is a new teaching-learning method in the Obstetrics course. To evaluate new methodologies, student opinion is the fundamental axis, and using the Likert scale is one of the most used tools. However, this collects quantitative data. On including ordinal measurements in its design, representing the categories of interest, the distances between the responses may not be the same. This may make it better to examine and interpret their results using ordinal analysis methods.
MethodCross-sectional study using a secondary source that included all first semester students of the degree. The results of the Likert-type questionnaire were compared using the classic t-test, Bayesian t-test, and Bayesian analysis with ordinal models.
ResultsThere was a notable difference regarding the initial and final perception of students with the PIS methodology to achieve their objectives. Although the metric analysis models had questions that received a greater number of positive responses in the final survey, the ordinal method did not demonstrate this difference.
ConclusionThe PIS methodology significantly and positively changed student perceptions as regards the fulfilment of their objectives. It is recommended to use ordinal methods, combined with Bayesian statistics, in the analysis of questionnaires using the Likert scale, in order to avoid errors in interpretation.
El Proyecto integrador de saberes (PIS) es un método nuevo para la carrera de obstetricia de la Universidad Central del Ecuador; consiste en un ejercicio de investigación desarrollado por estudiantes, organizados en grupos, bajo la supervisión y la tutoría docente, a través del cual integran los conocimientos adquiridos en las diferentes asignaturas del nivel académico en curso1–3, sin embargo, casi la totalidad de estudiantes están familiarizados con métodos tradicionales de enseñanza-aprendizaje donde la investigación se constituye como un área desconocida, y esto a su vez representa una de las mayores dificultades en el desarrollo del PIS4; por otro lado, el crecimiento rápido de las tecnologías de la información y comunicación (TIC), genera un enorme potencial para la incorporación del conocimiento5,6.
Para evaluar, tanto las actividades, como las metodologías utilizadas en la práctica educativa, la opinión de los estudiantes se constituye como uno de los métodos más aceptados, puesto que ellos, son quienes mejor valoran la actuación del docente, así como la suficiencia de los instrumentos pedagógicos utilizados7–9. Dentro del contexto de evaluación y opinión, la escala Likert es una herramienta que permite conocer el grado de conformidad de los estudiantes10,11, mediante su percepción respecto a la metodología del PIS para el cumplimiento de sus objetivos. Sin embargo, este tipo de encuestas recogen datos ordinales que en la mayoría de los casos se analizan como si fueran métricos, conduciendo a errores en la interpretación de sus resultados.
El objetivo de esta investigación es comparar los resultados de la encuesta PIS-1 elaborada en escala Likert, mediante modelos métricos y ordinales.
Material y métodosAntecedentesDentro del proceso de aseguramiento de la calidad de la educación, en la carrera de obstetricia, se construyó y validó el instrumento denominado PIS-1, en escala de Likert (tabla 1), para evaluar la percepción de los estudiantes respecto a la metodología del PIS con relación al cumplimiento de sus objetivos. Antes de la implementación del PIS, se socializó su metodología y los objetivos a todos los estudiantes matriculados en el primer semestre de la carrera, quienes rellenaron el formulario de encuesta PIS-1 inicial de manera anónima. Una vez concluidas las actividades del PIS, se solicitó a los estudiantes rellenar la encuesta PIS-1 final. Los resultados descriptivos fueron presentados a las autoridades. Por tratarse de una base de datos creada para el aseguramiento de la calidad, se solicitó autorización al consejo de la carrera de obstetricia para su uso y publicación.
Cuestionario PIS-1
| Cuestionario PIS-1 inicial | 1 | 2 | 3 | 4 | Cuestionario PIS-1 final | 1 | 2 | 3 | 4 |
|---|---|---|---|---|---|---|---|---|---|
| 1. ¿La contribución del PIS, al desarrollo de perspectivas analíticas y metodológicas en la resolución del problema a investigarse, será? | ¿La contribución del PIS, al desarrollo de perspectivas analíticas y metodológicas en la resolución del problema a investigarse, fue? | ||||||||
| 2. ¿La contribución del PIS, a la integración de conocimientos, habilidades y actitudes en el proceso de aprendizaje, será? | 2. ¿La contribución del PIS, a la integración de conocimientos, habilidades y actitudes en el proceso de aprendizaje, fue? | ||||||||
| 3. ¿La contribución del PIS, para la promoción de diferentes actividades de investigación durante el aprendizaje, será? | 3. ¿La contribución del PIS, para la promoción de diferentes actividades de investigación durante el aprendizaje, fue? | ||||||||
| 4. ¿La contribución del PIS, para la generación de aprendizajes significativos dentro del perfil de la carrera, será? | 4. ¿La contribución del PIS, para la generación de aprendizajes significativos dentro del perfil de la carrera, fue? | ||||||||
| 5. ¿La contribución del PIS para la promoción de las tecnologías de información y comunicación como fuentes de información, recurso didáctico y medio de comunicación durante el aprendizaje, será? | 5. ¿La contribución del PIS para la promoción del uso de las tecnologías de información y comunicación como fuentes de información, recurso didáctico y medio de comunicación durante el aprendizaje, fue? | ||||||||
| 6. ¿La contribución del PIS para el uso de las tecnologías de información y comunicación en la adquisición de aprendizajes significativos, será? | 6. ¿La contribución del PIS para el uso de las tecnologías de información y comunicación en la adquisición de aprendizajes significativos, fue? | ||||||||
| 7. ¿La contribución del PIS para mejorar su rendimiento académico, será? | 7. ¿La contribución del PIS para mejorar su rendimiento académico, fue? |
1: nulo; 2: escaso; 3: suficiente; 4: óptimo.
Se realizó un estudio trasversal en fuente secundaria. Para el procesamiento de datos se utilizó el programa estadístico R v.3.3.5, (2018), para Mac®, paquetes rjags, coda y Likert12–14.
Paso 1: Se determinó que los datos obtenidos en la encuesta PIS-1, no siguen una distribución normal a través de la prueba de Shapiro-Wilk, por tanto, se debía realizar un análisis estadístico no paramétrico; pero, por lo cuestionado de este tipo de análisis, estas pruebas no fueron incluidas en este estudio.
Paso 2: Se realizó el análisis de los datos, mediante 3 métodos estadísticos:
- 1.
t tradicional para muestras relacionadas (modelo métrico, en ocasiones algunos autores utilizan modelos ANOVA)
- 2.
Prueba t con método bayesiano (modelo métrico)
- 3.
Análisis bayesiano mediante modelos probit ordenados (modelo ordinal)
La diferencia entre los métodos radica en la distribución de los datos: el modelo con escala métrica describe que la distancia entre las opciones de respuesta analizadas es la misma; mientras que en el modelo de escala ordinal esta distancia equitativa no existe.
En la prueba t tradicional existe diferencia significativa de la media entre los grupos, si la p<0,05, además se debe valorar los intervalos de confianza al 95% (IC 95%) entre los resultados que pueden ser influenciados por el tamaño muestral y las pérdidas de los participantes en el seguimiento. Estas pruebas solo se pueden realizar si existe distribución normal de los datos y homogeneidad de las varianzas entre los grupos comparados. Estos supuestos no son obligatorios cuando se utilizan los modelos estadísticos bayesianos además, el tamaño de la muestra tiene poca influencia en los resultados; así como las pérdidas de los participantes al final del estudio.
Para generar el modelo bayesiano-Laplace se aplicó los modelos Monte Carlo usando cadenas de Markov (MCMC), que generaron una gran muestra de valores de las estimativas creíbles para cada grupo de respuestas (para más información del modelo bayesiano consultar a los autores Kruschke15 y Achar et al.)16. En cada cálculo se corrió 25.500 interacciones, de las cuales 500 pasos fueron de adaptación, 1.000 se quemaron y se salvó 24.000 pasos. Para comprobar la convergencia de las cadenas se aplicó la prueba de Heidelberger y Welch. Para interpretar los resultados, se consideró el intervalo de densidad de probabilidad más alta (HDI), que corresponde al rango de resultados, donde se incluye el 95% de los valores más creíbles, equivalente al IC 95%.
ResultadosEl número de estudiantes al inicio de las actividades de PIS fue de 81, y durante su desarrollo, 7 interrumpieron sus estudios. La figura 1A muestra en porcentajes, el contraste en la percepción de los estudiantes respecto a la metodología del PIS, para el cumplimiento de los objetivos, antes y después de su implementación.
A) Muestra el resultado porcentual en escala Likert, de cada una de las preguntas, tanto PIS-1 inicial, como PIS-1 final. B y C) En la parte inferior de la figura se presenta un resultado de los cálculos Bayesianos; indica como el método métrico nos conduce a un error tipo 1, tanto en la contrastación de la media (μ), como del desvió estándar (σ) de los resultados de las preguntas 3 y 6, que se refieren a la promoción de las actividades de investigación y el uso de tecnología para aprender significativamente. En los recuadros se representa (en celeste) la distribución de los valores de simulación vía MCMC, en la parte superior de los recuadros consta el valor de la media (μ) y el valor del desvió estándar (σ). En histogramas se representa los valores modales para μ y σ, para los modelos métrico y ordenado respectivamente.
A través de la prueba t clásica, se encontró las preguntas que recibieron mayor número de afirmaciones positivas (suficiente-óptimo) en la encuesta PIS-1 final, con diferencia significativa (p<0,05) entre los resultados de las preguntas: 2-3, 6-3 y 3-1.
En el análisis de los contrastes con estadística bayesiana mediante modelos métricos, el 95% de los valores se encontraban fuera del HDI entre los resultados de las preguntas 3-6 (fig. 1B). Al analizar los datos mediante estadística bayesiana combinada con modelos probit ordenados, no se encontró la diferencia en los contrastes que los modelos métricos señalan: error tipo I (fig. 1C).
La tabla No.2 muestra los resultados del análisis bayesiano mediante modelos probit ordenados.
Resultados de los valores a posteriori del modelo bayesiano probit ordenado
| Media | Mediana | Moda | HDI 95% | |
|---|---|---|---|---|
| PIS-1 inicial:P 1[μ] | 2,8 | 2,8 | 2,8 | (2,5: 3) |
| P 2[μ] | 2,9 | 2,9 | 2,9 | (2,6: 3,1) |
| P 3[μ] | 3,1 | 3,1 | 3,1 | (2,8: 3,4) |
| P 4[μ] | 2,7 | 2,7 | 2,7 | (2,4: 2,9) |
| P 5[μ] | 1,1 | 1,1 | 1,1 | (0,8: 1,3) |
| P 6[μ] | 1,1 | 1,0 | 1,0 | (0,8: 1,3) |
| P 7[μ] | 0,9 | 0,9 | 0,9 | (0,7: 1,1) |
| P 1[σ] | 0,9 | 0,9 | 0,9 | (0,7: 1,1) |
| P 2[σ] | 1,1 | 1,1 | 1,1 | (0,8: 1,3) |
| P 3[σ] | 1,1 | 1,1 | 1,0 | (0,8: 1,3) |
| P 4[σ] | 1,1 | 1,0 | 1,0 | (0,8: 1,3) |
| P 5[σ] | 1,3 | 1,3 | 1,2 | (0,9: 1,6) |
| P 6[σ] | 0,9 | 0,9 | 0,9 | (0,7: 1,1) |
| P 7[σ] | 1,2 | 1,2 | 1,1 | (0,9: 1,4) |
| PIS-1 final:P 1[μ] | 4,2 | 4,1 | 4,0 | (3,6: 4,7) |
| P 2[μ] | 4,1 | 4,1 | 4,0 | (3,6: 4,6) |
| P 3[μ] | 5,0 | 4,8 | 4,6 | (3,7: 6,4) |
| P 4[μ] | 4,5 | 4,4 | 4,3 | (3,7: 5,5) |
| P 5[μ] | 4,5 | 4,5 | 4,4 | (3,8: 5,2) |
| P 6[μ] | 4,3 | 4,2 | 4,2 | (3,7: 4,8) |
| P 7[μ] | 4,8 | 4,7 | 4,6 | (3,9: 5,8) |
| P 1[σ] | 0,8 | 0,8 | 0,7 | (0,2: 1,4) |
| P 2[σ] | 0,8 | 0,8 | 0,7 | (0,2: 1,3) |
| P 3[σ] | 1,2 | 1,1 | 1,0 | (0,2: 2,3) |
| P 4[σ] | 1,0 | 0,9 | 0,8 | (0,2: 1,8) |
| P 5[σ] | 1,2 | 1,1 | 1,0 | (0,6: 1,8) |
| P 6[σ] | 1,0 | 1,0 | 0,9 | (0,5: 1,6) |
| P 7[σ] | 1,4 | 1,4 | 1,3 | (0,7: 2,2) |
HDI: intervalo de densidad de probabilidad más alta; MCMC: modelo Monte Carlo usando Cadenas de Markov.
Se presenta la media [μ] y la desviación estándar [σ] matemáticos de cada pregunta. En todos los casos se presenta las medidas de tendencia central calculadas mediante las MCMC.
Los porcentajes de respuesta de nulo y escaso que corresponden del 23 al 37%, en la encuesta PIS-1 inicial, pudieron ser influenciados por la familiaridad de los estudiantes con los métodos tradicionales de aprendizaje, donde el docente proporciona la información y el alumno se limitaba a asimilarla mediante la repetición4, en este contexto, Silva et al. (2007) reportaron en su estudio que el 52% de estudiantes que ingresan a la universidad, no asumiría la responsabilidad de comprometerse con una nueva modalidad de aprendizaje, debido a la preferencia del modelo tradicional, posiblemente por su larga formación con este estilo, durante la educación básica y media17,18. La diferencia notable de los porcentajes en la encuesta PIS-1 final, pueden afirmar, que la organización y la metodología utilizadas a través de la tutoría docente genera resultados positivos en la percepción de los estudiantes, marcando el inicio de un nuevo modelo de enseñanza-aprendizaje, basado en la construcción del conocimiento a través de la investigación19,20.
La escala Likert, es una herramienta utilizada en muchas investigaciones publicadas. Sin embargo, existe escasa bibliografía que señale los potenciales riesgos en la interpretación de sus resultados, por el uso de métodos estadísticos no adecuados tal y como lo advierten los autores Kruschke15 y Liddell et al.21, quienes refieren que en las publicaciones por ellos revisadas, se utilizaron modelos métricos, que pueden conducir sistemáticamente a errores tipo i y tipo ii, aún en los robustos análisis estadísticos bayesianos22. En este estudio, de una encuesta sencilla de 7 preguntas, se encontró un error tipo i; en consecuencia, para el análisis de encuestas con escalas de Likert, es muy recomendable el uso de modelos de probabilidad ordenada (probit ordenado), conjuntamente con estadística bayesiana ya que esta última describe mejor los datos, es flexible para especificar los modelos, además de su riqueza y precisión para proporcionar estimaciones de los parámetros por el uso explícito de la probabilidad para cuantificar la incertidumbre.
Conflicto de interesesLos autores declaran no tener ningún conflicto de intereses
A los docentes del primer semestre de la carrera de obstetricia: PhD Amaranta Carvajal, Dra. Grace Agila, Dra. Paulina Cabezas, Dr. Wagner Naranjo y Dr. Andrés Vaca, por su contribución en calidad de tutores durante la implementación del Proyecto Integrador de Saberes.
A los estudiantes que cursaron el primer semestre de la carrera de obstetricia durante el periodo académico septiembre 2018-febrero 2019, por el cumplimiento de las actividades del PIS.
