Este estudio describe la aplicación del análisis de importancia-satisfacción en un programa de máster universitario con la finalidad de conocer, por un lado, su capacidad para identificar, desde el punto de vista de los estudiantes, aquellos atributos sobre los que sería más necesario actuar con el fin de mejorar la calidad del máster y, por otro, su viabilidad como instrumento de retroalimentación para verificar el impacto de dichas actuaciones. El estudio se llevó a cabo en tres grupos de estudiantes matriculados en el máster en Gestión de la Documentación, Bibliotecas y Archivos de la Universidad Complutense de Madrid. El primer grupo, considerado como grupo control, estuvo constituido por los estudiantes matriculados antes del año 2011. A estos alumnos se les solicitó que valorasen los grados de importancia y de satisfacción con el desempeño de un conjunto de 30 atributos que resumían la calidad del máster. Tras la identificación de los atributos sobre los que era prioritario actuar, la organización del título implementó una serie acciones de mejora, cuyo impacto se evaluó en los otros dos grupos de estudiantes matriculados en los cursos 2011/12 y 2012/13 respectivamente. Los resultados obtenidos muestran, en primer lugar, que los tres grupos han otorgado una valoración similar al grado de importancia de cada atributo y, en segundo lugar, se ha constatado el impacto positivo en la mejora de la satisfacción de los estudiantes como consecuencia de las acciones implementadas.
This study offers an importance- satisfaction analysis of a master's degree program, whose objective is two-fold: to assess students’ ability to identify those attributes where actions are needed to improve the quality of the master's program, and the suitability of this feedback instrument in assessing the impact of these actions. The study employed three groups of students enrolled in the ma program in Documentation, Libraries and Archives Management of Complutense University of Madrid. The control group consisting of students enrolled before 2011 were asked to rate the importance of and their satisfaction with set of 30 attributes indicative of the quality of the master's program. Once the most important attributes were identified, the program implemented a series of improvement initiatives. The impact of these actions were assessed by the other two groups of students enrolled in the 2011-12 and 2012- 13 school years, respectively. The results show that the three groups rated the importance of each attribute similarly and that there has been a positive impact on student satisfaction as a result of the actions implemented.
La actual crisis económica que sufre España está teniendo un gran impacto en el funcionamiento de las universidades públicas, tanto en la esfera financiera como en la demanda de acceso a la universidad. En este ámbito se constata por primera vez desde que comenzó la crisis un cambio de tendencia en el número de estudiantes de grado, pasando de un crecimiento constante durante el periodo de 2008 al 2011 a una situación de decrecimiento del 0.6 % en los cursos 2012/2013 y 2013/2014 (Ministerio de Educación, Cultura y Deporte, 2013). Entre las posibles causas de esta reducción se pueden considerar el encarecimiento de las tasas de matrícula en torno al 19.7 % de media en estos dos últimos cursos, y el descenso en la oferta de becas. En el caso de las enseñanzas de máster, esta reducción en la demanda ha sido del 16 % debido, sobre todo, al incremento en el coste de la matrícula, que en algunos casos supera el 100 %.
Ante esta situación, las universidades públicas están llevando a cabo reformas estructurales dirigidas, por un lado, a ajustar su amplia oferta educativa a la demanda real y, por otro, a mejorar su posición competitiva frente a otras universidades con la finalidad de atraer estudiantes; igualmente, están desarrollando metodologías dirigidas a evaluar la satisfacción de los estudiantes con su experiencia educativa para adaptar la oferta de sus titulaciones a las necesidades y expectativas de los mismos, con el fin de conseguir una mejor posición competitiva con respecto a otras universidades que ofrecen estudios similares.
La mayor parte de las estrategias que realizan las universidades para evaluar la calidad de su oferta educativa percibida por los estudiantes se basa en medir la satisfacción de los mismos ante diferentes atributos relacionados con la docencia, servicios de apoyo, entorno, etc., sin tener en cuenta que para los discentes no todos los atributos tienen la misma importancia, hecho que debería tener en consideración la universidad, ya que como plantean Elliot y Healy (2001) ésta debería conseguir la máxima satisfacción de sus estudiantes en aquellos requisitos relacionados con el servicio docente y el entorno, que son considerados como los más importantes para ellos.
Una de las aproximaciones más útiles y sencillas para medir simultáneamente la importancia de los diferentes atributos presentes en un servicio y la satisfacción del estudiante como resultado de su uso es el análisis de importancia-satisfacción, introducido en 1977 por Martilla y James. Esta técnica tiene como objetivo facilitar a los gestores la selección de aquellas características del servicio cuya mejora debería maximizar la satisfacción del cliente. El análisis se fundamenta en la hipótesis de que la satisfacción es una variable que depende de dos componentes: la importancia que tiene el producto o servicio para el cliente y el desempeño de la organización en la provisión de ese producto o servicio (Martilla y James, 1977). Para el empleo en la práctica de esta técnica, el gestor define el producto o servicio a partir de un conjunto de atributos o requisitos y, posteriormente, se solicita al usuario del servicio que exprese su opinión sobre la importancia de cada uno de esos atributos y el grado de satisfacción de acuerdo con su experiencia en el uso del producto o servicio.
Para la realización del análisis de importancia-satisfacción de un servicio o producto se dibuja una gráfica bidimensional en la que se representa la satisfacción en el eje X y la importancia en el eje Y. Esta gráfica (Figura 1) se divide en cuatro cuadrantes tomando como referencia el valor medio de la escala utilizada, o bien la media global obtenida para la satisfacción y la importancia (para una discusión sobre el tipo de medida más adecuada ver los trabajos de Oh, 2001 y Olujide y Mejabi, 2007). Cada cuadrante combina, por un lado, el grado de importancia y satisfacción asignado por los clientes para cada atributo del producto o servicio y, por otro, la estrategia más recomendable para llevar a cabo la mejora de la satisfacción del usuario. De esta manera, los atributos localizados en el cuadrante A son aquellos en los que la importancia es alta, pero la satisfacción es baja. Este cuadrante es etiquetado con la expresión “concentrarse aquí”, con el fin de indicar que los requisitos que se localizan en dicho cuadrante requieren de una acción de mejora urgente, teniendo, por lo tanto, la máxima prioridad en su resolución. Los ítems localizados en el cuadrante B son aquellos que tienen una valoración alta en lo que se refiere a la importancia y la satisfacción, lo que indica que estos atributos constituyen una fortaleza para la organización que debe ser mantenida. Por esta razón, a este cuadrante se le etiqueta con la frase “mantener el buen trabajo”. En el cuadrante C se localizan aquellos ítems que presentan unas valoraciones bajas en importancia y en satisfacción, siendo etiquetado este cuadrante con la frase “baja prioridad”. Finalmente, en el cuadrante D se localizan aquellos ítems que presentan valoraciones bajas en importancia y altas en satisfacción, lo que sugiere que la organización no debería utilizar más recursos en la mejora de estos atributos; por ello, a este cuadrante se le etiqueta con la frase “posible derroche de recursos”.
Matriz de importancia-satisfacción (adaptado de Martilla y James, 1977).
Desde que Joseph y Joseph (1997) y Ford, Joseph y Joseph (1999) utilizaran por primera vez el análisis de importancia-satisfacción para evaluar la percepción de los estudiantes sobre la calidad de la educación recibida en las universidades de Nueva Zelanda, han sido numerosas las aplicaciones de esta técnica en universidades: evaluación curricular (Nale et al., 2000); calidad del e-learnig (Martínez-Caro, Cegarra-Navarro y Cepeda-Carrión, 2014); calidad del servicio de una biblioteca digital universitaria (Wright y O’Neill, 2002); evaluación de la docencia (Yu y Ueng, 2012); calidad del servicio educativo universitario (Elliot y Healy, 2001; Pike, 2004; Douglas, Douglas y Barnes, 2006; Angell, Heffernan y Megicks, 2008; Silva y Fernandes, 2010; Yildiz, 2014); evaluación de los atributos más importantes para elegir una universidad (Joseph, Yakhou y Stone, 2005; Bionel Tejedor, 2013); calidad de servicio ofrecido por los departamentos administrativos de una universidad (Kitcharoen, 2004; O’Neill y Palmer, 2004), y atributos que debe reunir un graduado en empresariales en opinión de los empleadores (Daud et al., 2011).
Aun cuando el potencial del análisis de importancia-satisfacción es muy amplio, hay dos áreas en las que estas aportaciones han sido limitadas. La primera se localiza en los estudios de posgrado; en este sentido, únicamente Angell, Heffernan y Megicks (2008) han utilizado esta técnica para evaluar la calidad del servicio ofrecido por la Facultad de Ciencias Sociales y de Negocios de la Universidad de Plymouth (Reino Unido). Sin embargo, consideramos que es importante la aplicación de esta metodología a los estudios de posgrado debido a que este grupo de estudiantes presentan, al menos en España, unas características diferentes a los de grado, como son, entre otras, el que su matrícula tiene un costo más elevado que los de grado, y que éste es financiado, en gran medida, por los propios estudiantes. Asimismo, la mayoría de los estudiantes de un máster estudian y trabajan simultáneamente, razón por la cual demandan mayor flexibilidad en las formas de aprendizaje y que estos estudios estén dirigidos a mejorar sus competencias profesionales, con el fin de poder obtener más fácilmente un puesto de trabajo, o bien, una mejora en sus condiciones laborales.
En segundo lugar, sería conveniente disponer de más experiencias sobre la utilidad de esta técnica como mecanismo de seguimiento de las acciones de mejora emprendidas tras la identificación de los puntos débiles en la calidad del servicio. En este sentido, sólo el estudio de Yu y Ueng (2012) utiliza esta técnica para evaluar el impacto de un proyecto dirigido a mejorar la calidad docente del profesorado.
En este trabajo se presenta una aplicación de la técnica de análisis de importancia-satisfacción en el Máster en Gestión de la Documentación, Bibliotecas y Archivos impartido por la Facultad de Ciencias de la Documentación de la Universidad Complutense de Madrid (España), con los objetivos de verificar, en primer lugar, su utilidad en los procesos de selección de los atributos sobre los que los gestores deben enfocar sus actividades de mejora y, en segundo lugar, su papel en el seguimiento y análisis de la efectividad de dichas mejoras.
METODOLOGÍAEl cuestionario utilizado en este estudio se elaboró siguiendo un proceso en dos etapas. En la primera se seleccionó a 22 estudiantes que estaban cursando, o bien habían finalizado, los estudios de máster. Utilizando un soporte informático, se presentaron a cada uno de ellos 9 bloques temáticos que abordaban 31 aspectos relacionados con el máster (Tabla 1). Sobre estos aspectos, el estudiante debía indicar qué requisitos le “agradaban o agradarían” que estuvieran presentes en el máster, así como aquellos que les “desagradaban o desagradarían”.
Lista de bloques temáticos y aspectos a considerar en cada bloque
| Bloque temático | Aspectos |
|---|---|
| Acceso a los estudios de máster | Información y publicidad sobre el máster Facilidad de acceso desde distintas titulaciones Proceso de preinscripción Proceso de matriculación |
| Objetivos del máster | Conocimientos teóricos y prácticos que se deberían adquirir Competencias profesionales que se deberían adquirir |
| Programa del máster | Contenidos Organización global de los contenidos Nivel de los contenidos Relación teoría y práctica |
| Desarrollo del proceso de docencia-aprendizaje | Docencia teórica en el aula Actividades prácticas en el aula (presentaciones, estudio de casos, etc.) Actividades no presenciales (búsqueda de información, trabajo en grupo, etc.) Actividades en la plataforma en línea Visitas a centros Seminarios y talleres Conferencias Materiales didácticos Tutorías |
| Proceso de evaluación | Atributos que debe reunir un buen proceso de evaluación de las asignaturas |
| Profesor | Atributos que debe reunir un buen profesor |
| Servicios de apoyo | Biblioteca Proceso de quejas, reclamaciones y sugerencias Dirección de la facultad y del máster Secretaría de alumnos Cafetería |
| Infraestructura | Aulas Acceso a internet Salas de ordenadores y software a utilizar |
En una segunda etapa, los comentarios de cada uno de los estudiantes para cada aspecto presentado fueron analizados y transformados en requisitos o atributos que, a juicio de los participantes en el estudio, les agradaría que aparecieran en el máster. Del total de requisitos de la calidad identificados se seleccionaron 30, los cuales fueron presentados al mismo grupo para verificar su nivel de claridad y comprensión. De esta manera, se llegó a la elaboración de un cuestionario que constaba de 30 ítems, en el que para cada pregunta se solicitaba a los participantes que valorasen, en una escala del 1 al 10 (siendo 1 el valor mínimo y 10 el máximo), el grado de importancia que tenía el requisito y el nivel de satisfacción con el desempeño del mismo durante la realización del máster.
Este cuestionario fue enviado, mediante una aplicación informática que utilizaba el correo electrónico como medio de comunicación, a los 123 estudiantes que habían estado matriculados en la titulación durante los cursos 2008-09, 2009-10 y 2010-11. Respondieron 63 estudiantes (51 %), de los cuales se eliminaron 6 debido a que no lo cumplimentaron totalmente.
Este mismo cuestionario fue enviado a los estudiantes matriculados en los cursos 2011-2012 y 2012-2013, con la finalidad de conocer el impacto de las acciones de mejora llevadas a cabo en los años 2011 y 2012. El número de estudiantes matriculados en el curso 2011-2012 era de 66 y el cuestionario fue contestado por 40, lo que corresponde al 60.6 %. En el caso del curso 2012-2013, el número de estudiantes matriculados fue de 52, de los cuales 44 completaron el cuestionario (84.6 %).
Para verificar la fiabilidad del cuestionario, se calculó el coeficiente alfa de Crombach para las escalas de importancia y de satisfacción, obteniéndose un valor superior a 0,94, aceptándose su fiabilidad de acuerdo con los criterios señalados por Hair et al. (2009).
Los datos recogidos de los cuestionarios fueron procesados mediante la versión 19 del programa estadístico ibm-spss. De cada ítem se calculó el valor medio y la desviación estándar y, con el fin de averiguar si existían diferencias en las valoraciones que realizaron los grupos encuestados, se llevaron a cabo dos contrastes de hipótesis. El primer test de hipótesis tenía por objetivo contrastar la existencia o no existencia de diferencias en las valoraciones de cada atributo presentado en el cuestionario; para ello, se consideró un nivel de confianza del 95 % (α = 0.05) para los valores medios de importancia y satisfacción. Dado que el número de encuestados en cada grupo era superior a 30, se aplicó el Teorema Central del Límite para el cálculo del intervalo de confianza.
El segundo test de hipótesis empleado tenía como objetivo contrastar la existencia o no existencia de diferencias entre los valores promedios globales de la importancia y satisfacción entre los tres grupos de estudiantes. Los intervalos de confianza se construyeron siguiendo la metodología aplicada por Wu y Shieh (2009), para el caso de varianzas distintas.
RESULTADOSEn este apartado, lo primero que se analiza es la estabilidad de las opiniones acerca de la importancia de cada requisito del máster. A continuación se analiza la opinión de los estudiantes matriculados en los cursos anteriores al año 2011. Finalmente, los resultados obtenidos en este grupo de estudiantes, al que consideramos como control, se comparan con los obtenidos por los estudiantes matriculados en los dos cursos siguientes, 2011-2012 y 2012-2013, con el fin de analizar el impacto de las acciones de mejora llevadas a cabo por la dirección del programa de máster.
Opinión del grado de importancia de los requisitos de la calidad del másterLa Tabla 2 muestra los valores medios de importancia y satisfacción para cada uno de los requisitos de la calidad del máster, de acuerdo con las opiniones de los estudiantes matriculados en los cursos anteriores a 2011 y en los cursos 2011-2012 y 2012-2013.
Valores medios de importancia y satisfacción obtenidos en los grupos de estudiantes matriculados en el máster antes del 2011, en el curso 2011/12 y en el curso 2012/13
| Atributos del programa de máster | Antes 2011 | 2011-2012 | 2012-2013 | |||
|---|---|---|---|---|---|---|
| Imp. | Sat. | Imp. | Sat. | Imp. | Sat. | |
| A1. La información sobre el Máster es clara, suficiente y está bien estructurada | 7.93 | 5.49 | 8.26 | 6.41 | 8.59 | 6.43 |
| A2. La información sobre el contenido de las asignaturas está disponible durante los periodos de preinscripción y matriculación | 7.54 | 5.19 | 8.4 | 6.78 | 8.84 | 6.35 |
| A3. El Máster ofrece conocimientos actualizados sobre las herramientas tecnológicas (TICs) aplicadas a la documentación | 8.98 | 5.69 | 9.05 | 6.35 | 9 | 6.36 |
| A4. El Máster capacita al estudiante a acceder a un puesto de trabajo de forma inmediata que responda a las exigencias actuales | 8.98 | 5.33 | 8.98 | 5.43 | 9.3 | 5.5 |
| A5. El Máster ofrece suficientes posibilidades de especialización | 9 | 6.64 | 8.67 | 6.62 | 9.02 | 7.23 |
| A6. Los contenidos de las materias del Máster son de un nivel superior a los de la Diplomatura, Licenciatura o Grado | 9.17 | 5.68 | 8.57 | 5.14 | 8.85 | 5.95 |
| A7. Los profesores explican cómo se deben realizar cada una de las prácticas de la asignatura que están impartiendo, y la relación de éstas con la teoría | 8.94 | 6.82 | 8.67 | 7.55 | 9.16 | 6.84 |
| A8. El tiempo dedicado a las actividades prácticas de las asignaturas, debe ser superior al tiempo dedicado a la teoría | 7.83 | 6.13 | 7.75 | 6.87 | 8.41 | 6.5 |
| A9. La distribución y organización de las asignaturas del Máster, garantizan una progresiva obtención de conocimientos por parte del estudiante | 9 | 5.78 | 8.8 | 6.28 | 8.86 | 6 |
| A10. La elección de especialidades o itinerarios no debe obligar a elegir un turno concreto | 9.2 | 4.4 | 8.46 | 4.03 | 8.47 | 6.51 |
| A11. En la realización de las prácticas se debe incrementar el uso de las TICs y de la web 2.0 | 8.46 | 5.83 | 8.5 | 6.33 | 8.45 | 6.39 |
| A12. La organización del Máster ofrece al estudiante tiempo suficiente para realizar actividades no presenciales (realización de trabajos en casa o en la biblioteca, estudiar, etc.), con el fin de que éste amplíe sus conocimientos | 8.66 | 6.02 | 8.93 | 6.28 | 9 | 6.3 |
| A13. Los profesores utilizan el campus virtual como una herramienta para la docencia | 8.26 | 6.48 | 8.65 | 8.05 | 8.73 | 7.59 |
| A14. La organización del Máster favorece la realización de visitas a organismos y entidades de la profesión, para que el estudiante experimente el ambiente real de la profesión | 8.44 | 6.24 | 8.65 | 5.68 | 8.84 | 6.95 |
| A15. La organización del Máster favorece la realización de talleres y seminarios para adquirir habilidades profesionales | 8.31 | 5.58 | 8.7 | 6.28 | 8.59 | 6.57 |
| A16. El Máster debe ofrecer la oportunidad de que profesionales de nivel reconocido presenten su experiencia en su campo | 8.47 | 6.35 | 8.73 | 6.38 | 8.45 | 6.8 |
| A17. Los materiales didácticos de las asignaturas que recibe el estudiante para estudiar y hacer prácticas (apuntes, presentaciones, cuadernos de prácticas, ejercicios, etc.) están bien explicados y bien organizados | 9.15 | 6.17 | 9.03 | 6.68 | 9.16 | 6.93 |
| A18. El Máster ofrecer tutorías on-line | 8.3 | 4.87 | 7.62 | 6.79 | 8.05 | 6.25 |
| A19. El método de evaluación en el máster es continuo, y está basado en la realización de las actividades prácticas | 8.54 | 6.8 | 8.7 | 7.62 | 8.8 | 7.36 |
| A20. Los criterios de evaluación son conocidos desde el comienzo del curso en todas las asignaturas | 8.89 | 6.46 | 9.07 | 7.18 | 9.23 | 6.59 |
| A21. Los profesores son accesibles y educados dentro y fuera del aula | 9.43 | 8.37 | 9.23 | 8.95 | 9.41 | 8.59 |
| A22. Los profesores poseen conocimientos profundos en la materia, experiencia en el campo profesional y/o en el campo de la investigación | 9.51 | 7.67 | 9.5 | 8.33 | 9.55 | 7.91 |
| A23. Los profesores tienen habilidades de comunicación y de transmisión de conocimientos | 9.38 | 7.2 | 9.53 | 7.53 | 9.41 | 7.3 |
| A24. La biblioteca del centro participa en las actividades docentes del Máster (realización de cursos, realización de prácticas en asignaturas, etc.) | 8.31 | 5.54 | 7.67 | 4.9 | 8.26 | 5.49 |
| A25. El proceso de Quejas, Reclamaciones y Sugerencias es eficaz y tiene capacidad resolutiva | 8.64 | 5.29 | 8.32 | 5.81 | 8.9 | 6.92 |
| A26. La Secretaría de Alumnos es capaz de orientar y resolver los problemas que surgen en los aspectos administrativos de la titulación | 9.13 | 5.63 | 9.1 | 7.1 | 9.02 | 6.76 |
| A27. Las aulas normales tienen unas condiciones adecuadas en cuanto a la temperatura, la luz, conexión a internet, enchufes, asientos, mesas de trabajo, proyectores, pizarra y pantallas de proyección | 8.83 | 6.34 | 9.13 | 6.85 | 9.16 | 7.25 |
| A28. Las condiciones generales de las aulas de informática, en cuanto al número de ordenadores, climatización, disposición, conexión a la red, proyector y pantalla de proyección deben tienen un nivel adecuado para evitar fallos en la docencia | 9.08 | 6.26 | 9.05 | 6.93 | 9.16 | 7.57 |
| A29. Las condiciones generales de las salas de ordenadores, en cuanto al número de ordenadores, impresoras, asientos, mesas, mantenimiento, climatización y horas de apertura tienen un nivel adecuado para poder realizar, en buenas condiciones, actividades complementarias no presenciales | 8.69 | 5.94 | 8.85 | 6.38 | 8.86 | 7.25 |
| A30. La facultad debe ofrecer facilidades como wifi, o conexiones a red para el acceso a internet | 9.44 | 7.47 | 9.2 | 8.26 | 9.57 | 8.98 |
| Valor medio global | 8.75 | 6.12 | 8.73 | 6.67 | 8.90 | 6.84 |
Como se observa en la Tabla 2, las valoraciones que hacen los tres grupos de estudiantes sobre la importancia de cada uno de los requisitos de la calidad son muy similares, únicamente existen diferencias significativas con un nivel de confianza del 95 % para el requisito número 2 entre las valoraciones que hace el grupo de estudiantes control (valor medio de 7.54), y el grupo matriculado en el curso 2012-2013 (valor medio de 8.84). No existen diferencias significativas entre las valoraciones medias globales de la importancia que hacen cada uno de los grupos.
Opinión de estudiantes matriculados antes del curso 2011-2012La Tabla 2 muestra que los requisitos del máster más importantes, desde el punto de vista de los estudiantes, son aquellos relacionados con los atributos que deben reunir los profesores, tales como conocimiento, experiencia, accesibilidad y capacidades de comunicación, siendo al mismo tiempo los que obtienen una mayor satisfacción.
En la Figura 2 se han representado los resultados de los valores medios de importancia y satisfacción. En este gráfico los datos se han distribuido en cada uno de los cuatro cuadrantes, los cuales se construyeron tomando como frontera de separación los valores medios agregados de la importancia (8.75) y de la satisfacción (6.12) de los datos obtenidos de los estudiantes matriculados en el máster antes del 2011. Estos valores son los que se toman como control para ver el impacto de las acciones que se van a implementar en los cursos 2011/2012 y 2012/2013.
Como se observa en la Figura 2, existen seis atributos que se localizan en el cuadrante A y sobre los cuales es prioritario actuar para mejorar la satisfacción de los estudiantes. Estos atributos son (entre paréntesis valores medios de importancia I y satisfacción S):
- •
A10 La elección de especialidades o itinerarios no debe obligar a elegir un turno concreto (I=9.20; S=4.40).
- •
A4 El Máster capacita al estudiante a acceder a un puesto de trabajo de forma inmediata que responda a las exigencias actuales (I=8.98; S=5.33).
- •
A6 Los contenidos de las materias del Máster son de un nivel superior a los de la Diplomatura, Licenciatura o Grado (I=9.17; S=5.68).
- •
A26 La Secretaría de Alumnos es capaz de orientar y resolver los problemas que surgen en los aspectos administrativos de la titulación (I=9.13; S=5.63).
- •
A3 El Máster ofrece conocimientos actualizados sobre las herramientas tecnológicas (TICs) aplicadas a la documentación (I=8.98; S=5.69).
- •
A9 La distribución y organización de las asignaturas del Máster, garantizan una progresiva obtención de conocimientos por parte del estudiante (I=9.00; S=5.78).
En la Figura 2 podemos observar, además, la existencia de otros tres atributos que se localizan muy cercanos al cuadrante A y que, debido al pequeño tamaño de la muestra (65 estudiantes) y el nivel de variabilidad, determina que exista una cierta incertidumbre sobre su localización real en este cuadrante. Estos son el atributo A17 del cuadrante B y los A29 y A12 localizados en el cuadrante C:
- •
A29 Las condiciones generales de las salas de ordenadores, en cuanto al número de ordenadores, impresoras, asientos, mesas, mantenimiento, climatización y horas de apertura tienen un nivel adecuado para poder realizar, en buenas condiciones, actividades complementarias no presenciales (I=8,69; S=5,94).
- •
A12 La organización del Máster ofrece al estudiante tiempo suficiente para realizar actividades no presenciales (realización de trabajos en casa o en la biblioteca, estudiar, etc.), con el fin de que éste amplíe sus conocimientos (I=8,66; S= 6,02).
- •
A17 Los materiales didácticos de las asignaturas que recibe el estudiante para estudiar y hacer prácticas (apuntes, presentaciones, cuadernos de prácticas, ejercicios, etc.) están bien explicados y bien organizados (I=9,15; S=6,17).
El atributo que obtiene la peor valoración de satisfacción en este grupo de estudiantes es el A10 de la Tabla 2. Una posible explicación de este resultado puede ser que el máster se impartía en un turno de mañana y otro de tarde, con una oferta de especialidades y materias distintas para cada turno. Esta situación generó una gran insatisfacción en los estudiantes que ya se había reflejado también en los miembros del grupo focal que participaron en la selección de atributos.
Como se desprende de la observación de la Tabla 2 y la Figura 2, las deficiencias más acusadas del máster tienen que ver con los atributos relacionados con la organización de las actividades, los contenidos de las materias, las instalaciones que se utilizan y el papel de los servicios de apoyo como la secretaría de alumnos.
Impacto de la implementación de acciones para la mejora de la calidad del másterLos resultados anteriores se tomaron como base para analizar los efectos de una serie de acciones emprendidas por la dirección del máster en los años 2011 y 2012, y que se describen en la Tabla 3. Los objetivos de estas acciones eran, por un lado, mejorar la satisfacción de los estudiantes con aquellos requisitos localizados en el cuadrante A de la Figura 2 y, por otro, potenciar el uso de las tecnologías de la información y comunicación por parte del profesorado, competencias necesarias para mejorar la utilización de la plataforma virtual en la docencia.
Acciones de mejora emprendidas por la Dirección de la facultad y del máster
| Acciones con efectos en el curso 2011-12 | Acciones con efectos en el curso 2012-13 |
|---|---|
| Revisión de los módulos del máster para su actualización e incrementar los contenidos tecnológicos. Incremento del tiempo dedicado a las actividades prácticas. Mejora del conocimiento sobre el máster del personal de la secretaría de estudiantes y mejora de la comunicación entre las autoridades del centro y el personal. Mejora de la información dirigida a los estudiantes del máster mediante la revisión y modificación de la página web y la elaboración de un tríptico sobre el mismo. Instalación de dos nuevas salas de ordenadores para uso de los estudiantes del máster. Apoyo a los profesores en el conocimiento y uso de la plataforma de e-learning para su aplicación en tutorías, comunicación con los estudiantes, presentación y difusión de materiales, etc. | Reorganización de las materias a cursar en cada uno de los dos semestres de forma que los módulos obligatorios se organizan por especialidades y se incrementa en tres el número de módulos electivos. Reorganización del calendario de impartición de las materias con la finalidad de conseguir un aprendizaje más coherente. Ofertar todas las especialidades del máster sólo en el turno de tarde para favorecer el acceso a las personas que trabajan por la mañana. Mejorar los conocimientos del profesorado en el uso de una nueva plataforma de e-learning para poder ofertar, a corto plazo, el máster en versión semipresencial. Incremento de los recursos informáticos. |
Para conocer el impacto de estas acciones en los estudiantes, se les realizó una encuesta un mes antes de finalizar el curso, utilizando el mismo cuestionario que a los del grupo control. La Tabla 2 muestra los resultados obtenidos sobre el grado de importancia de cada uno de los requerimientos de la calidad, y el grado de satisfacción que expresan de acuerdo con su experiencia en el máster.
Opinión de los estudiantes matriculados en el curso 2011-2012El grupo perteneciente al curso 2011-2012 expresó una opinión más favorable que los del grupo control, con un valor medio de satisfacción global de 6.71 frente a 6.12, siendo esta diferencia significativa con un nivel de confianza del 95 %.
La Figura 3 muestra la distribución de los valores medios de importancia y satisfacción de los estudiantes matriculados en el curso académico 2011-2012. De la observación de esta figura podemos señalar los siguientes hechos:
- •
Sólo existe un atributo que se sigue localizando en el cuadrante A: A4 El Máster capacita al estudiante a acceder a un puesto de trabajo de forma inmediata que responda a las exigencias actuales (I= 8.98; S= 5.43).
- •
De los otros cinco atributos que se localizaban en el cuadrante A en el grupo de estudiantes control, tres de ellos se desplazan al cuadrante B (A3, A9 y A26). Los dos atributos restantes (A10 y A6) se desplazan al cuadrante C, al reducirse la valoración de la importancia por parte de los estudiantes del curso 2011-2012. No obstante, hay que hacer notar que no existen diferencias significativas en cuanto a la valoración de ambos grupos de estudiantes para estos cinco requisitos.
Además, hay que señalar que existen otros dos atributos en los que los estudiantes del curso 2011-12 presentan un grado de satisfacción media mayor que el grupo control (significativo con un nivel de confianza del 95 %):
- •
A2 La información sobre el contenido de las asignaturas está disponible durante los periodos de preinscripción y matriculación (satisfacción de 6.78 frente a 5.19). Este requisito pasa del cuadrante del C al D.
- •
A13 Los profesores utilizan el campus virtual como una herramienta para la docencia (satisfacción de 8.05 frente a 6.48). Este requisito se sigue manteniendo en el cuadrante D.
En resumen, se puede señalar que las acciones de mejora implementadas durante el curso 2011-2012 ejercieron un impacto más significativo sobre aquellos atributos que están directamente relacionados con las acciones de mejora emprendidas, como son la formación del profesorado en nuevas tecnologías y la mejora de la página web del máster. Únicamente el requisito de que el máster capacite al estudiante para acceder a un puesto de trabajo de forma inmediata sigue necesitando de acciones que permitan una mejora de la satisfacción de los estudiantes; además, como indican los resultados obtenidos, cuando se implementaron acciones para mejorar los contenidos tecnológicos y el número de sesiones prácticas éstas no fueron suficientes para mejorar su satisfacción.
Resultados de los estudiantes matriculados en el curso 2012-2013Los estudiantes del curso 2012-2013 están, en general, más satisfechos con el desempeño de los atributos de la calidad del máster que los dos grupos anteriores. De hecho, la media agregada de satisfacción alcanza el valor de 6.84 significativamente superior (nivel de confianza del 95 %) al del grupo control, que es de 6.12, y ligeramente superior al valor de 6.71 obtenido para los estudiantes del curso 2011-2012 (Tabla 2).
La Figura 4 muestra la distribución de los valores medios de importancia y satisfacción de los estudiantes matriculados en el curso académico 2012-2013. De la observación de la Figura 4, y teniendo en cuenta los resultados presentados en la Tabla 2, se observa que existen tres atributos que se localizan en el cuadrante A:
- •
El atributo A4, que hace referencia a la capacitación para un puesto de trabajo, se sigue manteniendo en este cuadrante en los tres grupos de estudiantes analizados, debido posiblemente a que no se ha establecido ninguna acción que a juicio de los estudiantes incidiera directamente sobre su mejora.
- •
El atributo A6, que hace referencia al nivel de los contenidos de las materias que se imparten en el máster, sufre una serie de desplazamientos: en el grupo control se localizaba en el cuadrante A, y pasa al C en el curso 2011-2012 al reducirse el valor medio de su importancia. No obstante, hay que señalar que no existen diferencias significativas en los valores medios de importancia y satisfacción que asignan los tres grupos de estudiantes a este atributo.
- •
En cuanto al atributo A9, que hace referencia a la organización temporal de las materias del máster, en el grupo control se localizaba en el cuadrante A, pasando al cuadrante B en el curso 2011-2012 al incrementarse el valor medio de su satisfacción. En este caso concreto hay que resaltar que uno de los proyectos implementados en este curso iba específicamente dirigido a mejorar los resultados de este atributo, lo que hace pensar que la nueva organización propuesta no ha sido eficaz desde el punto de vista de los estudiantes. No obstante, hay que señalar que no existen diferencias significativas en los valores medios de importancia y satisfacción en los tres grupos de estudiantes con respecto a este atributo.
Si se analizan los resultados obtenidos para cada uno de los atributos, se observa que existen seis que tienen una valoración promedio de satisfacción significativamente mayor (nivel de confianza del 95 %) en el grupo de estudiantes del curso 2012-2013 que en el grupo control:
- •
A2 La información sobre el contenido de las asignaturas está disponible durante los periodos de preinscripción y matriculación (satisfacción de 6.78 frente a 5.19). En el grupo control estaba en el cuadrante C y en este curso pasa al cuadrante B.
- •
A10 La elección de especialidades o itinerarios no debe obligar a elegir un turno concreto (satisfacción de 6.51 frente a 4.40). En el grupo control estaba en el cuadrante A y en este curso pasa al cuadrante D, posiblemente debido a que en este curso todas las materias se imparten en un solo turno y ya no es motivo de insatisfacción para los estudiantes.
- •
A18 El Máster ofrecer tutorías on-line (satisfacción de 6.25 frente a 4.87). Pasa del cuadrante C al D.
- •
A28 Las condiciones generales de las aulas de informática, en cuanto al número de ordenadores, climatización, disposición, conexión a la red, proyector y pantalla de proyección deben tienen un nivel adecuado para evitar fallos en la docencia (satisfacción de 7.57 frente a 6.34). Permanece en el cuadrante B.
- •
A29 Las condiciones generales de las salas de ordenadores, en cuanto al número de ordenadores, impresoras, asientos, mesas, mantenimiento, climatización y horas de apertura tienen un nivel adecuado para poder realizar, en buenas condiciones, actividades complementarias no presenciales (satisfacción de 7.25 frente a 5.94). Pasa del cuadrante C al B.
- •
A30 La facultad debe ofrecer facilidades como wifi, o conexiones a red para el acceso a internet (satisfacción de 8.98 frente a 7.47). Permanece en el cuadrante B.
Asimismo, otros cuatro atributos muestran una valoración de satisfacción promedio mayor (significativa con un nivel de confianza del 90 %) en el grupo de estudiantes del curso 2012-2013 que en el grupo control:
- •
A1 La información sobre el Máster es clara, suficiente y está bien estructurada (satisfacción de 6.43 frente a 5.49). En el grupo control estaba en el cuadrante C y en este curso se desplaza al D.
- •
A13 Los profesores utilizan el campus virtual como una herramienta para la docencia (satisfacción de 7.59 frente a 6.48). Se mantiene en el cuadrante D.
- •
A25 El proceso de Quejas, Reclamaciones y Sugerencias es eficaz y tiene capacidad resolutiva (satisfacción de 6.92 frente a 5.29). En el grupo control estaba en el cuadrante C y en este curso se desplaza al B.
- •
A26 La Secretaría de Alumnos es capaz de orientar y resolver los problemas que surgen en los aspectos administrativos de la titulación (satisfacción de 6.76 frente a 5.63). En el grupo control estaba en el cuadrante A y en este curso pasa al B.
Los anteriores ejemplos de mejoras significativas en la satisfacción de los estudiantes de este curso son el reflejo del impacto que han tenido las acciones llevadas a cabo en los cursos 2011/12 y 2012/13. Sin embargo, y al igual que hemos expresado en el apartado anterior, existen tres atributos relacionados con el contenido de las materias, la programación temporal y la aplicabilidad del máster a la vida profesional que precisarían un análisis más profundo por parte de los gestores para su mejora.
CONCLUSIONESEste estudio propone el uso del análisis de la valoración de la importancia y de la satisfacción para identificar las fortalezas y debilidades de la organización en el desempeño de los atributos de la calidad de un programa de máster, de acuerdo con las perspectivas de los estudiantes. Dicho análisis se utiliza para verificar el impacto de las acciones llevadas a cabo por la organización para mejorar su desempeño.
Para una mejor valoración de los efectos de las acciones sobre la satisfacción de los estudiantes con cada requisito, se ha tenido en cuenta para cada atributo la variabilidad muestral de cada uno de los valores medios de importancia y satisfacción, indicando el nivel de probabilidad en el caso de que existiera una diferencia en las valoraciones que hacían los estudiantes pertenecientes a diferentes cursos académicos. Teniendo en cuenta estos aspectos metodológicos se pueden señalar los tres hechos siguientes:
- 1)
La estabilidad en el tiempo, y entre los diferentes grupos de estudiantes, de las valoraciones medias de importancia que éstos asignan a cada uno de los atributos que representan el programa de Máster en Gestión de la Documentación, Bibliotecas y Archivos.
- 2)
Los resultados presentados sugieren que la mejora en la satisfacción de los estudiantes con el desempeño de algunos atributos de la calidad del máster son consecuencia de las acciones implementadas, como ocurre con los requisitos relacionados con instalaciones, disponibilidad de la información, posibilidad de elección de especialidades, uso de las tic en el apoyo a la docencia o la mejora en el funcionamiento de la secretaria de estudiantes.
- 3)
Existen otros requisitos de gran importancia para los estudiantes, los cuales no modifican su baja satisfacción. Entre estos, el más importante es el relacionado con la utilidad del máster para capacitar a los estudiantes para acceder a un puesto de trabajo de forma inmediata y que responda a las exigencias actuales.
Todas las acciones implementadas para mejorar la satisfacción con este último requisito han tenido un resultado negativo y, posiblemente, se deba a la corta duración del máster (dos semestres), lo que, por un lado, no permite incluir más actividades directamente relacionadas con el desarrollo de las competencias necesarias para el desempeño eficaz de un puesto de trabajo y, por otro, impide la introducción de un periodo de prácticas externas que acercara al estudiante a un entorno profesional.
Por último, se considera que esta metodología es útil para la identificación de aquellos atributos que son críticos en la mejora de la satisfacción de los estudiantes y como mecanismo de retroalimentación para el seguimiento y verificación objetivo del impacto de las acciones para mejorar la calidad de los atributos considerados como prioritarios desde las perspectivas de los estudiantes.