Cada vez se presta más atención a aquellos factores que diferencian a los estudiantes que tienen éxito académico de aquellos que no lo tienen (Rosário, Trigo, Nuñez, y González-Pienda, 2005). Aunque tradicionalmente el aprendizaje universitario es el que menor atención ha recibido, existe una gran preocupación por la calidad de los aprendizajes a este nivel (Allgood, Risko, Alvarez, y Fairbanks, 2000; Light, Cox, y Calkins, 2009).

Desde una perspectiva amplia, se suele caracterizar al estudiante universitario exitoso como un “estudiante autorregulado” (Pintrich, 2000, 2004).

La autorregulación del aprendizaje resulta fundamental de cara al éxito académico en general (Rosário et al., 2005); no solo influye en el rendimiento, sino también en otros aspectos fundamentales en la universidad como la constancia, la persistencia (Nota, Soresi, y Zimmerman, 2004) y el aprovechamiento del tiempo de estudio personal, por ejemplo, durante la realización de tareas para casa (Suárez et al., 2011; Suárez et al., 2012). En general, tales competencias que permitirán a los alumnos ser autónomos a la hora de aprender significativa y constructivamente durante toda su vida, tal y como queda reflejado en la normativa que sustenta la Declaración de Bolonia y otros documentos europeos (González y Wagenaar, 2003). Por ello, dotar al alumno de las competencias necesarias para aprender de forma autónoma se considera uno de los grandes retos de la universidad (Zimmerman y Schunk, 2013).

Un aliado fundamental para la consecución de este objetivo son las nuevas tecnologías de la información y comunicación (TIC), las cuales permiten a profesores y alumnos beneficiarse de las ventajas de los nuevos entornos de aprendizaje (Kok, 2008). Es por este motivo que en la educación superior española cada vez son más las acciones en formatos virtuales dirigidas a formar a los alumnos (Tirado, Pérez-Rodríguez, y Aguaded, 2011), siendo esta una de las características diferenciadoras de estos programas, presenciales o virtuales, la cual podría condicionar en cierta medida tanto la eficacia como la satisfacción de los usuarios con ellos.

Parece interesante abordar la controversia creada por las asumidas ganancias en términos motivacionales que los entornos virtuales aportan a los aprendices frente a las dificultades añadidas que comportan en términos metacognitivos (Azevedo, 2005a; Azevedo, Cromley, Moos, Greene, y Winters, 2011; Lehmann, Hähnlein, e Ifenthale, 2014).

Desde la ciencia cognitiva, la psicología, e incluso desde la inteligencia artificial, se han obtenido resultados que nos muestran que aquellos entornos de aprendizaje con soporte informático (CBLE, Computer Based Learning Enviroments) suponen dificultades añadidas al aprendiz en disciplinas fundamentales como las ciencias, las matemáticas y las ciencias sociales (Azevedo, 2005a). También contamos con resultados empíricos convergentes que avalan la idea de que estas dificultades se deben a que estos no despliegan procesos autorregulatorios clave durante su aprendizaje (Azevedo, Cromley, y Seibert, 2004; Graesser, McNamara, y VanLehn, 2005; Quintana, Zhang, y Krajcik, 2005). El aprendizaje que implica CBLE requiere un plus por parte del alumno a la hora de decidir qué va a aprender, cómo y cuánto, qué cantidad de tiempo invertirá en ello, cuándo cambiar o desechar la estrategia puesta en práctica, cuándo aumentar o ahorrar esfuerzos, etc. (Azevedo et al., 2005b).

En este punto, cabe reforzar el interés de este trabajo advirtiendo que, idealmente, los resultados de una intervención se miden en términos de eficacia, eficiencia y efectividad, y si los estudios sobre la eficacia de las intervenciones no son abundantes (Dignath y Buettner, 2008; Dignath, Buettner, y Langfeldt, 2008; Nuñez et al., 2011) aún menos los son aquellos que testan su valor para los usuarios.

Eficacia, efectividad y eficiencia son términos que con frecuencia se confunden. Este trabajo trata de realizar un acercamiento a la hipotética eficiencia diferencial que puede implicar la implementación de un mismo programa en su versión presencial y en su versión virtual. Es necesario, por tanto, concretar qué se entiende por efectividad, referida esta a si un programa, presumiblemente eficaz, lo es también en condiciones reales, aspecto íntimamente ligado al grado de satisfacción del sujeto con la intervención (Ferro y Vives, 2004) y a las percepciones de los alumnos en téminos de calidad (Soares, Almeida, y Guisande, 2011).

Por tanto, se puede plantear como objetivo de este trabajo la contrastación de la efectividad diferencial de un programa de entrenamiento en estrategias de estudio y autorregulación implementado en diferentes modalidades: en formato presencial y en formato virtual.

Para la evaluación de la satisfacción de los alumnos con el programa de intervención se aplicó un cuestionario de evaluación del material y de la experiencia de trabajo elaborado ad hoc para el propósito. Este cuestionario formula a los participantes una serie de preguntas, tanto de tipo estructurado (escala de tipo Likert de 1 a 5) como abierto (con un espacio en blanco para que puedan expresar lo que consideren oportuno), y evalúa ocho criterios, cuatro respecto al material (interés, utilidad percibida, claridad y aplicabilidad) y cuatro relativos al proceso de implementación del programa (interés, utilidad para el estudio, influencia en la forma de estudiar, y oportunidad para reflexionar sobre la forma de estudiar).

Para posibilitar la evaluación de la efectividad del programa en términos diferenciales fue necesario implementar la intervención en dos formatos diferentes, presencial y virtual, tratando de conservar invariantes tanto el procedimiento como los materiales del programa, de modo que el formato fuera efectivamente la variable diferenciadora entre ambas modalidades.

La herramienta que configura el núcleo del programa TRAL (Training for an Autonomous Learning) en ambas modalidades corresponde a un conjunto de narraciones de un alumno ficticio de primer curso de universidad (Rosario, Núñez, y González-Pienda, 2006; Rosario et al., 2010). En estos textos, el alumno reflexiona sobre alguna de sus experiencias en la universidad, acentuando el papel de las estrategias y procesos de autorregulación en su aprendizaje. Los estudiantes pueden, de esta forma, experimentar un aprendizaje vicario a través de estas narraciones y aprender, inductivamente, un modelo autorregulatorio para afrontar sus experiencias de aprendizaje.

El programa de intervención en formato presencial se llevó a cabo mediante sesiones semanales de una hora de duración. En todos los casos, las sesiones siguieron una planificación muy semejante: en un primer momento se hizo una breve presentación de las estrategias que se iban a entrenar esa semana, a continuación se realizó una lectura personal de la correspondiente carta del programa, seguidamente se llevaba a cabo una discusión y reflexión en pequeño grupo en torno de los contenidos establecidos para cada sesión, y posteriormente había un tiempo dedicado a la realización de actividades para practicar los aprendizajes estratégicos y puesta en común. La administración del cuestionario de evaluación se llevó a cabo durante la última sesión del programa.

Para la versión virtual, se ha adaptado el programa TRAL a la plataforma virtual Moodle, dando lugar al programa eTRAL (Training for an Autonomous Learning) (Cerezo et al., 2010; Núñez et al., 2011).

En la versión eTRAL, los alumnos disponen en cada tema de los textos de las cartas on-line, sus correspondientes resúmenes y actividades —las cuales, una vez realizadas, “subirán” al espacio virtual para que el profesor pueda supervisarlas—, y un foro de cada tema —herramienta básica para la comunicación entre profesores y estudiantes del curso.

La modalidad eTRAL se estructura en 13 sesiones virtuales (unidades de contenido y actividades) disponibles para los alumnos semanalmente durante un periodo de 15 días. Cada lunes, los participantes tuvieron acceso a través de Internet a una nueva carta y su correspondiente material para ampliar información (resúmenes), entrenar la estrategia seleccionada (actividades y material audiovisual) y opinar y discutir sobre algún tema relacionado con esta (foros de discusión). Una vez concluido el plazo de 15 días, el material deja de ser accesible y el sistema bloquea la recepción de actividades. En primer lugar, se invita a los alumnos a que hagan la lectura de la carta correspondiente, para posterior-mente llevar a cabo las tareas propuestas. Para realizar las actividades y completar el entrenamiento de la sesión se les insta a que usen y consulten todos los materiales disponibles en la unidad (resúmenes, vídeos, etc.). Por último, tuvieron que participar en el foro de discusión, donde se proponían temas relacionados con la estrategia abordada, intercambiando ideas y experiencias. Esta modalidad también incluye dos sesiones presenciales de introducción y cierre; esta última es donde se lleva a cabo la evaluación.

Con el fin de contrastar si existen diferencias estadísticamente significativas en la valoración del programa en función del tipo de formato de intervención (presencial frente a virtual), se ha llevado a cabo un análisis multivariado de la varianza (MANOVA). En este análisis, la variable independiente fue el tipo de intervención, y las dependientes, los cuatro criterios de valoración del material y los cuatro del procedimiento.

Tal como se ha advertido en el procedimiento, aun siendo razonable no esperar diferencias en cuanto al material, ya que para ambas fue prácticamente el mismo, podría suceder que el propio procedimiento implicara que fuera más atractivo, satisfactorio o efectivo en un caso que en el otro. En la tabla 1 se aportan los datos descriptivos (medias, desviaciones típicas y tamaño de la muestra) extraídos de los análisis previos al análisis multivariado de la varianza (-MANOVA) que proporcionará resultados sobre si existen diferencias estadísticamente significativas en la valoración del programa en función del tipo de formato de intervención (presencial frente a virtual).

Los resultados obtenidos del MANOVA indican que, a nivel general (tomando conjuntamente las ocho variables dependientes), existen diferencias estadísticamente significativas entre los dos formatos de intervención respecto a los criterios de valoración [Lambda de Wilks = .73, F(8,361) = 16.49; p = .000, η2 =.27]. Atendiendo a las medias obtenidas por cada formato (tablas 1 y 2), encontramos que dichas diferencias son a favor del formato virtual. Teniendo en cuenta el criterio comúnmente establecido para valorar el estadístico η2 (Aron y Aron, 1999), el tamaño del efecto es medio; es decir, que las diferencias entre ambos formatos son sustanciales e importantes (η2 a partir de .10 = tamaño del efecto pequeño; η2 a partir de .25 = tamaño del efecto medio; η2 a partir de .40 = tamaño del efecto grande). Sabiendo que, en general, existen diferencias estadísticamente significativas entre las dos modalidades de intervención, a continuación se da cuenta de qué variables y qué repercusión tendrían esas diferencias en la práctica.

En relación con el material, tal como se observa en la tabla 2, existen diferencias estadísticamente significativas -entre las medias en las variables interés del material [F(1, 368) = 9.52; p = .002, η2 = .03], claridad del material [F(1, 368) = 45.15; p = .000, η2 = .11] y aplicabilidad del material [F(1, 368) = 4.82; p = .030, η2 = .13] a favor del formato virtual, no siendo significativas las diferencias para la utilidad percibida [F(1, 369) = 1.48; p = .23, η2 = .004]. En relación con el formato, el interés [F(1, 369) = 20.57; p = .000, η2 = .05], la utilidad de este para el estudio [F(1, 369) = 30.94; p = .000, η2 = .08] y la reflexión sobre su forma de estudiar [F(1, 369) = 95.19; p = .000, η2 = .21] también presentan diferencias a favor de la intervención en formato virtual (tabla 2). En cambio, en la variable influencia del formato en su forma de trabajar [F(1, 369) = .40; p = .53, η2 = .001], las diferencias no son estadísticamente significativas a pesar de que la media también es ligeramente mayor en la modalidad virtual. Cabe destacar un tamaño del efecto del 20.5% en la variable referida a la reflexión en la forma de estudiar [F(1, 369) = 16.49; p = .000, η2 = .21] (tabla 2).

Tal como se mencionaba en el apartado introductorio, la eficacia de un programa no garantiza que este sea efectivo en todos los casos, por eso también debemos prestar atención a la utilidad de este en un aula universitaria o grupo de alumnos cualquiera. Aun así, cabe señalar que la intervención objeto de evaluación ha sido eficaz para la mejora de variables cognitivas y de autorregulación en varias muestras de alumnos universitarios españoles y portugueses (Fernández et al., 2013; Núñez et al., 2011, Rosário et al., 2007; Rosário et al., 2010).

La cuestión planteada sobre la evaluación refuerza su interés teniendo en cuenta, de una parte, la gran proliferación y escasa evaluación de intervenciones enfocadas a la promoción de la competencia autorreguladora en educación superior, y de otra, la también cada vez mayor implementación de esas intervenciones en formatos virtuales. Este último aspecto, ligado a la controversia sobre los entornos virtuales y su potencial motivador, pero al mismo tiempo, más exigentes respecto al proceso de aprendizaje.

En primer lugar, fuera del objetivo concreto de este estudio, cabe mencionar la unanimidad de los participantes a la hora de valorar positivamente el programa en ambas modalidades. Ya se advertía en este trabajo que el denominador común a ambas intervenciones era sobre todo el material, con lo cual, en línea con los trabajos sobre el potencial del humor para promover aprendizajes (Hackathorn, Garczynski, Blankmeyer, Tennial, y Solomon, 2011) y junto a la literatura especializada sobre los potenciales de la narrativa (Rosário, Mourão, Nuñez, González-Pienda, y Solano, 2008), es posible que la metodología de utilizar “cartas” en clave de humor haya tenido que ver en que tanto TRAL como eTRAL hayan sido valorados tan positivamente.

Ciñéndose al objetivo de este trabajo se comparó la efectividad diferencial del programa en una y otra modalidad, y se obtuvo una ganancia mayor para la versión eTRAL en las variables interés, claridad y aplicabilidad del material, e interés, utilidad y reflexión en la forma de estudiar respecto del formato de intervención. Las diferencias encontradas entre ambos formatos también fueron sustanciales e importantes en la práctica, aspecto del cual nos informa el tamaño del efecto.

Estos resultados nos llevan a pensar que las ganancias derivadas de los soportes virtuales, observadas en términos de motivación, implicación o participación activa por otras investigaciones (Simpson, Hynd, Nist, y Burrel, 1997), quizás se estén reflejando en estas diferencias de efectividad entre ambos formatos del programa. Es posible que sea en estos resultados donde se plasmen las cuestionadas virtudes de las herramientas tecnológicas para favorecer los aprendizajes, lo que puede ayudar al estudiante a comprender la tarea en diferentes contextos (Cerezo et al., 2010), aun suponiendo un esfuerzo añadido. Sin embargo, otros estudios en términos de aprendizaje cooperativo que comparan también ambas metodologías (Roseth, Saltarelli, y Glass, 2011) obtienen resultados en el sentido contrario que hacen que sea necesario seguir indagando en este aspecto. O quizás la controversia planteada no sea una verdadera discrepancia, sino dos caras de una misma moneda que se han de contemplar a la hora de diseñar, implementar y evaluar acciones que impliquen CBLE.

Además de extraer conclusiones a nivel general, podemos profundizar en las diferencias encontradas para uno u otro formato. Aun haciendo mayor hincapié en aquellos resultados relativos al formato, las diferencias encontradas para las variables interés, claridad y aplicabilidad del material a favor del formato virtual merecen ser comentadas y conectadas con algunas reflexiones de los alumnos.

En términos de interés del material, las diferencias podrían responder a la inclusión de materiales audiovisuales que ayudan a la comprensión y recuerdo de los contenidos en el formato virtual y pueden hacer el grueso de estos más atractivo. En este sentido, una alumna sugiere: “algunas veces se añadían vídeos para ejemplificar mejor, por eso propondría adjuntar vídeos en todas las ocasiones que sea posible”. Sobre esta cuestión, los vídeos interactivos ya han demostrado incrementar la satisfacción de los usuarios de entornos virtuales de aprendizaje (Zhang, Zhou, Briggs, y Nunnamaker, 2006; Schwan y Riempp, 2004). Bien es cierto que los formatos presenciales también podrían incorporar este tipo de recursos.

En lo que respecta a la claridad del material, donde a priori no deberían esperarse diferencias, la organización que permite Moodle puede estar afectando a la percepción de la claridad del material propiamente dicha.

En un principio, la aplicabilidad futura del material tampoco debería verse afectada por el formato; sin embargo, parece estar influyendo diferencialmente. Estos resultados podrían estar relacionados con la importancia que tiene el alfabetismo digital en la sociedad actual (Esteve, 2009) y sobre todo con la utilidad que los usuarios le den a esta competencia tanto dentro como fuera de las aulas, tanto en un ámbito académico como en su futuro profesional.

Para la variable utilidad del material no se han encontrado diferencias, pero sí se han obtenido resultados muy satisfactorios para ambos formatos de intervención.

Una vez abordadas las diferencias encontradas en lo que respecta al material, corresponde discutir acerca de las relativas al formato de la intervención, objetivo central de este trabajo, y que han sido significativas en las variables interés del formato, utilidad del formato para el estudio y reflexión en la forma de estudiar, en favor de la modalidad virtual.

En el caso del interés del formato, se podría aludir al potencial motivante de los entornos virtuales como posible razón para que los participantes consideraran este significativamente más interesante que ese mismo presentado en un formato presencial. Los CBLE y todos los recursos desplegados en ellos son probablemente más novedosos e innovadores que los debates, lecturas o actividades de lápiz y papel. Forma parte del comportamiento humano buscar, crear y disfrutar con lo nuevo; la novedad activa nuestro cerebro y quizás por ello encuentren la modalidad virtual significativamente más interesante. Algunos alumnos exponen “a mí me gusta el Campus Virtual”, sin embargo otros: “a mí esto de los campus virtuales nunca me ha gustado” o “también me hubiera gustado comentar alguna de las cartas en la hora de prácticas y hacerla entre todos”. Estas sugerencias podrían revertir en la mejora futura del diseño de la intervención, pensando en formatos mixtos que combinen sesiones presenciales con virtuales.

La variable utilidad del formato para el estudio también favorece a la modalidad virtual. Otros estudios recientes reflejan resultados semejantes, aunque modulados por otras variables aquí recogidas como la satisfacción (Liaw y Huangb, 2013). El modo en el que el formato Moodle permite plantear el programa facilita la previsión de trabajo, disponibilidad de contenidos, planificación del tiempo, acceso y gestión de la información, etc., todos los puntos fuertes que ya se han comentado aquí sobre los LMS (Learning Management Systems). Los alumnos lo califican como un método “cómodo y muy práctico, así como ameno”. Incluso consideran que “el hecho de que se pongan en el Campus Virtual facilita las tareas” y les permite “poder hacerlas con mayor independencia, ya que las tienes disponibles […] a cualquier hora y momento del día”. Por ello, los participantes perciben este formato como muy útil para esta experiencia en particular y también para otros potenciales contenidos.

La forma concreta en que en este programa plantea el proceso de aprendizaje en la modalidad virtual también responde a una lógica en la que subyace la utilidad para los futuros procesos de estudio de los alumnos, y un intento por paliar las dificultades añadidas de este tipo de entornos de aprendizaje (Azevedo, 2005a, 2005b; Azevedo et al., 2005) precisamente a través de ellos, como proponen Lajoie y Derry (2013). Estableciendo plazos preacordados para el desarrollo del programa y de sus tareas se está autorregulando de forma externa a los alumnos, lo cual podría parecer paradójico si se tiene en cuenta que el objetivo último de la intervención es que se autorregulen. Sin embargo, se persigue aprovechar este diseño para ayudar a los alumnos en el proceso de andamiaje (Vigotsky, 1984) y estimular el pleno desarrollo de sus potenciales habilidades autorreguladoras. Así, algunos de los implicados expresan: “las fechas de entrega han sido muy buena idea. Si se hubiese dejado libertad, la gente lo habría entregado a última hora todo”. Al mismo tiempo mantienen que “la constancia y resistencia necesaria para realizar estas actividades es muy positiva”, ya que, efectivamente, aprender exitosamente en entornos hipermedia exige aprender a evitar la procrastinación y un plus de organización.

Siguiendo con el resto de variables, los resultados indican que las puntuaciones en la variable reflexión en la forma de estudiar también favorecen a la modalidad virtual. Hay un factor diferencial que posiblemente influya sobre este resultado, y es la presencia de los foros de discusión en el formato Moodle: “esto de los foros y las actividades me parecían un poco ridículas, y pensaba que no servirían para nada, ahora que ya casi hemos terminado puedo decir que esta experiencia me ha hecho reflexionar en mi manera de estudiar, de organizarme, etc.”. La herramienta de los foros creaba en el programa eTRAL el sustrato necesario para que los alumnos reflexionaran conjuntamente acerca de su proceso de estudio. Tal como Linn y Slotta (2013) defienden, los foros bien diseñados son una poderosa herramienta de aprendizaje entre iguales que probablemente haya contribuido a la satisfacción diferencial de la modalidad virtual frente a la presencial, no solo en este, sino en varios aspectos. Bien es cierto que los debates en formato presencial serían equivalentes a este recurso; sin embargo, muchas veces, las limitaciones de tiempo y la rigidez del currículo hacen que no siempre haya ocasión para generar un debate real y, cuando tiene lugar, no todos los miembros del grupo participan. Sobre esta cuestión, alguno de los alumnos expresaba: “me parecía una tontería lo de escribir en el foro, y al final resulta que es lo que más me ha gustado. Leyendo las contestaciones de mis compañeros aprendías cosas de ellos, te dabas cuenta de otras tantas...”, “me ha motivado mucho”, “compartir experiencias con los demás es una manera fantástica de aprender”.

Antes de concluir, es necesario advertir de que en este trabajo quizás no se hace un análisis exhaustivo de la efectividad, pero si un acercamiento a esa faceta fundamental en la evaluación de cualquier programa que arroja valiosa información de cara al diseño futuro de intervenciones en esta línea. Por ello, se perfila como futuro objetivo de estudio, el planteamiento de una evaluación exhaustiva de la eficiencia de los programas de modo que puedan contrastarse los datos autoinformados por los alumnos con medidas indirectas del proceso de intervención (Cerezo, Sánchez-Santillán, Rodríguez, Tuero, y Bernardo, 2012) e información extraída por métodos cualitativos, así como en la línea de los trabajos de Joo, Lim, y Kim (2011) y Zhan y Mei (2013), o Liaw y Huangb (2013) que han observado cómo la satisfacción puede incluso ser un predictor de la autorregulación percibida en entornos e-learning.

Este estudio ha sido realizado gracias a la financiación del MICINN Ref. EDU2010-16231 y fondos FEDER.