Una secuencia de enseñanza-aprendizaje sobre un tema socio-científico: análisis y evaluación de su aplicación en el aula

Abstract(A teaching-learning sequence on a socio-scientific issue: analysis and evaluation of its implementation in the classroom)

This study investigates the effectiveness of a teaching-learning sequence on mining to improve understanding of the influences and interactions between a technology (mining) and society, also known as interactions between science, technology and society and nature of science. The aim of the study is to show the possibility of teaching and assessing the most innovative issues and aspects of scientific competence on understanding the nature of science, which are addressed in this study. The methodology uses a quasi-experimental, pre-post-test design with control group; the pre-post-test differences are the empirical indicators of improved understanding. The improvements are modest, as the empirical differences (pre-post and experimental-control group) are not large, though experimental group clearly over scores control. Further, the features that display relevant changes are identified. The contributions of the study are the standardized teaching learning sequence and assessment instrument, as they are functional and transferable, to allow researchers and teachers, teaching and assessing the nature of science in the classroom.

Resumen

Este estudio investiga la eficacia de una secuencia de enseñanza-aprendizaje (sea) para mejorar la comprensión de las influencias e interacciones mutuas entre una tecnología (la minería) y la sociedad, también denominadas como interacciones entre la ciencia, la tecnología y la sociedad y naturaleza de la ciencia. El objetivo del estudio es mostrar la posibilidad de enseñar y también de evaluar los temas y aspectos más innovadores de la competencia científica sobre comprensión de naturaleza de la ciencia que se plantean en este estudio. El diseño metodológico es cuasi-experimental, pre-post-test con grupo control, cuyas diferencias constituyen los indicadores empíricos de la mejora en esa comprensión. Las mejoras son modestas pues las diferencias empíricas pre-post y con el grupo control no son grandes, pero el grupo experimental supera al grupo control. Además, se identifican las áreas donde se producen cambios de mejora. Las aportaciones del estudio incluyen la propia sea y los instrumentos estandarizados de evaluación empírica, que los hace funcionales y transferibles para investigadores y profesores, para enseñar y evaluar la naturaleza de la ciencia en el aula.

La alfabetización científica o cultura científica tiene en la literatura didáctica dos componentes básicos (Hodson, 2009; Millar, 2006): i) conocimientos “de” ciencia, que engloba los tradicionales conocimientos sobre hechos, conceptos, principios y procesos de la ciencia, y ii) la comprensión “acerca” de la ciencia, que se refiere a conocer cómo la ciencia y los científicos construyen y validan el conocimiento. Este segundo componente, que incorpora en la educación científica los contenidos interdisciplinares sobre filosofía, historia y sociología de la ciencia, adaptados al nivel de los estudiantes, se ha denominado naturaleza de la ciencia.

Un aspecto importante de la naturaleza de la ciencia es su relación con la tecnología. Aunque a lo largo de la historia esta relación ha sido muy cambiante, actualmente es de una profunda interacción entre ambas, hasta el punto que los especialistas reconocen un nuevo ente que denominan tecnociencia. Para el ámbito educativo y los temas cts, esta intensa interacción entre CyT también se puede trasladar, por analogía, a la denominación integrada de naturaleza de la ciencia y la tecnología (NdCyT), que se usará en adelante para describir cómo CyT interaccionan con la sociedad actual (Tala, 2009). NdCyT es un conjunto de meta-conocimientos interdisciplinares sobre el conocimiento científico y tecnológico, acerca de qué es y cómo interaccionan CyT en el mundo (en adelante, NdCyT). El contenido central de NdCyT es la construcción del conocimiento científico, que incluye cuestiones epistemológicas (principios filosóficos que fundamentan la validación del conocimiento), pero también cuestiones acerca de las relaciones entre la ciencia, la tecnología y la sociedad (cts). Éstas comprenden la sociología interna de la ciencia (centrada en la construcción social del conocimiento, la comunidad científica y el trabajo de los científicos), la interacción ciencia-tecnología (bosquejada en el párrafo anterior), y la sociología externa de CyT o interacciones mutuas entre la sociedad y el sistema científico-tecnológico, donde se centra este estudio (Bennássar, et al., 2010).

Aunque los expertos en didáctica de la ciencia consideran un objetivo importante de la educación la inclusión del ámbito NdCyT, por ser un componente básico de la alfabetización científica y tecnológica (Millar, 2006), la enseñanza real y efectiva de esos contenidos en el aula representa un gran reto innovador, al cual se oponen las resistencias típicas ante cualquier innovación educativa: la no institucionalización en el aula de NdCyT y la escasa atención a la formación del profesorado (Matthews, 1994); por otro lado, los libros de texto, no desarrollan adecuadamente los contenidos de NdCyT, bien porque lo dejan para los profesores, o bien porque la visión que ofrecen es la desfasada y deformada imagen positivista tradicional de la ciencia, que no concuerda con las propuestas actuales de la filosofía, historia y sociología de CyT; también, la propia complejidad, interdisciplinariedad y novedad de NdCyT (McComas y Olson, 1998). La complejidad es el factor interno que determina la mayor dificultad conceptual para trasponer NdCyT en contenidos curriculares aptos para enseñarse en el aula, aunque los especialistas proponen hoy la existencia de algunas ideas y temas que merecen un consenso amplio, más allá de las controversias, y que disminuyen la complejidad (Acevedo et al. 2007; Lederman, 2007; Matthews, 2012; McComas y Olson, 1998; Osborne, et al., 2003; Vázquez y Manassero, 2012).

La conclusión abrumadora de mucha investigación sobre NdCyT es que los estudiantes no tienen una comprensión adecuada, informada y precisa (Abd-el-Khalick y Lederman, 2000; García-Carmona, Vázquez y Manassero, 2012; Lederman, 2007). Las ideas de los estudiantes sobre NdCyT en diversas edades y distintos países están dominadas mayoritariamente por una visión absolutista/empirista de la ciencia. Un indicador adicional de esta pobre comprensión es la ineficacia de la formación científica para promover una adecuada comprensión de NdCyT, pues los estudiantes de ciencias no superan a los estudiantes de humanidades cuando se comparan ambos grupos, ni tampoco en la formación para ser profesores (Vázquez y Manassero, 2008; Bennássar et al., 2010).

En los últimos años, estos pobres resultados han impulsado en profundidad la investigación de la enseñanza y el aprendizaje acerca de NdCyT con estudiantes de diferentes niveles educativos y contextos, para descubrir los factores que determinan la efectividad y mejora en el aula de la enseñanza de NdCyT. A pesar de la complejidad del tema, la revisión de esta literatura permite identificar dos condiciones clave para la eficacia de la enseñanza en el aula (Acevedo, 2009; Hodson, 2008; Lederman, 2007):

• i)

  el carácter explícito de la enseñanza de los contenidos: tratamiento intencional y claro de los aspectos específicos de NdCyT, lo cual implica planificarlos en todos sus elementos curriculares (objetivos, contenidos, actividades, metodología, evaluación) y aplicarlos explícitamente en clase. Hacer explícita NdCyT en el currículo es una alternativa a la “hipótesis implícita”, que sostiene que su aprendizaje se puede producir vicariamente, a través de contenidos y actividades donde basta que la presencia de NdCyT sea indirecta o implícita.

• ii)

  la realización por los estudiantes de actividades reflexivas sobre NdCyT: los estudiantes deben desarrollar en clase actividades meta-cognitivas de reflexión sobre NdCyT (por ejemplo, análisis, argumentación, discusión, debate, conclusión, exploración, etc.). La reflexividad de los estudiantes es una alternativa activa a la reflexión pasiva realizada por el profesor.

La enseñanza de NdCyT no pretende formar filósofos o sociólogos, sino el objetivo más modesto y asequible a todos de formar personas alfabetizadas científicamente (Matthews, 1998). Eso implica que debe presentarse una visión de la CyT que sea a la vez auténtica, crítica, equilibrada entre sus diversos temas, y básica para los estudiantes (adaptada a su nivel educativo), funcional (útil para su vida diaria y para comprender mejor las teorías de CyT) y basada en las propuestas de los especialistas (Hodson, 2008). En una reciente revisión Deng y sus colegas (2011) demuestran que 88% de los estudios con enfoques explícitos reportaron mejoras estadísticamente significativas o reconocibles de la comprensión de la NdCyT, mientras que solo 47% de los implícitos identificaron mejoras. Además, en tres estudios que compararon los enfoques implícitos y explícitos se evidenciaron cambios favorables en el enfoque explícito en los tres, pero no se observó cambio en los implícitos.

También es objeto de debate el contexto más eficaz para enseñar NdCyT, que en la investigación han sido muchos, variados y mixtificados: indagación, historia de CyT, temas socio-científicos, curriculares (inserta NdCyT en el marco de contenidos curriculares) y sin contexto (actividades del tipo “caja negra”, ¿adivina que hay en…?). Los contextos de enseñanza más específica y genuinamente identificados con la enseñanza innovadora de NdCyT son la historia de CyT y los temas de interés social con contenido tecno-científico, donde un tema público de interés social (p.e. aquí, la minería), es analizado y debatido por los estudiantes para profundizar en las implicaciones sociales y éticas de CyT, los intereses en conflicto y la integración de normas sociales y epistémicas (Hodson, 2009; Zeidler, et al., 2005). El estudio citado de Deng (Deng, et al., 2011) muestra que las estrategias reflexivas involucradas en la enseñanza de NdCyT más frecuentes son discusiones dependientes o independientes del contenido (45%), reflexión (26%) y argumentación (16%). Confirman que todos los estudios que usaron argumentación o reflexión lograron mejoras, y también la mayor parte de los diferentes tipos de debates; pero los estudios que carecen de una actividad reflexiva no producen cambios. Por lo tanto, las actividades reflexivas son necesarias para mejorar efectivamente la comprensión de NdCyT.

La enseñanza de NdCyT es compleja, pues la demarcación entre lo correcto y lo incorrecto es poco nítida, con muchos matices, problematizada (crítica), cambiante con el tiempo y el progreso del conocimiento y donde las preguntas son tan importantes como los principios (Clough, 2007). Ello implica que NdCyT debe enseñarse en el contexto auténtico donde surge el conocimiento (controversias y competiciones, lógicas y sociales, entre ideas ganadoras y perdedoras), de modo que lo importante es conocer procesos y razones por las que se adopta una y se rechazan otras. Además, la enseñanza simultánea de ideas adecuadas e inadecuadas es decisiva para presentar los matices sobre cada tema, estimular el escrutinio de todas las alternativas, concretar la reflexión y evitar el riesgo de adoctrinamiento (Vázquez et al., 2007). Además, la enseñanza de NdCyT impone una coherencia a todo el currículo, que debería mantener un alto nivel de concordancia con las concepciones adecuadas de NdCyT.

La mayoría de estas investigaciones acerca de la eficacia de la enseñanza de NdCyT se han realizado en contextos anglosajones y con estudiantes en formación inicial para ser profesores de ciencias (Khishfe, 2008). Este estudio forma parte de un proyecto de investigación más amplio, que afronta este campo con un grupo de estudiantes de ciencias más jóvenes en una universidad centro-americana, con una nueva metodología para investigar empíricamente la eficacia de enseñar las implicaciones sociales de las explotaciones mineras a través de una sea breve, que afronta aspectos de la influencia de la minería sobre la sociedad, y viceversa, la influencia de la sociedad sobre las tecnologías y explotaciones mineras (Vázquez, Manassero y Bennássar, 2012).

Metodología de la investigación

El diseño de la investigación se ajusta a un diseño pre-test y post-test con grupo control. El tratamiento educativo (aplicación de la sea sobre minería) al grupo experimental tiene lugar entre ambas evaluaciones.

Participantes

El grupo experimental está formado por 16 estudiantes (nueve hombres, seis mujeres) del primer curso de ciencias químicas en una universidad centro-americana (18.7 años de edad media). El grupo control está formado por 25 estudiantes (10 hombres, 15 mujeres) de los mismos estudios que el grupo experimental (18.4 años de edad media). El profesor de Química de ambos grupos actuó como aplicador de la secuencia sobre minería en el grupo experimental y del instrumento evaluación a ambos grupos, que son grupos naturales de estudiantes, semejantes entre sí y seleccionados al azar entre los grupos disponibles.

Instrumentos

Los instrumentos empleados son la sea sobre minería, como intervención didáctica, y el instrumento de evaluación.

El instrumento de intervención didáctica es una sea sobre el impacto social de las actividades de minería y la influencia social sobre la minería titulada “La extracción de metales ¿una necesidad o una necedad?”. La innovación del tema toma en cuenta sus múltiples perspectivas (científica-tecnológica-económica-social-ambiental), de manera que ofrezca una visión global del impacto en ambas direcciones, de la CyT sobre la sociedad, y de ésta sobre CyT (ver un esquema resumen de la sea en el Apéndice). La estructura de la sea se basa en un diseño general y bases comunes preparados por el equipo de investigación del proyecto más amplio, a partir de la bibliografía y literatura especializadas (Vázquez et al., 2012).

Los instrumentos de evaluación aplicados para medir la eficacia de la sea para mejorar de la comprensión de los estudiantes sobre NdCyT son cuantitativos y cualitativos. Por la novedad y utilidad para la investigación (y la limitación de espacio), en este estudio se presentan solo los resultados obtenidos mediante el cuestionario estandarizado de papel y lápiz formado por nueve cuestiones (tabla 1) extraídas del Cuestionario de Opiniones sobre Ciencia, Tecnología y Sociedad (cocts). El cocts es un banco que comprende un centenar de cuestiones empíricamente desarrolladas de opción múltiple que cubren una gran cantidad de temas acerca de NdCyT (Aikenhead & Ryan, 1992). Durante varios años, el cocts ha sido aplicado para mejorarlo psicométricamente, creando un nuevo modelo de respuesta múltiple, más informativo y profundo, junto con una métrica de índices estandarizados que permiten el uso de estadística inferencial (Bennássar et al., 2010; Vázquez, Manassero y Acevedo, 2006).

Tabla 1.

Cuestiones aplicadas para evaluar el impacto de la SEA, como pre-test y post-test.

Clave cocrs	Temas	Pie del ítem
P20211	Empresas e investigación	La investigación científica en nuestro país sería mejor si estuviera más estrechamente dirigida por las empresas (por ejemplo, compañías de alta tecnología, comunicaciones, farmacéuticas, forestales, mineras o manufactureras).
P20511	Influencia de la educación Estudiantes	El éxito de la ciencia y la tecnología en nuestro país depende de tener buenos científicos, ingenieros y técnicos. Por tanto, el país necesita que los alumnos estudien más.
P20521	Influencia de la educación Aprendizaje	El éxito de la ciencia y la tecnología en nuestro país depende de cuánto apoyo den los ciudadanos a los científicos, ingenieros y técnicos. Este apoyo depende de que los estudiantes (los ciudadanos del futuro) sepan cómo se usan la ciencia y la tecnología en el país.
P40142	Responsabilidad social Información a autoridades	Cuando los ingenieros descubren lo que podría ser una idea o un producto peligroso en su trabajo, informan realmente a las autoridades públicas, incluso si ello les puede suponer la pérdida de su trabajo o ser degradados.
P40311	Equilibrio Positivos y negativos	Siempre se necesita hacer equilibrios (compromisos) entre los efectos positivos y negativos de la ciencia y la tecnología.
P40511	Promoción del bienestar Riqueza	Cuanto más se desarrollen la ciencia y la tecnología en nuestro país más rico llegará a ser.
P40521	Promoción del bienestar Trabajo	Las industrias de alta tecnología darán la mayoría de los nuevos puestos de trabajo en los próximos veinte años.
P40531	Promoción del bienestar Calidad de vida	Más tecnología mejorará el nivel de vida de nuestro país.
P80211	Control de la tecnología	El desarrollo tecnológico puede ser controlado por los ciudadanos.

Las nueve cuestiones del cocts seleccionadas para la evaluación de la eficacia de la sea son aquellas que tienen una relación con el papel de la minería respecto a la ciencia y tecnología y su impacto sobre la sociedad y evalúan los contenidos y objetivos de la sea de minería. Todas las cuestiones tienen un formato común: un pie, que plantea el tema, seguido por varias frases que proponen distintas posiciones razonadas sobre el tema. Las nueve cuestiones no son exactamente iguales (tienen distinto pie y número de posiciones) y las razones expuestas en las frases tienen también distinto valor (ver ejemplo en tabla 2).

Tabla 2.

Texto completo de la cuestión de evaluación 202.1

20211 La investigación científica en nuestro país sería mejor si estuviera más estrechamente dirigida por las empresas (por ejemplo, compañías de alta tecnología, comunicaciones, farmacéuticas, forestales, mineras o manufactureras).
Las empresas principalmente deberían dirigir la ciencia:
A.	porque un control más estrecho por las empresas haría la ciencia más útil y lograría descubrimientos más rápidamente, gracias a sus comunicaciones más rápidas, mejor dotación económica y más competitividad.
B.	para mejorar la cooperación entre la ciencia y la tecnología, y por tanto, resolver los problemas juntas.
C.	pero las instituciones del gobierno o públicas deberían poder decir algo sobre lo que la ciencia pretende conseguir.
Las empresas NO deberían dirigir la ciencia:
D.	porque si lo hacen, los descubrimientos científicos estarían limitados a aquellos que benefician a las empresas (por ejemplo, tener ganancias).
E.	porque, si lo hacen, las empresas obstaculizarían la investigación de aquellos problemas importantes que las empresas no quieran afrontar (por ejemplo, la contaminación producida por la empresa).
F.	porque los descubrimientos científicos importantes y trascendentales que benefician a los ciudadanos requieren un ejercicio de la ciencia sin limitaciones de nadie.
G.	La ciencia no puede ser dirigida ni por las empresas, ni por nadie, porque ni siquiera los científicos pueden controlar lo que la ciencia descubrirá.

El modelo de respuesta múltiple (mrm) pide a quien responde al problema planteado en cada cuestión que valore su grado de acuerdo o desacuerdo con todas y cada una de las frases de la cuestión sobre una escala de nueve puntos. El mrm mejora el modelo de respuesta única (elegir una única frase de las que forman la lista de opciones de cada cuestión), pues maximiza la información disponible para evaluar la comprensión de cada tema por la persona al disponer de su opinión sobre todas las frases (Vázquez y Manassero, 1999).

La métrica transforma las valoraciones directas en un índice estandarizado y normalizado en el intervalo [-1, +1]. Este índice se calcula, a partir de las valoraciones directas, y teniendo en cuenta el escalamiento de cada frase en una de tres categorías (Adecuada _A_, Plausible _P_ o Ingenua_I_), asignado previamente por un panel de jueces expertos, que representa el conocimiento actual de los especialistas en Nd-CyT. Los índices son los indicadores cuantitativos básicos de las creencias de los encuestados que miden el grado de sintonía entre la puntuación directa, asignada por los encuestados, con el patrón categorial asignado por los jueces a las frases del cocts. Cuanto más positivo y cercano al valor máximo (+1) es un índice, la creencia se considera más adecuada e informada, y cuanto más negativo y cercano a la unidad negativa (-1) es el índice, este representa una creencia más ingenua o desinformada. Aunque la metodología empleada es cuantitativa, también permite y fundamenta interesantes análisis cualitativos (Vázquez et al., 2006).

Procedimiento

El profesor prepara y aplica el instrumento de intervención educativa (sea sobre minería) al grupo experimental para enseñar el rasgo de NdCyT (ver Apéndice).

El proceso de implementación cuasi-experimental pre-test/pos-test tiene tres fases: i) una evaluación inicial, aplicando el instrumento de evaluación formado por las nueve cuestiones del cocts, ii) la aplicación del tratamiento en el aula, es decir, la sea sobre minería (un mes y medio después de la evaluación inicial), y iii) una evaluación final, usando el mismo instrumento de evaluación inicial (un mes y medio después del tratamiento). Los alumnos son ciegos a la experiencia y el profesor no trata en clase las cuestiones de evaluación. Los tiempos entre pre-test y post-test son también largos para medir efectos significativos de la enseñanza. El grupo control no recibe el tratamiento experimental.

La efectividad del tratamiento se valora comparando los resultados de la evaluación inicial, la final (comparando las puntuaciones que obtienen los estudiantes antes y después de la aplicación de la sea) y el grupo de control, mediante instrumentos y procedimientos estandarizados de evaluación (Bennàssar et al., 2010). El criterio para delimitar las diferencias más relevantes entre puntuaciones y grupos se basa en el estadístico denominado tamaño del efecto de las diferencias, que cuantifica la magnitud de la diferencia entre dos puntuaciones en unidades de desviación estándar. El criterio aplicado considera relevante el tamaño del efecto cuando es mayor que .30 (d > .30), aunque por debajo de ese valor muchas diferencias pueden ser aun estadísticamente significativas (p < .01).

Resultados

El objetivo de esta investigación es evaluar la mejora de la comprensión de NdCyT de los estudiantes comparando la variación de las puntuaciones de las variables obtenidas por medio de los instrumentos de evaluación aplicados. Los análisis de resultados se centran en los índices de las frases y los índices medios ponderados para cada una de las nueve cuestiones, que representan la evaluación más global sobre cada uno de los nueve temas evaluados.

Grupo experimental: estadística descriptiva

El figura 1 muestra las puntuaciones medias en las nueve cuestiones del grupo experimental de estudiantes (los estudiantes que recibieron enseñanza sobre NdCyT de minería), antes y después de la enseñanza de la sea. La figura permite comparar también los cambios producidos y responder a la pregunta sobre la cuantificación de la mejora del grupo experimental como efecto del tratamiento (línea tamaño del efecto).

Figura 1.

Índices medios de las cuestiones obtenidos por el grupo experimental en el pre-test y post-test y tamaño del efecto para las diferencias entre ambos.

Los resultados de ideas previas de los estudiantes (representadas en la figura 1 por la línea pre-test) antes de la aplicación de la sea (pre-test) muestran dos temas con puntuaciones negativas, que representan ideas previas desinformadas (P40142, Responsabilidad social Información a autoridades y P40311, Equilibrio Positivos y negativos) y otras dos cuestiones con puntuaciones medias claramente positivas (P20521, Influencia de la educación Aprendizaje y P40511, Promoción del bienestar Riqueza). Las cinco cuestiones restantes muestran puntuaciones medias iniciales positivas, pero más bajas que las anteriores. Así pues, el perfil global inicial de los estudiantes muestra dos temas como puntos fuertes, dos temas más débiles y el resto unas puntuaciones intermedias.

Los resultados de ideas finales de los estudiantes después de la aplicación de la sea (post-test) muestran un perfil diferente. Los dos temas con puntuaciones iniciales negativas (P40142, Responsabilidad social Información a autoridades y P40311, Equilibrio Positivos y negativos) muestran puntuaciones mejoradas, aunque próximas a cero. Las dos cuestiones con puntuaciones medias claramente positivas (P20521, Influencia de la educación Aprendizaje y P40511, Promoción del bienestar Riqueza) se mantienen sin cambios significativos. De las cinco cuestiones restantes, tres mantienen las puntuaciones positivas (20511, 40531, 80211) y dos tienen puntuaciones positivas pero próximas a cero (20211, 40521). El perfil global final de los estudiantes muestra cuatro temas como puntos fuertes, y otros cuatro temas con puntuaciones neutrales en torno a cero.

Realizando análisis similares para cada una de las 59 frases que contienen las nueve cuestiones de evaluación (figura 2) se encuentran 14 frases (24%) cuyos índices de puntuaciones son muy altos (> .30), y por tanto, puntos fuertes que indican una comprensión muy relevante de las ideas representadas en esas frases. La mayoría de estas frases (8) corresponden a frases categorizadas como adecuadas. En el otro extremo, 12 frases (20%) son puntos muy débiles de la comprensión de los estudiantes, porque tienen índices muy negativos (> .30).

Figura 2.

Índicesmediosdelasfrasesobtenidosporelgrupo experimentalenelpre-test y post-test y tamaño del efecto de las diferencias entre ambos.

Los índices medios finales (post-test) muestran un perfil con 17 frases (29%) cuyos índices son puntos fuertes; la mayoría de estas frases (9) corresponden a frases categorizadas como adecuadas. En el otro extremo, nueve frases (15%) son puntos muy débiles de la comprensión de los estudiantes, porque tienen índices muy negativos.

Análisis de la mejora: comparaciones del grupo experimental

El análisis de la mejora en la comprensión de NdCyT se realiza aplicando dos criterios cuantitativos de comparación basados en los índices medios de los grupos: en primer lugar, se comparan las diferencias del grupo experimental entre antes y después de la enseñanza con la sea y, en segundo lugar, las diferencias entre el grupo control y el grupo experimental.

A su vez, las diferencias entre los índices medios de antes y después del grupo experimental se analizan a través de varios indicadores relacionados con el tamaño del efecto medido por los índices de las cuestiones y de las frases. La suma de los tamaños del efecto medio (mejora positiva; descenso, negativo) para las nueve cuestiones ofrece un valor positivo (+.135), el cual indica que, globalmente, las diferencias entre antes y después de la enseñanza son positivas y representan una mejora para el grupo experimental.

Las diferencias después-antes de las cuestiones están representadas en el figura 1 por la línea tamaño del efecto (los valores positivos representan mejoras). Analizando la mejora de la comprensión en cada cuestión la figura 1 muestra que las mejoras más importantes (d > .1), aunque modestas, suceden en tres cuestiones (20511, 40142, 40311). En otras dos cuestiones se produce un empeoramiento (20211, 40521) y en las otras cuatro las diferencias son irrelevantes (d > .1). Las diferencias no son significativas estadísticamente en ningún caso (prueba U de Mann-Whitney).

La misma comparación de las diferencias entre los índices medios después-antes en todas y cada una de las 59 frases del cuestionario para el grupo experimental están representadas en la figura 2 por las barras punteadas de tamaño del efecto.

La suma de los tamaños del efecto medios para todas las frases ofrece un valor nulo, lo cual indica que, globalmente, las diferencias entre antes y después de la enseñanza para las frases están compensadas: la magnitud media de la mejora se iguala con la magnitud media del empeoramiento.

Sin embargo, si se compara el número de frases que son puntos fuertes después (25%) con las frases puntos fuertes antes (21%) y el número de frases que son puntos débiles después (13%) con las frases que son puntos débiles antes (18%), se observa también una tendencia de mejora, ya que aumenta el número de puntos fuertes y disminuye el número de puntos débiles.

La significación de las diferencias antes-después en cada una de las 59 frases (U de Mann-Whitney) muestra que solo cuatro frases producen diferencias estadísticamente significativas. Dos de las frases tienen diferencias positivas (mejora) y las otras dos tienen diferencias negativas (tabla 3).

Tabla 3.

Índices medios de las frases aplicadas en el pre-test y post-test para evaluar el aprendizaje de la secuencia de enseñanza aprendizaje acerca de la minería, cuyas diferencias son significativas.

Frases	PRE_TEST			POS_TEST			Tamaño del efecto de las diferencias
	N válido	Media	Desviación típica	N válido	Media	Desviación típica
P20511A_P_ Influencia de la educación Estudiantes	15	−.517	.671	15	.133	.550	+ 1.065
P40142E_P_ Responsabilidad social Información autoridades	15	−.317	.555	15	.267	.495	+ 1.112
P40311C_P_ Equilibrio Positivos y negativos	15	.25	.463	15	-.15	.533	-0.803
P40511B_A_ Promoción del bienestar Riqueza	15	.85	.158	15	.683	.240	−0.838

En suma, las diferencias entre antes y después en el grupo experimental valoran el efecto de la enseñanza de la sea como factor determinante del cambio y muestran una tendencia de mejora, aunque las magnitudes del cambio son modestas: mejoras en tres cuestiones, empeoramiento modesto en dos y mantenimiento en cuatro. La tendencia de mejora del grupo experimental medida por los cambios globales en las 59 frases es más clara (figura 2), pues el número de frases que son puntos fuertes —frases cuya comprensión es muy relevante— aumenta (+4%) y el número de frases débiles —frases cuya comprensión es muy negativa— disminuye (-3%).

Análisis de la mejora: comparaciones entre grupo experimental y control

La comparación de las diferencias de mejora entre el grupo control y el grupo experimental es otro criterio efectivo para valorar el impacto de la sea para la mejora de la comprensión. Aunque ambos grupos son equivalentes (para el control de potenciales variables intervinientes, compartidas en ambos grupos pero no explícitas), sus puntos de partida iniciales en comprensión de NdCyt no son iguales, aunque solo sea por la fluctuación meramente muestral.

La figura 3 muestra esa variabilidad inicial de ambos grupos, que no coinciden en la mayoría de cuestiones, y permite usar dos criterios para determinar el grupo con mayor mejora: el simple criterio absoluto de diferencia más grande entre ambos grupos y un criterio relativo, que controla el diferente punto de partida y complementa el criterio absoluto. El criterio relativo es la mayor pendiente (más positiva) de los pares de rectas para los dos grupos en cada cuestión (figura 3); con independencia del punto de partida, si las dos rectas son casi paralelas, no existe diferencia en la mejora de ambos grupos; en otro caso, el grupo que tiene la recta con mayor pendiente obtiene la mejora mayor. Según este criterio, cinco cuestiones (20511, 40142, 40311, 40511, 80211) prueban una mayor mejora del grupo experimental, dos cuestiones (20521, 40531) muestran una evaluación similar sin diferencias entre ambos grupos y dos cuestiones (20211, 40521) muestran una mejora mayor del grupo control.

Figura 3.

Índices medios de las nueve cuestiones del grupo experimental (líneas solidas) y del grupo control (líneas punteadas), antes (pre-test) y después (post-test)

La figura 4 sintetiza los anteriores resultados, mostrando la medida de las diferencias para las cuestiones entre pre-test y post-test (tamaño del efecto) del grupo experimental y del grupo control y permite comparar en cada cuestión la magnitud del cambio de los dos grupos. La mejora lograda por el grupo experimental es superior a la del grupo control en la mayoría de las cuestiones de modo que el balance de esta comparación es positivo para el grupo experimental respecto al grupo control.

Figura 4.

Tamaño del efecto entre pre-test y post-test del grupo experimental y del grupo control para las cuestiones.

Un último análisis podría plantearse en los términos siguientes: según los resultados logrados al final del proceso de aprendizaje (índices medios post-test), ¿la mejora global del grupo experimental respecto al control es positiva o negativa? La figura 5 compara los índices medios finales (posttest) de las cuestiones entre ambos grupos. Se representa el tamaño del efecto de las diferencias del grupo experimental respecto al grupo control (tamaños positivos indican índices mejores en el grupo experimental). El grupo experimental obtiene mejores puntuaciones medias finales que el grupo control en todas las cuestiones, excepto una (20511); además, estas mejores diferencias sobre el grupo control son significativas y relevantes (d > .30) en seis cuestiones. Esto indica que el grupo experimental, al final, logra una comprensión de NdCyT que resulta mucho mejor que la del grupo control en la mayoría de las cuestiones.

Figura 5.

Tamaño del efecto de las diferencias entre el grupo experimental y el grupo control para los índices medios de las cuestiones en post-test (tamaños positivos indican índices mejores en el grupo experimental).

Si este último análisis de comparación entre el grupo experimental y el grupo control se replica para los índices medios de todas las frases que contienen las cuestiones, el resultado es mayoritariamente favorable al grupo experimental respecto al grupo control (figura 6). El grupo experimental obtiene puntuaciones medias mejores que el grupo control en la gran mayoría de las frases (40). Además, estas mejores diferencias del grupo experimental sobre el grupo control son significativas y relevantes (d > .30) en 26 cuestiones, mientras que a la inversa solo sucede en siete frases. Este resultado con las frases indica de nuevo que el grupo experimental, al final, logra una comprensión de NdCyT que resulta significativamente mejor que la lograda por el grupo control.

Figura 6.

Tamaño del efecto de las diferencias entre el grupo experimental y el grupo control para los índices medios de las frases en post-test (tamaños positivos indican índices mejores en el grupo experimental).

Globalmente, la comparación con el grupo control controla la influencia de los múltiples factores intervinientes desconocidos o no evaluados. La comparación de las mejoras antes-después lograda por el grupo experimental y control mostró que el primero obtiene una mejora significativamente mayor que el segundo en cinco cuestiones, aunque el resultado inverso se obtuvo también en dos cuestiones. La comparación de las diferencias entre ambos grupos sobre los índices finales de las cuestiones es más determinante: el grupo experimental obtiene mejores índices medios que el grupo control en todas las cuestiones, excepto una, siendo las diferencias significativas y relevantes (d > .30) en seis cuestiones.

La comparación análoga con los índices medios de las 59 frases, son también mayoritariamente favorables al grupo experimental respecto al grupo control, pues aquél obtiene mejores puntuaciones medias que el grupo control en la gran mayoría de las frases (40). Además, las diferencias sobre el grupo control son significativas y relevantes (d > .30) en 26 frases (casi la mitad de las frases), mientras la inversa (control mejor que experimental) solo sucede en siete frases.

La evaluación cuantitativa anterior se traduce en evaluación formativa a través de la identificación cualitativa de los puntos fuertes y débiles específicos de la enseñanza explícita y reflexiva sobre la minería. Por brevedad, se listan las debilidades, que se corresponden con las siguientes sentencias (ordenadas por diferencia decreciente con el grupo experimental):

• —

  P20211F_P_ Empresas e Investigación ([Las empresas no deben controlar la ciencia: … ] … porque los descubrimientos científicos importantes y trascendentes, que benefician a los ciudadanos, requieren hacer ciencia sin limitaciones).

• —

  P40531E_A_C Bienestar Calidad de Vida (… Sí y no. Más tecnología haría la vida más fácil, más sana y más eficiente. PERO más tecnología provocaría más contaminación, desempleo y otros problemas. El nivel de vida puede mejorar, pero la calidad de vida puede que no).

• —

  P20511C_A_C Influencia de la educación Estudiantes ([‘Los estudiantes deberían estar obligados a estudiar más ciencia: ] … porque es importante para ayudar a nuestro país a seguir el ritmo de otros países).

• —

  P20211G_P_ Empresas e Investigación ([Las empresas no deben controlar la ciencia:] … La ciencia no puede ser controlada por las empresas. Nadie, ni siquiera el científico, puede controlar lo que la ciencia descubrirá).

• —

  P20511E_I_C Influencia de educación Estudiantes ([No se debe pedir a los estudiantes que estudien más la ciencia:… ] … Porque no va a funcionar. A algunas personas no les gusta la ciencia. Si les fuerza a estudiar será una pérdida de tiempo y alejará a la gente de la ciencia).

• —

  P40311C_P_ Equilibrio entre positivo y negativo (… porque las cosas que benefician a algunas personas serán negativos para otra persona. Esto depende del punto de vista de la persona).

A pesar de las debilidades, los resultados anteriores indican que el grupo experimental, al final, logra una comprensión de NdCyT que resulta significativamente mejor que la lograda por el grupo control. Por tanto, el resultado sobre el logro final a lo largo de las frases es todavía más claramente favorable para la mejora conseguida por el grupo experimental.

Conclusiones

Este estudio investiga la eficacia de una sea para mejorar la comprensión de NdCyT acerca de un aspecto socio-científico como es la influencia de una tecnología (la minería) sobre la sociedad y viceversa. Las aportaciones del estudio se centran en la transferibilidad al aula de todos los materiales (sea e instrumento de evaluación), gracias a la estandarización del diseño experimental y docente (pre-post-test con grupo de control), que no solo permite a profesores no especialistas afrontar la enseñanza de NdCyT, sino que también permite comparar los efectos de distintas secuencias didácticas o de diferentes investigaciones, ambos objetivos difíciles de lograr hoy, debido a la inconmensurabilidad de los métodos aplicados por diferentes investigadores (Abd-El-Khalick y Lederman 2000; Rudge y Howe, 2009).

La mejora de la comprensión de NdCyT se evalúa comparando los índices medios de 59 frases (agrupadas en nueve cuestiones de evaluación) del grupo experimental, antes y después de la aplicación de la sea y con el grupo control. En el primer caso, la magnitud de la mejora del grupo experimental es clara y además permiten identificar fortalezas y debilidades de la mejora, aunque el cambio de mejora es modesto en las cuestiones y mayor en las frases. Las fortalezas de mejora corresponden a los temas: responsabilidad social e información a autoridades (40142) y equilibrios entre efectos positivos y negativos (40311); las debilidades ocurren en empresas e investigación (20211) y promoción del bienestar y empleo (40521).

En el segundo caso, las fortalezas de la mejora final del grupo experimental comparado con el grupo control ocurren en ocho (de nueve) temas, siendo de notar empresas e investigación (20211) la única que no mejora, y la influencia de la educación para reclutar estudiantes de ciencias (20511), que no exhibe diferencias relevantes. Cabe subrayar que la interpretación de los pequeños valores numéricos de los índices por la escala elegida (-1 a +1) y de las diferencias no debe ligarse intuitivamente al pequeño valor absoluto de los números; más bien, su interpretación correcta la ofrece el tamaño del efecto, un estadístico que mide diferencias en una escala normal (unidades de desviación estándar), de modo que sus valoraciones son independientes de los valores numéricos de la escala original.

En suma, la eficacia de la sea evaluada mediante la comparación entre el grupo experimental y el grupo de control indica que el grupo experimental logra una comprensión de NdCyT significativamente mejor que la lograda por el grupo control. Esta mejora, apreciable, pero modesta, replica efectos similares de estudios anteriores, cuyas mejoras ni son grandes, ni afectan a todos los aspectos enseñados (Acevedo, 2009; Rudge y Howe, 2009). Para valorar mejor estos modestos avances debe tenerse en cuenta que los estudiantes fueron ciegos a la experiencia didáctica de enseñanza de la sea sobre minería; la intervención es simple, sencilla y breve en el tiempo, cuya principal innovación fue plantear explícitamente y hacer reflexionar a los estudiantes sobre el impacto mutuo sociedad-minería (ver actividades de la sea en Apéndice). Por ello, las mejoras mostradas en los estudiantes tienen mayor autenticidad, internalización y significación, porque no son atribuibles a estímulos externos que habitualmente incentivan el aprendizaje (pasar exámenes, obtener buenas notas, etc.), sino más bien a la motivación intrínseca de haber visitado, argumentado y debatido el problema socio-técnico del papel de la industria minera.

El análisis detallado de la evaluación (índices de las frases antes y después) permite plantear una evaluación auténticamente formativa para la mejora de la comprensión y enseñanza de NdCyT: cada estudiante y grupo tiene un perfil que muestra sus fortalezas, debilidades, oportunidades y desafíos y permite la auto-reflexión formativa sobre el aprendizaje de NdCyT. El análisis detallado de los índices medios de las frases que forman cada cuestión permite determinar las frases responsables del empeoramiento y diseñar una estrategia de recuperación para clarificar mejor esas ideas. Por ejemplo, la disminución de la altísima puntuación inicial media de la frase 40511B (adecuada, “porque más ciencia y tecnología harían a nuestro país menos dependiente de otros países. Nosotros mismos podríamos producir cosas”) a otra menos alta (tabla 3) puede ser atribuida al pensamiento crítico desarrollado en la sea, que modularía la alta seguridad inicial hacia una posición más crítica sobre el papel de la tecnología en la promoción del bienestar. Otro ejemplo es la cuestión 40521, donde solo las cuatro primeras frases son responsables del descenso, mientras que en la cuestión 20211, que también empeora, su descenso se centra en solo dos frases. Así, la evaluación formativa y personalizada permite plantear una instrucción auténtica y una evaluación formativa con base empírica que consolide los puntos fuertes y mejore las debilidades.

Finalmente, esta investigación aporta un planteamiento de la enseñanza de NdCyT desde un enfoque diferente a la mayoría de estudios antecedentes en varios aspectos. En primer lugar, se centra en aspectos concretos y sencillos del tema (solo el papel socio-técnico de la minería), en lugar de plantear a la vez varios aspectos o un tema más amplio, porque se dispone de la posibilidad de diseñar instrumentos de evaluación específicos para el aspecto concreto elegido. Esto facilita en el aula la vinculación entre NdCyT, conceptos científicos específicos (en este caso, química de los metales), objetivos de aprendizaje e ideas de los estudiantes, eliminando detalles excesivos y superfluos (Ryder y Leach, 2009; Taber, 2008). La especificidad del planteamiento aumenta la contextualización y reduce la complejidad innata de NdCyT, lo cual produce efectos positivos en la motivación de los estudiantes y la confianza del profesor, quien es un docente sin especial preparación en NdCyT (Niaz, 2009).

En segundo lugar, a diferencia de los estudios presentados en la introducción, cuyas evaluaciones están basadas mayoritariamente en producciones de los estudiantes abiertas y cualitativas que logran pocas, idiosincrásicas y muy generales conclusiones, el planteamiento cuantitativo estandarizado de este estudio produce de una manera natural datos empíricos que fundamentan conclusiones claras y también análisis cualitativos (puntos fuertes y débiles, cambios significativos, perfiles personales de progreso, transición o estancamiento, etc.); además, podrían complementarse con otras producciones abiertas de los estudiantes reseñadas en la sea (ver Apéndice) como debates, conclusiones e informes, que las limitaciones de espacio no permiten exponer aquí (Abd-El-Khalick y Lederman, 2000).

En tercer lugar, otra aportación no menor es el instrumento de evaluación, estandarizado y específicamente adaptado a cada tema, pues un impedimento importante para que los profesores enseñen NdCyT es la carencia de criterios y herramientas de evaluación. La disponibilidad de un instrumento estandarizado (no requiere conocimientos especializados para evaluar) y flexible (personalizable), que produce perfiles individualizados y puede adaptarse a diferentes necesidades, aporta seguridad y elimina obstáculos para la enseñanza de NdCyT. Paralelamente, la estandarización de esta herramienta permite realizar comparaciones entre diversos tratamientos didácticos para enseñar NdCyT y también entre resultados de diversos investigadores, hasta ahora incomparables por el uso de pruebas abiertas. Desde la perspectiva de la investigación sobre la enseñanza de NdCyT permite superar el problema de la falta replicabilidad y comparabilidad entre estudios, que limitan el progreso en el área (Khishfe, 2008). Obviamente, se necesita investigación adicional que muestre la eficacia de esta línea de investigación en otros casos nuevos para enseñar mejor NdCyT, desarrollando la formación del profesorado en el conocimiento didáctico del contenido y en la dimensión de evaluación formativa (Abd-El-Khalick & Akerson, 2009; Hanuscin, Lee y Akerson, 2011).

Agradecimiento

Proyecto de Investigación EDU2010-16553 financiado por una ayuda del Plan Nacional de I+D+i del Ministerio de Ciencia e Innovación (España).