Exploring the relationship between attitudes toward science and PISA scientific performance

Abstract

The Program for International Student Assessment (PISA) 2006 and PISA 2015 are focused on students’ competency in science, providing wide data banks for the analysis of the interaction between science performance and attitudes toward science. The few attempts to study this relationship in other assessment studies suggest some positive correlations on the individual level and some unexpected negative correlations and a lack of scalar invariance across countries. The aim of this study is to contribute to the exploration of the generalizability of this relationship across countries and regions within nations. For this, the PISA 2015 data are analyzed using Ordinary Least Square and Quantile regression modelling techniques together with bivariate correlation matrix analysis. The relationship patterns between attitudes—such as self-efficacy, interest in science, participation in science activities, and enjoyment of science—and performance in science are explored at different scales; across 72 PISA participating countries and across 17 regions in Spain. Across countries, the relationship is unexpectedly negative for all attitudes, although high quantiles show a much less pronounced pattern. Across regions, only self-efficacy is significantly and positively correlated with science performance. Overall, positive non–linear relationships are distinguished for high performance values. The results of this study suggest the need of further research using non-parametric quantile regression modeling, and exploring attitudinal indices scaling when investigating potential universal/invariant models. This research should try to justify the comparison across countries/regions using aggregated scores, while incorporating differences in cultural, educational, and social influences on attitudes toward science.

Resumen

El Programa Internacional para la Evaluación de Estudiantes (PISA) 2006 y PISA 2015 se centran en la competencia científica de los estudiantes, proporcionando amplios bancos de datos para el análisis de la interacción entre el rendimiento de los estudiantes en ciencias y las actitudes no cognitivas hacia la ciencia. Los pocos estudios que exploran esta relación sugieren correlaciones positivas a nivel individual y correlaciones negativas no esperadas junto con una falta de invariabilidad escalar a nivel internacional. El objetivo de este estudio es el de contribuir a la exploración de modelos para la generalización de esta relación entre países y regiones dentro de las naciones. Para ello, se analizan los datos de PISA 2015 utilizando modelos de regresión de Mínimos Cuadrados Ordinarios y de regresión cuantílica, junto con el análisis de la matriz de correlación bivariada. Los patrones de relación entre las actitudes no cognitivas—como la autoeficacia, el interés por la ciencia, la participación en actividades científicas y el disfrute de la ciencia—y el rendimiento en ciencia se exploran a diferentes escalas; 72 países participantes en el PISA y 17 regiones de España. A nivel internacional, la relación es inesperadamente negativa para todas las actitudes, aunque los cuantiles altos (alto rendimiento en ciencia) muestran un patrón mucho menos pronunciado. A nivel regional, sólo la autoeficacia se correlaciona de forma significativa y positiva con el rendimiento científico. En general, las relaciones no lineales positivas se distinguen por sus altos valores de rendimiento. Los resultados de este estudio sugieren la aplicación de modelos no paramétricos de regresión cuantílica y el análisis de las propiedades de los índices de actitud y el efecto de la escala en futuras investigaciones para el desarrollo de modelos universales. Estas investigaciones deberían tratar de justificar la comparación entre países/regiones utilizando puntuaciones medias a la vez que incorporan las diferencias de la influencia cultural, educativa y social en las actitudes hacia la ciencia.