A case study in principled assessment design: Designing assessments to measure and support the development of argumentative reading and writing skills

Abstract

This paper presents a principled approach to assessment design in which major design decisions are structured to support teaching and learning. This approach, developed as part of a long-term research initiative at ETS, Cognitively Based Assessments of, for and as Learning (CBAL), draws upon the learning and cognitive science literatures to create richly-structured assessments that simultaneously measure critical component skills and model effective strategies for applying those skills to complex performance tasks. To illustrate our approach, we focus on an important literacy practice: argumentation. Our model seeks to measure qualitative shifts in the development of critical argumentation skills by postulating argumentation learning progressions informed by the developmental literature. These learning progressions play a critical role in guiding assessment design decisions (selecting targeted skills, developing items to measure those skills, and determining task sequences) and may have the potential to support teachers’ instructional decisions that effectively scaffold the development of students’ argumentation skills.

Resumen

Este artículo aborda la cuestión de cómo diseñar de manera fundamentada una evaluación donde las principales decisiones se toman con el fin de apoyar el proceso de enseñanza-aprendizaje. Este trabajo ha sido desarrollado como parte de un extenso proyecto de investigación en el ETS –evaluación cognitiva de, por y para el aprendizaje (CBAL en su acrónimo inglés)– y se nutre de la literatura previa sobre cognición y aprendizaje para crear evaluaciones con una estructura muy elaborada que, de forma simultánea, miden habilidades críticas y modelan estrategias eficaces para aplicar esas habilidades a tareas complejas de resolver. Para ilustrar este marco de trabajo, nos centramos en una importante práctica relacionada con la lectura y la escritura: la argumentación. Nuestro modelo trata de medir cambios cualitativos en el desarrollo de habilidades críticas de argumentación, postulando una progresión de aprendizaje para la argumentación tomada de la literatura especializada. Las progresiones de aprendizaje juegan un papel decisivo a la hora de tomar decisiones relativas al diseño de la evaluación (seleccionar las habilidades básicas, elaborar preguntas para medir esas habilidades y determinar la secuencia de las tareas) y pueden también contribuir a que los profesores tomen decisiones relativas a la instrucción que sirvan para estructurar de forma efectiva el desarrollo de la capacidad de argumentar de sus estudiantes.