La evaluación de los sistemas educativos no es nada nuevo ni en el panorama nacional, ni en el internacional. En 24 de los 34 países que configuran la OCDE existe una prueba externa y estandarizada (PISA, 2010, página 229 del Volumen IV, OCDE 2013 Synergies for Better Learning: An International Perspective on Evaluation and Assessment). Dos de cada tres alumnos de los países más desarrollados del mundo se encuentran en sistemas educativos en los que se realizan este tipo de pruebas. La OCDE en “Education at a Glance, 2011” indica que existe una tendencia al alza en el empleo de pruebas externas y estandarizadas. “Performance accountability has grown in importance over time partly due to shifting interest in outcomes, as well as to the technological advances that have made it easier to test large populations of students” (página 432, Education at a Glance, 2011).

En España han existido diferentes tipos de evaluación a lo largo de las últimas décadas. El Instituto Nacional de Evaluación Educativa (INEE) muestra las evaluaciones nacionales realizadas en nuestro país durante los últimos 20 años para distintas etapas y asignaturas. La primera evaluación de este tipo se inició con la puesta en marcha del Instituto Nacional de Calidad y Evaluación (INCE), predecesor del actual INEE, y se enmarcó dentro de la evaluación general del sistema educativo, desarrollándose a lo largo del curso 1994-95. Posteriormente se continuó realizando esta evaluación, con una periodicidad cuatrienal, en los cursos 1998-99, 2002-03 y 2006-07. Aunque todas estas pruebas supusieron una mejora importante en la cultura de la evaluación del sistema educativo español, su uso como herramienta de transparencia y su aplicación para la mejora educativa todavía era inferior al conjunto de los países desarrollados. El gráfico, extraído de la revisión sobre los sistemas de evaluación educativos en la OCDE, situaba a España en el grupo que menos uso hacía en 2013 de las evaluaciones, tanto para la mejora educativa como, sobre todo, para la rendición de cuentas. 

Una diferencia a destacar con estas evaluaciones es que eran de carácter muestral, mientras que las evaluaciones propuestas en la LOMCE tienen carácter censal. Es importante señalar que la evaluación es una poderosa herramienta para el aprendizaje y la toma de decisiones para la mejora. Mientras que el docente evalúa los aprendizajes del alumno con la información de la que dispone a lo largo de todo un curso académico, las evaluaciones externas evalúan al sistema a través del alumno partiendo de una foto fija. Por ello es importante el cuestionario de contexto que acompaña estas evaluaciones que permiten analizar datos diferenciando por chicos y chicas, índice socioeconómico y cultural, estudios de los padres, etc. No se trata por tanto de dar una nota al alumno, sino de poder elaborar diversos informes que nos permitirán analizar los datos en profundidad. La evaluación ofrece niveles de rendimiento para cada alumno, grupo, centro y Comunidad Autónoma, relativos al grado de adquisición o dominio de cada competencia en cada una de las materias evaluadas y por bloques de contenidos.

Por todo ello, una de las finalidades de la evaluación es ofrecer un informe individualizado a cada uno de los alumnos, sobre su progreso en el grado de adquisición de las competencias en comunicación lingüística, matemática y ciencia y tecnología. Además, trata de ofrecer una información objetiva a las familias, centros y administración educativa sobre el progreso de los alumnos y permitir el análisis de los resultados. Los resultados de la evaluación individualizada representan un complemento a los datos que, a lo largo de todo el curso académico, los centros obtienen de los alumnos, lo cual facilitará el establecimiento de medidas de mejora por parte de equipos docentes, directivos, Inspección y administración educativa.

A partir de la evaluación se podrán elaborar diferentes tipos de informe, como los que aparecen en la siguiente tabla. Cada informe tiene unas particularidades concretas en función de los destinatarios.

Imagen del Marco General de la evaluación final de Educación Primaria

Las características de las pruebas diseñadas se fundamentan en los estándares de evaluaciones internacionales fruto de la experiencia adquirida por España y las comunidades autónomas a raíz de su participación en el ámbito de las evaluaciones internacionales, tanto en los estudios PISA (Programa para la Evaluación Internacional de Estudiantes), PIAAC (Programa Internacional para la Evaluación de las competencias de la población adulta) y TALIS (Estudio internacional de la enseñanza y el aprendizaje), de la Organización para la Cooperación y el Desarrollo Económico (OCDE), como en los estudios TIMSS (Estudio Internacional de Tendencias en Matemáticas y Ciencias) y PIRLS (Estudio Internacional de Progreso en Comprensión Lectora), de la Asociación Internacional para la Evaluación del Rendimiento Educativo (IEA, por sus siglas en inglés), y en el Estudio Europeo de Comunicación Lingüística (EECL), de la Unión Europea.

El diseño de las pruebas es equilibrado entre lo conceptual y lo competencial, pudiendo dividir la prueba en unidades de evaluación configuradas por estímulos y preguntas vinculadas con estos estímulos. Las preguntas serán de diversa tipología, de elección múltiple, de respuesta cerrada, de respuesta abierta, etc. De esta forma se intenta posicionar al alumno en una situación lo más real posible a partir de la cual plantearle preguntas. El conjunto de unidades de evaluación y las preguntas vinculadas, se adaptan a una matriz de especificaciones que tiene un reparto concreto en contenidos y procesos cognitivos que permiten realizar una evaluación equilibrada en su conjunto. Así, una pregunta estará biunívocamente relacionada con un bloque de contenidos y con un grado de adquisición de la competencia o proceso cognitivo. En la siguiente matriz se muestra un ejemplo de la matriz de especificaciones de la competencia matemática con los pesos (%) de preguntas que tendría que haber para cada bloque de contenido y proceso cognitivo.

Imagen del Marco General de la evaluación final de Educación Primaria

Todo el proceso de estandarización que se realiza en los procesos de diseño de unidades de evaluación, en los pilotajes de pruebas que permiten establecer la validez de los estímulos y preguntas se complementan con unas pautas en el proceso de codificación (corrección) que evitan que docentes más severos o más flexibles emitan juicios distintos sobre la validez de las respuestas de los alumnos. Por ello las unidades de evaluación, tienen un tercer elemento que son las guías de codificación que permiten establecer patrones homogéneos en la corrección, indicando para cada pregunta alternativas de respuestas correctas, parcialmente correctas o respuestas incorrectas. De esta manera se evita el posible sesgo que pudiera tener el corrector.

Los profesores de la Universidad de Stanford Eric Hanushek y el del Instituto CesIfo de Munich Ludger Woessmann, resumieron en un estudio de 2011 «The Economics of International Differences in Educational Achievement,» (publicado en Handbook of the Economics of Education, Vol. 3, Amsterdam: North Holland,  89-200) los artículos de investigación que han analizado la relación entre la existencia de estas pruebas y el rendimiento académico de los alumnos. La evidencia es concluyente: los test externos y estandarizados mejoran los resultados académicos de los alumnos entre un 20% y un 40% de la desviación típica, tanto como si cada alumno hubiese estudiado medio curso escolar más al llegar a 4º de la ESO.

El gráfico siguiente, obtenido del mismo estudio de Hanushek y Woessmann muestra que la autonomía de los centros combinada con la existencia de pruebas externas y estandarizadas es la combinación que proporciona mejores resultados. La segunda mejor combinación es pruebas externas sin autonomía, seguida de ausencia de autonomía y ausencia de pruebas y la última –la peor combinación- es existencia de autonomía sin pruebas externas y estandarizadas.

Por otro lado, en el informe Education at a Glance de la OCDE de 2012 se indica (pag 527) “en los países en cuyos sistemas de evaluación incluyen exámenes externos estandarizados, la puntuación de Lectura es 16 puntos superior de media que en los que no se aplican pruebas de estas características”. (16 puntos en PISA un 16% de la desviación típica, similar al 20% al que encuentran Hanushek y Woessmann).

Otros estudios como el de los Profesores Piopiunik, Schwerdt y Woessmann (2013) («Central School Exit Exams and Labor-Market Outcomes,» European Journal of Political Economy, 31, 93–108) muestra que, controlando por los demás factores, los jóvenes en regiones alemanas con pruebas externas y estandarizadas tienen un salario un 6,4% superior y una probabilidad de un 2,4% inferior de desempleo a los jóvenes en regiones alemanas sin este tipo de pruebas.

En la segunda parte de esta entrada (que se publicará mañana) hablaremos sobre críticas como el “teaching to the test” y los efectos sobre centros desfavorecidos.