Educación

La importancia de las evaluaciones educativas como herramienta de transparencia y mejora (II)

14 Sep, 2016 - y - @sanz_ismael, @dcerverao,

En la primera parte del artículo hablamos sobre la importancia de las evaluaciones educativas, hoy sobre sus críticas.

Críticas: “teaching to the test” y efecto sobre centros desfavorecidos

Dos han sido las críticas que han recibido generalmente las pruebas externas. Sobre el “teaching to the test” los estudios resumidos en el artículo de los profesores Hanushek y Woessmann señalan que aquellos países o regiones en donde existe un examen nacional externo y estandarizado obtienen mejores resultados en pruebas internacionales muy diferentes a ese examen nacional como son PISA, TIMSS y PIRLS. La evidencia empírica mencionada por Antonio Cabrales, Catedrático de la Carlos III y de la University College London, en su comparencia ante el Congreso de los Diputados el 10 de julio de 2013 es que las pruebas externas y estandarizadas NO reducen actividades como leer por placer o ver programas científicos. Y aumentan actividades como hacer experimentos, que no “entran en el examen”

La segunda de las críticas a las pruebas externas y estandarizadas es que la publicación de los resultados perjudica a aquellos centros que se encuentran en zonas desaventajadas. Por eso es importante que el rendimiento medio alcanzado por los centros se sitúe en relación a la situación socioeconómica y características de sus alumnos. Es decir, centrarse en el valor añadido del centro educativo o lo que es lo mismo, a los resultados medios que logra una vez descontado el contexto en el que se encuentra. Hablaríamos por tanto, de si un centro obtiene mejores o peores resultados de los que le correspondería. De hecho, Ludger Woessmann (The effect heterogeneity of central examinations: evidence from TIMSS, TIMSS-Repeat and PISA, Education Economics 13 (2), 143–169, 2005) encuentra que todos los alumnos se benefician de la existencia de pruebas externas y estandarizadas, independientemente de su nivel socio-económico.  Education at a Glance de la OCDE de 2012 añade en la página 527 que “la existencia de pruebas externas y estandarizas no perjudica la equidad”

Varios estudios de Estados Unidos señalan que las evaluaciones son un instrumento muy útil para la igualdad de oportunidades, puesto que mejoran en mayor medida el aprendizaje de los centros situados en zonas desfavorecidas y, dentro de estos, entre los alumnos rezagados. El artículo de David Deming et al. (2016, “School Accountability, Postsecondary Attainment and Earnings” con Sarah Cohodes, Jennifer Jennings y Sandy Jencks, Review of Economics and Statistics), muestra que la introducción de pruebas externas y estandarizadas en Texas en la década de los 90, provocó que los centros educativos que corrían el riesgo de ser catalogados de “bajo-rendimiento” mejoraran su rendimiento en un 4% de la desviación típica. Este incremento en el aprendizaje de los centros desfavorecidos fue aún mayor, del 7% de la desviación típica, entre sus alumnos rezagados y de las minorías hispana y negra. En buena medida esta reducción de las disparidades en rendimiento académico viene provocada por el hecho de que la Ley de Texas, como también No Child Left Behind en todo el país, fija como indicador del centro el peor resultado de todos los subgrupos por minoría y por entorno socio-económico. En consecuencia, de nada le sirve a un centro mejorar sus resultados en pruebas externas si un subgrupo de estudiantes (ya sea el que recibe becas de comedor, el hispano o el negro) se queda rezagado, pues será el indicador del peor de estos subgrupos el que le cuenta para la rendición de cuentas. Se ha argumentado en muchas ocasiones que la mejora de rendimiento en las evaluaciones externas no siempre refleja un mayor aprendizaje de los alumnos, pues puede ser la consecuencia de un entrenamiento de cara a los tests ( teaching to the test) que no conlleve una adquisición de competencias real. Lo cierto es que Deming et al . (2013) siguen a los estudiantes que realizaron estas pruebas hasta su inserción laboral y comprueban que los jóvenes que estudiaron en centros que corrían el riesgo de ser catalogados de “bajo- rendimiento” aumentaron la probabilidad de acudir a la universidad en un 1% y mejoraron su salario a los 25 años en otro 1%. Este efecto es aún mayor entre los alumnos rezagados de los centros con peores resultados. Es decir, que la mejora de resultados en las pruebas externas y estandarizadas tiene efectos duraderos en el medio y largo plazo en el sistema educativo y en el mercado laboral, lo que solo se explica si reflejan una mayor adquisición de competencias.

Jacob Vidgor y Thomas Ahn (2014, “The Impact of No Child Left Behind’s Accountability Sanctions on School Performance: Regression Discontinuity Evidence from North Carolina,” NBER Working Papers 20511) analizan el caso de la introducción de incentivos y sanciones a los centros educativos que por varios años alcanzan resultados en pruebas externas y estandarizadas por debajo de lo que les correspondería de acuerdo al contexto socio-económico en el que se encuentran sus alumnos y que además no logran mejorar su situación. En concreto, analizan el sistema de Carolina del Norte, en el que cuando un instituto no alcanza los indicadores de valor añadido y progreso predeterminados tiene una serie de sanciones graduales. Vigdor y Ahn (2014) emplean la discontinuidad en los puntos de corte que deciden si el centro es sancionado para contrastar que los institutos que reciben la sanción por escaso margen (han estado a punto de superar los resultados requeridos pero no lo han logrado) mejoran sus resultados hasta en un 5,5% de la desviación típica con respecto a los que sí alcanzaron el umbral exigido pero también por escaso margen. Los estudiantes rezagados de centros que por segundo año no han superado los criterios establecidos, en el último curso por escaso margen, incrementan su rendimiento en un 11% más de la  desviación típica que los alumnos rezagados de centros que el primer año también fueron sancionados pero el segundo superaron por poco el umbral.

En suma, como concluyen David Figlio y Susan Loeb (2011, “School Accountability” en Handbook of the Economics of Education, Vol. 3, Amsterdam: North Holland, 383-423) en su análisis de los sistemas de evaluación de los Estados de EEUU el efecto de esta herramienta de transparencia es significativamente positivo (y entre todas las áreas, particularmente en matemáticas). Esta mejora del aprendizaje de los alumnos que producen las pruebas externas y estandarizadas es aún mayor en los alumnos rezagados y permanece en el tiempo, con más tasas de graduación y mejor desempeño laboral. Figlio y Loeb (2011) señalan que es muy importante cuidar el diseño de las evaluaciones y monitorizarlas. En concreto hay elementos de este diseño que influyen en las consecuencias de introducir evaluaciones en el sistema educativo como son acompañar los resultados de las pruebas con indicadores de tasas de graduación y absentismo (para incentivar que se presente el mayor número de alumnos). También es muy relevante que estas evaluaciones sean percibidas por la comunidad educativa como justas y que en su elaboración se tengan en cuenta las consideraciones de los docentes, alumnos e investigadores. Y finalmente, al valorar los resultados de las pruebas hay que estar atentos a la posibilidad de que se produzca un “score inflation”, que parezca que de forma artificial parezca que las notas de los alumnos están mejorando. Algunos Estados de Estados Unidos han mejorado constantemente sus resultados en las evaluaciones nacionales y estatales derivadas de No Child Left Behind, cuando EEUU se ha mantenido estancada en las de carácter internacional. A este respecto, es importante participar en pruebas internacionales educativas como PISA, TIMSS, PIRLS.. y contrastar si las posibles mejoras en los resultados en las pruebas externas y estandarizadas nacionales se traducen también en progresos en comparación con otros países.