Educación

Relativizando la importancia e impacto de las evaluaciones externas internacionales y las políticas de rendición de cuentas

2 Dic, 2016 -

A una semana de que se publiquen los resultados de PISA 2015, y siendo conscientes de sus fortalezas y de su capacidad para introducir el debate de la calidad de la educación en la práctica totalidad de las agendas políticas, es necesario hacer algunos apuntes sobre sus implicaciones y riesgos.

El incremento de las pruebas estandarizadas internacionales y nacionales y el ascenso de las políticas de rendición de cuentas o accountability en este contexto político globalizado hacen necesaria una mirada crítica que relativice su importancia. En primer lugar haremos referencia a las implicaciones de los sistemas de accountability en el campo educativo. En segundo lugar, nos centraremos en los peligros de las evaluaciones externas del sistema educativo. Y en tercer lugar, antes de cerrar con las conclusiones, agrupamos las principales críticas a este tipo de políticas en dos grupos: críticas a la concepción ideológica y críticas a las pruebas en sí mismas, a su diseño, implementación y al uso de los resultados.

Los sistemas de accountability han tenido implicaciones en el universo educativo, implicaciones que van desde la gestión pública (Lee, 2007), las políticas de elección de centro (Betenner, Howe y Foster, 2005) hasta llegar a los diferentes agentes educativos: en la dirección escolar (Merki, 2011), en los docentes (Kostogriz y Doecke, 2011) o en los estudiantes (Amrein y Berliner, 2003; Darling – Hammond, 2007; Ryan y Shepard, 2008).

Las evaluaciones externas son la principal y más poderosa herramienta de estos sistemas de accountability en el ámbito educativo. Estas evaluaciones pueden presentar algunos peligros que debemos conocer. En primer lugar, un uso excesivo de estas políticas pueden llevarnos a lo que Guy Neave denominó el “estado evaluador”. Pero junto a este peligro encontramos otros como: olvidar lo que no se evalúa, lo que se ha denominado teaching for the test (Baker, 2009a), la inflación de las calificaciones porque el docente también se siente evaluado (Jacob, 2007), u otras prácticas de gaming the system como que sólo se evalúe a los buenos estudiantes (Figlio y Getzler, 2002) o el hecho de que algunos centros “jueguen con el calendario”, para dar a sus estudiantes más tiempo para prepararse los exámenes, cuando además estos centros también suelen disponer de tiempos extra de aula en el horario escolar, lo que significa más horas de las asignaturas evaluables (Sims, 2008).

Las críticas a las políticas de rendición de cuentas, y por lo tanto a las evaluaciones externas, se dividen en dos grupos: por un lado, las críticas a la ideología que sustenta estas prácticas y por otro lado a las pruebas en sí mismas.

En el grupo de las críticas a la concepción ideológica de los sistemas de accountability, se encuentran aquellas que advierten de la tendencia hacia la “sociedad de la auditoría” (Kostogriz y Doecke, 2011), hacia la privatización del sector educativo (Ball, 2014), hacia un reduccionismo o simplificación de la realidad educativa (Labaree, 2014; Ryan, 2002), que a pesar de que las intenciones eran buenas, los resultados han sido nefastos

Estas críticas tienen su versión más dura en quienes hacen una enmienda a la totalidad a este tipo de políticas sosteniendo que significan un asalto a la pedagogía de calidad y a los ideales democráticos de equidad y justicia social (Tuck, 2013), provocando un distanciamiento de las comunidades locales y favoreciendo la hegemonía cultural de las poblaciones urbanas sobre las rurales o indígenas.

En el grupo de las críticas enfocadas a las pruebas en sí mismas, a su diseño, implementación y uso, se encuentran trabajos que se hacen eco de los límites de estos sistemas (Lee y Wong, 2004), los que sostienen que han sido claramente insuficientes y poco útiles por generar distorsiones en las puntuaciones (Koretz, 2008), los trabajos que afirman que las pruebas “pueden dictar contenidos, pero no pueden dictar pedagogía” (Diamond, 2012), o los trabajos que sostienen que estas pruebas adolecen de contexto (Hutt, 2014). Monarca (2012), por su parte, habla de algunos efectos no deseados de las evaluaciones del sistema educativo como la devaluación del currículum, el refuerzo de las situaciones de desigualdad e injusticia y la marginalidad de la evolución y los progresos de los aprendizajes (lo que el autor llamará “evaluación estática del logro”).

Por último, y a pesar de todo lo dicho hasta ahora, podríamos afirmar, como de hecho algunos autores afirman (I y II) que las evaluaciones son herramientas de mejora, pero para eso se debe promover un uso responsable de los resultados de las evaluaciones, y la literatura académica está repleta de ejemplos en los que se han sobreinterpretado los resultados. Harris (2011) sostiene que la mayoría de las preguntas clave que debemos plantear para mejorar el sistema, no pueden ser respondidas por los tipos de estudios que actualmente dominan el panorama internacional. Otros autores advierten de que los resultados de las evaluaciones siempre son parciales y segmentados (Nagy et al, 2000), incluso hay quien considera que los aportan conocimientos utilizables pero no útiles (Baker, 2009b). Sin caer en la siempre recurrente crítica del establecimiento de rankings a partir de evaluaciones externas como PISA, algunos trabajos apuestan por una presentación cualitativa, razonada, de los resultados haciendo énfasis en la contextualización del objeto evaluado, (Froemel, 2009) o por un cambio en el enfoque, pasando de una evaluación del aprendizaje a una evaluación para el aprendizaje (Birembaun et al, 2006). Una corriente dentro de los usos de las evaluaciones externas propone que a través de ellas se fijen incentivos y recompensas. En este sentido, Hargreaves y Fullan (2012) resumen la visión crítica sosteniendo que “la remuneración por méritos en la enseñanza tiene un record centenario de fracasos” así que “o bien hará empeorar a los mejores maestros, o la enseñanza se convertirá en operaciones estandarizadas, simplificadas y definidas para que la remuneración por mérito tenga un efecto positivo” (p. 41 y 42).

En definitiva, tenemos que frenar el uso de los resultados de estas evaluaciones como mantras políticos, cuando son evaluaciones limitadas. Estamos sacando conclusiones de cómo está el sistema educativo en base a una fotografía muy concreta del mismo. Una fotografía que además muestra tan sólo los productos del sistema (los aprendizajes de los estudiantes, y no todos) y no aporta información sobre los inputs ni los procesos. Las evaluaciones externas sobre el rendimiento de los estudiantes son un elemento que debemos considerar al evaluar el sistema, pero no tendría que ser el único ni siquiera el más importante. Ya en el año 2007 el informe McKinsey sostuvo que la calidad de un sistema educativo nunca estará por encima de la calidad de sus docentes, ¿pero cómo vamos a mejorar a nuestros docentes si no les evaluamos? ¿acaso pretendemos evaluar a los docentes exclusivamente a través de los resultados de los estudiantes? Y aun evaluando a los estudiantes y a los profesores, para tener una evaluación del sistema educativo nos faltarían la evaluación de la dirección escolar, de los centros (clima, convivencia, atención a la diversidad, relación con el entorno político – social, etc.), los programas educativos, la Inspección, la propia Administración y los efectos secundarios de la educación formal.

Por todo ello, tenemos que dudar de la asepsia de las intenciones de la OCDE y aconsejar una interpretación modesta y ajustada de los resultados, que salen el 6 de diciembre, de PISA 2015 como indicadores de calidad del sistema. Sabiendo que PISA pretende prescribir políticas educativas, a través de la comparación internacional, advirtamos que las políticas que funcionan en un contexto no necesariamente funcionarán igual en otro diferente.

Los ciudadanos debemos conocer estos riesgos y relativizar la importancia e impacto de estas evaluaciones a la hora de justificar políticas educativas en base a los resultados de las mismas.