A una semana de que se publiquen los resultados de PISA 2015, y siendo conscientes de sus fortalezas y de su capacidad para introducir el debate de la calidad de la educación en la práctica totalidad de las agendas políticas, es necesario hacer algunos apuntes sobre sus implicaciones y riesgos.
El incremento de las pruebas estandarizadas internacionales y nacionales y el ascenso de las políticas de rendición de cuentas o accountability en este contexto político globalizado hacen necesaria una mirada crítica que relativice su importancia. En primer lugar haremos referencia a las implicaciones de los sistemas de accountability en el campo educativo. En segundo lugar, nos centraremos en los peligros de las evaluaciones externas del sistema educativo. Y en tercer lugar, antes de cerrar con las conclusiones, agrupamos las principales críticas a este tipo de políticas en dos grupos: críticas a la concepción ideológica y críticas a las pruebas en sí mismas, a su diseño, implementación y al uso de los resultados.
Los sistemas de accountability han tenido implicaciones en el universo educativo, implicaciones que van desde la gestión pública (Lee, 2007), las políticas de elección de centro (Betenner, Howe y Foster, 2005) hasta llegar a los diferentes agentes educativos: en la dirección escolar (Merki, 2011), en los docentes (Kostogriz y Doecke, 2011) o en los estudiantes (Amrein y Berliner, 2003; Darling – Hammond, 2007; Ryan y Shepard, 2008).
Las evaluaciones externas son la principal y más poderosa herramienta de estos sistemas de accountability en el ámbito educativo. Estas evaluaciones pueden presentar algunos peligros que debemos conocer. En primer lugar, un uso excesivo de estas políticas pueden llevarnos a lo que Guy Neave denominó el “estado evaluador”. Pero junto a este peligro encontramos otros como: olvidar lo que no se evalúa, lo que se ha denominado teaching for the test (Baker, 2009a), la inflación de las calificaciones porque el docente también se siente evaluado (Jacob, 2007), u otras prácticas de gaming the system como que sólo se evalúe a los buenos estudiantes (Figlio y Getzler, 2002) o el hecho de que algunos centros “jueguen con el calendario”, para dar a sus estudiantes más tiempo para prepararse los exámenes, cuando además estos centros también suelen disponer de tiempos extra de aula en el horario escolar, lo que significa más horas de las asignaturas evaluables (Sims, 2008).
Las críticas a las políticas de rendición de cuentas, y por lo tanto a las evaluaciones externas, se dividen en dos grupos: por un lado, las críticas a la ideología que sustenta estas prácticas y por otro lado a las pruebas en sí mismas.
En el grupo de las críticas a la concepción ideológica de los sistemas de accountability, se encuentran aquellas que advierten de la tendencia hacia la “sociedad de la auditoría” (Kostogriz y Doecke, 2011), hacia la privatización del sector educativo (Ball, 2014), hacia un reduccionismo o simplificación de la realidad educativa (Labaree, 2014; Ryan, 2002), que a pesar de que las intenciones eran buenas, los resultados han sido nefastos
Estas críticas tienen su versión más dura en quienes hacen una enmienda a la totalidad a este tipo de políticas sosteniendo que significan un asalto a la pedagogía de calidad y a los ideales democráticos de equidad y justicia social (Tuck, 2013), provocando un distanciamiento de las comunidades locales y favoreciendo la hegemonía cultural de las poblaciones urbanas sobre las rurales o indígenas.
En el grupo de las críticas enfocadas a las pruebas en sí mismas, a su diseño, implementación y uso, se encuentran trabajos que se hacen eco de los límites de estos sistemas (Lee y Wong, 2004), los que sostienen que han sido claramente insuficientes y poco útiles por generar distorsiones en las puntuaciones (Koretz, 2008), los trabajos que afirman que las pruebas “pueden dictar contenidos, pero no pueden dictar pedagogía” (Diamond, 2012), o los trabajos que sostienen que estas pruebas adolecen de contexto (Hutt, 2014). Monarca (2012), por su parte, habla de algunos efectos no deseados de las evaluaciones del sistema educativo como la devaluación del currículum, el refuerzo de las situaciones de desigualdad e injusticia y la marginalidad de la evolución y los progresos de los aprendizajes (lo que el autor llamará “evaluación estática del logro”).
Por último, y a pesar de todo lo dicho hasta ahora, podríamos afirmar, como de hecho algunos autores afirman (I y II) que las evaluaciones son herramientas de mejora, pero para eso se debe promover un uso responsable de los resultados de las evaluaciones, y la literatura académica está repleta de ejemplos en los que se han sobreinterpretado los resultados. Harris (2011) sostiene que la mayoría de las preguntas clave que debemos plantear para mejorar el sistema, no pueden ser respondidas por los tipos de estudios que actualmente dominan el panorama internacional. Otros autores advierten de que los resultados de las evaluaciones siempre son parciales y segmentados (Nagy et al, 2000), incluso hay quien considera que los aportan conocimientos utilizables pero no útiles (Baker, 2009b). Sin caer en la siempre recurrente crítica del establecimiento de rankings a partir de evaluaciones externas como PISA, algunos trabajos apuestan por una presentación cualitativa, razonada, de los resultados haciendo énfasis en la contextualización del objeto evaluado, (Froemel, 2009) o por un cambio en el enfoque, pasando de una evaluación del aprendizaje a una evaluación para el aprendizaje (Birembaun et al, 2006). Una corriente dentro de los usos de las evaluaciones externas propone que a través de ellas se fijen incentivos y recompensas. En este sentido, Hargreaves y Fullan (2012) resumen la visión crítica sosteniendo que “la remuneración por méritos en la enseñanza tiene un record centenario de fracasos” así que “o bien hará empeorar a los mejores maestros, o la enseñanza se convertirá en operaciones estandarizadas, simplificadas y definidas para que la remuneración por mérito tenga un efecto positivo” (p. 41 y 42).
En definitiva, tenemos que frenar el uso de los resultados de estas evaluaciones como mantras políticos, cuando son evaluaciones limitadas. Estamos sacando conclusiones de cómo está el sistema educativo en base a una fotografía muy concreta del mismo. Una fotografía que además muestra tan sólo los productos del sistema (los aprendizajes de los estudiantes, y no todos) y no aporta información sobre los inputs ni los procesos. Las evaluaciones externas sobre el rendimiento de los estudiantes son un elemento que debemos considerar al evaluar el sistema, pero no tendría que ser el único ni siquiera el más importante. Ya en el año 2007 el informe McKinsey sostuvo que la calidad de un sistema educativo nunca estará por encima de la calidad de sus docentes, ¿pero cómo vamos a mejorar a nuestros docentes si no les evaluamos? ¿acaso pretendemos evaluar a los docentes exclusivamente a través de los resultados de los estudiantes? Y aun evaluando a los estudiantes y a los profesores, para tener una evaluación del sistema educativo nos faltarían la evaluación de la dirección escolar, de los centros (clima, convivencia, atención a la diversidad, relación con el entorno político – social, etc.), los programas educativos, la Inspección, la propia Administración y los efectos secundarios de la educación formal.
Por todo ello, tenemos que dudar de la asepsia de las intenciones de la OCDE y aconsejar una interpretación modesta y ajustada de los resultados, que salen el 6 de diciembre, de PISA 2015 como indicadores de calidad del sistema. Sabiendo que PISA pretende prescribir políticas educativas, a través de la comparación internacional, advirtamos que las políticas que funcionan en un contexto no necesariamente funcionarán igual en otro diferente.
Los ciudadanos debemos conocer estos riesgos y relativizar la importancia e impacto de estas evaluaciones a la hora de justificar políticas educativas en base a los resultados de las mismas.
Aproximadamente la mitad de los países miembros de la OCDE recompensan el rendimiento en la enseñanza de distintas formas. En unos casos se prima a los profesores individualmente, en otros a la escuela de forma colectiva; incluso en algunos casos puntuales también se incentiva económicamente a los alumnos. Pero, cuando se comparan los resultados de estos países con los de aquellos que no utilizan este sistema, los datos no son nada concluyentes. No se puede afirmar que haya una relación entre los resultados educativos de un país y el pago basado en el rendimiento, puesto que hay países con buenos resultados que no lo utilizan y otros con resultados pobres que sí lo emplean.
Lo que sí parecen apuntar los datos es que, en aquellos países donde los salarios de los profesores son más bajos, el rendimiento de los alumnos tiende a mejorar cuando se hace un pago basado en el rendimiento, mientras que en los países donde los profesores están bien pagados al aplicar este sistema se consigue el efecto contrario.
http://www.otraspoliticas.com/educacion/incentivos-y-mejora-educativa
Hacía un tiempo que no había entradas sobre el sistema educativo y en vísperas de que se publique un nuevo Informe PISA ¿dos entradas para alertarnos de los riesgos de una interpretación equivocada de los mismos?
¿Quién teme a los informes PISA? ¿La venda antes de la herida?
Primero, durante noviembre ha habido una entrada cada semana durante el mes de noviembre, como se puede comprobar en la página del ciclo de educación (http://politikon.es/temas/educacion/), que estoy siguiendo con interés.
Segundo, personalmente entiendo que una gran parte de las entradas de esta página señalan que siempre hay que ser muy cuidadosos con la fiabilidad de las conclusiones que uno saca de unos datos – o incluso de los datos mismos. Sí, en esta entrada se han mencionado las críticas ideológicas a estas métricas, pero se comentan de manera mucho más extensa las críticas enfocadas al diseño e implementación del método, y a sus consecuencias.
No veo nada de malo en mantener un nivel saludable de escepticismo, sean cuales sean los resultados de las pruebas para diferentes países.
Sigo el blog con bastante regularidad y sé cuánto y sobre qué se ha publicado. En muchas de las entradas he dejado comentarios. Me refería al sistema educativo, como sistema, no algún aspecto parcial del mismo, que puede ser interesante pero siempre es una lógica distinta.
En cuanto a lo del escepticismo siempre es bueno para esto y para casi todo lo que tiene que ver con las ciencias sociales. Pero cuando sobre lo que siempre recae es sobre evaluación de una política como la educativa y eso es así desde que existen los informes PISA, también resulta saludable preguntarse el por qué de tanta insistencia si ni los contenidos ni las características de la prueba varían en cada ocasión.
La reacción de la Junta de Andalucía aunque más escandalosa ahora, no se diferencia en los efectos de la seguida por los Gobiernos socialistas desde que se publican los informes PISA. De hecho los resultados para España han sido malos desde el principio, pero al contrario de lo que hizo Alemania o Portugal aquí se prefirió ignorarlos y cuando no se cuestionaba el informe, los argumentos eran auto exculpatorios.
Que al socialismo y buena parte de los representantes de la comunidad educativa no les gustan las evaluaciones educativas me parece una evidencia, siempre se negaron a ellas. Pero lo cierto es que sin PISA el nuestro sería un sistema ciego, del que se nos venderían bondades inexistentes y por supuesto no sabríamos que entre las comunidades de la cola y las de la cabeza hay más de un curso de diferencia, y más lamentable si cabe, que a las autoridades educativas de Andalucía en lugar de a una reflexión sobre qué se está haciendo mal, las lleva a culpar a todos menos a sí mismos.
Los ciudadanos debemos relativizar la importancia e impacto de las opiniones de los sociólogos de la educación y los pedagagos, a la hora de justificar políticas educativas en base a las mismas.
Especialmente si se se basan en intuiciones y análisis cualitativos.
Tenemos que dudar de la asespsia de sus opiniones, sin duda.
Y ya tenemos los resultados, en los que España avanza significativamente en la clasificación y supera la media de la OCDE, aunque la razón no es tanto que mejoremos (se mejora, pero poco) como que otros países han retrocedido.
En mi opinión lo realmente significativo es que por mucho que les pese a los licenciados en Derecho no todo se arregla con otra ley, y por mucho que les pese a los licenciados en Económicas y Empresariales no todo se arregla con más dinero. Todas las comunidades operan con la misma ley de educación, pero tenemos regiones con malos resultados y otras con elevados niveles de calidad perfectamente comparablez a los finlandeses… pero además ocurre que no son las que más dinero por alumno gastan.
He estado intentando encontrar un criterio que explique por qué unas comunidades tienen mejores resultados que otras, y el único que más o menos cuadra es que se diría que el turismo masivo de sol y playa tiene un impacto nefasto en la educación. No son los inmigrantes, Madrid y Cataluña ocupan puestos altos. No son los colegios privados, el porcentaje de ellos es alto en el País Vasco y Baleares, que tienen malos resultados. Si fuera el bilingüismo Galicia y Navarra no tendrían los buenos resultados que tienen. Si fuera la gestión del PP, Murcia y Valencia estarían entre las comunidades con buen resultado y no es así… En realidad a lo que más se parecen los resultados es a un mapa de la Reconquista hacia 1150, en tiempos del Cid Campeador.
Prueba
Podría verse alguna correlación con variables tipo clima, densidad de población y proporción de alumnos pobres/ricos. Con alguna excepción que respondería a otras variables, el buen clima, la alta densidad de población y la mayor proporción de alumnos «pobres» contribuyen negativamente a los resultados del informe. Eso y la no evaluación del profesorado.
Si tuviera el SPSS a mano, y con un mapa demográfico, uno de temperaturas máximas y mínimas, y otro de nivel socioeconómico, igual me salía algo, ajustando los coeficientes de ponderación.