Educación

Los límites de las pruebas estandarizadas

21 Jul, 2016 - y - @octavio_medina, @lucas_gortazar,

Desde hace unos años, las medidas de valor añadido del profesorado han ido aumentando en popularidad, tanto en el ámbito académico como fuera. Sin ir más lejos, muchos distritos escolares han experimentado con estas medidas como forma de separar a los profesores “efectivos” de los que no lo son; quizá el caso más conocido sea el del Distrito de Columbia, que con el sistema de evaluación IMPACT se ha ganado tanto fans como críticos acérrimos. Por el lado académico, ha habido un gran número de estudios publicados al respecto. El de Chetty et al, por ejemplo, concluía que el sustituir un profesor del percentil 5 por uno que estuviera en la mediana (en términos de valor añadido) supondría una ganancia salarial de $25.000 para cada estudiante a lo lago de su carrera. En el contexto del Ciclo, hace poco Heather Hill (de la Harvard Graduate School of Education) nos contaba (aquíaquí y aquí) cómo funcionaba la implementación práctica de estas medidas de valor añadido para dar premios o tomar medidas sancionadoras en la carrera docente.

Pero ¿qué mide exactamente el valor añadido? En la economía de la educación, casi siempre nos estamos refiriendo los efectos que tiene un profesor sobre los resultados académicos (medidos a través de tests estandarizados) de sus estudiantes. La forma en que estas medidas se calculan es tratando de aislar el impacto del docente de todos los demás factores que puedan afectar el aprendizaje, ya sea la composición del alumnado, su trayectoria académica previa, variables importantes de la escuela o incluso el mero efecto de ser observado.

Como ya hemos discutido en otras ocasiones, esta clase de medidas suelen ser controvertidas. Entre las críticas más habituales están el que se utilicen para tomar decisiones de despido o para entregar bónuses al profesor en cuestión, o el que incentiven lo que en inglés llaman teaching to the test; esto último significa preparar a los alumnos solo para lo que se va a preguntar en el examen, a sabiendas de que esa es la métrica relevante que van a utilizar para medir nuestros esfuerzos.

Más allá de estas (muy válidas) críticas, un tema clave es que al fijarnos solo en el valor añadido del profesor en tests estandarizados nos estamos dejando fuera un buen trozo del impacto de un profesor. Es cierto que los resultados de los tests son buenos predictores de variables importantes como la inserción laboral, o el realizar (y acabar) estudios post-secundarios. Sin embargo, aún nos queda gran parte de la varianza en estos y otros resultados por explicar. Ahí entran cosas como las competencias socioemocionales, que como mostraron Heckman et al pueden también predecir resultados como la graduación, el fracaso escolar o el empleo independientemente de los resultados académicos. Es decir, las competencias socioemocionales están midiendo algo distinto.

El problema es que a día de hoy muchas evaluaciones del valor añadido no tienen en cuenta este componente socioemocional. En otras palabras, es posible que un profesor que no esté contribuyendo a aumentar las notas de sus alumnos en el test estatal, pero sí que les esté ayudando a desarrollar otras competencias fundamentales para su bienestar que también suponen mejores resultados en una serie de variables relevantes (como bienestar físico, salario futuro, tasa de empleo o graduación). Y con muchos de los modelos actuales, no nos es posible saber si es así.

Por suerte ha habido una serie de esfuerzos recientes para estimar esta clase de efectos. Aunque queda mucho por investigar, la buena noticia es que los profesores que pueden tener un efecto sobre las competencias socioemocionales de sus estudiantes que va más allá de lo que queda reflejado en los tests estandarizados.

Un estudio que salió este año por Kirabo Jackson amplía el modelo tradicional de valor añadido al caso de las habilidades socioemocionales para estudiantes de secundaria en el estado de Carolina del Norte. Uno de los problemas que tenemos a la hora de estimar cambios en habilidades socioemocionales es que habitualmente no se miden y prácticamente nunca aparecen en datos administrativos –lo cual, por cierto, ayuda a explicar el sesgo hacia los resultados de exámenes, dado que casi siempre son fáciles de obtener. Para superar este escollo los autores construyen una variable de comportamiento que hace las veces de proxy para competencias (esto es algo bastante común en la literatura sobre el tema, ver el mismo Heckman et al por ejemplo). Para ello calculan una media de las ausencias, suspensiones, notas y progresión académica (es decir, ausencia de repetición), lo cual llaman el factor comportamiento (behavioral factor).

Lo que encuentran es que en los modelos que predicen la graduación de secundaria (high school) utilizando solamente resultados de tests estandarizados, un aumento de valor añadido del profesor de una desviación estándar conlleva un aumento del 0,13% de la tasa de graduación. En cambio, cuando además se añade el valor añadido sobre el factor comportamiento (nuestro proxy de competencias socioemocionales) esto añade otro 0.11% a la probabilidad de graduación. Si lo tomamos por separado, un aumento del factor comportamiento de una desviación estándar significaría una subida de la tasa de graduación del 0,78%.

tab1

Tanto el factor comportamiento como las notas en tests estandarizados predicen resultados a largo plazo (y explican partes distintas de la varianza)

tab2

Lo importante de todo esto es que muestra que los profesores pueden tener efectos sobre los estudiantes tanto por la vía tradicional –la de los tests estandarizados– como por la de las habilidades socioemocionales, y que además la covarianza de estas dos variables es baja, lo cual sugiere que están midiendo cosas distintas. Una consecuencia de todo esto es que cuando en una evaluación de impacto o paper encontramos que los profesores no están teniendo un efecto sobre los tests esto no significa que no están teniendo un efecto sobre otros aspectos que también son importantes. Esto es lo que ocurre en un trabajo reciente de Alfonso et al, que encuentran que los profesores de Enseña Chile contribuyen a aumentar las habilidades socio-emocionales (como la auto-percepción, auto-confianza o competencias meta-cognitivas) de los niños más que los profesores tradicionales, pero que el efecto sobre las pruebas estandarizadas de lecto-escritura y matemáticas no es significativo. Cabe preguntarse si estos efectos en competencias socio-emocionales son duraderas en el tiempo y en el largo plazo pueden conllevar mejoras en el aprendizaje de competencias básicas de lecto-escritura y matemáticas.

Por ello no es de extrañar que en informes recientes (OCDE) se esté haciendo hincapié en la necesidad de combinar tanto las habilidades de lecto-escritura y matemáticas con otras competencias como la flexibilidad y el pensamiento crítico, competencias socioemocionales, o competencias cívicas y ciudadanas. En conclusión:

  1. Es necesario ampliar la mirada sobre lo que medimos…
  2. …en especial dado que podemos estar ignorando efectos muy importantes sobre los resultados a largo plazo de los estudiantes.
  3. Esto es un argumento más para seguir abriendo las puertas del sistema educativo a la evaluación, no como forma de sancionar ni castigar, sino para ampliar nuestro conocimiento y poder seguir apoyando a quien más lo necesita, ya sean directores, docentes o niños.