Educación

Los límites de las pruebas estandarizadas

21 Jul, 2016 - y - @octavio_medina, @lucas_gortazar,

Desde hace unos años, las medidas de valor añadido del profesorado han ido aumentando en popularidad, tanto en el ámbito académico como fuera. Sin ir más lejos, muchos distritos escolares han experimentado con estas medidas como forma de separar a los profesores “efectivos” de los que no lo son; quizá el caso más conocido sea el del Distrito de Columbia, que con el sistema de evaluación IMPACT se ha ganado tanto fans como críticos acérrimos. Por el lado académico, ha habido un gran número de estudios publicados al respecto. El de Chetty et al, por ejemplo, concluía que el sustituir un profesor del percentil 5 por uno que estuviera en la mediana (en términos de valor añadido) supondría una ganancia salarial de $25.000 para cada estudiante a lo lago de su carrera. En el contexto del Ciclo, hace poco Heather Hill (de la Harvard Graduate School of Education) nos contaba (aquíaquí y aquí) cómo funcionaba la implementación práctica de estas medidas de valor añadido para dar premios o tomar medidas sancionadoras en la carrera docente.

Pero ¿qué mide exactamente el valor añadido? En la economía de la educación, casi siempre nos estamos refiriendo los efectos que tiene un profesor sobre los resultados académicos (medidos a través de tests estandarizados) de sus estudiantes. La forma en que estas medidas se calculan es tratando de aislar el impacto del docente de todos los demás factores que puedan afectar el aprendizaje, ya sea la composición del alumnado, su trayectoria académica previa, variables importantes de la escuela o incluso el mero efecto de ser observado.

Como ya hemos discutido en otras ocasiones, esta clase de medidas suelen ser controvertidas. Entre las críticas más habituales están el que se utilicen para tomar decisiones de despido o para entregar bónuses al profesor en cuestión, o el que incentiven lo que en inglés llaman teaching to the test; esto último significa preparar a los alumnos solo para lo que se va a preguntar en el examen, a sabiendas de que esa es la métrica relevante que van a utilizar para medir nuestros esfuerzos.

Más allá de estas (muy válidas) críticas, un tema clave es que al fijarnos solo en el valor añadido del profesor en tests estandarizados nos estamos dejando fuera un buen trozo del impacto de un profesor. Es cierto que los resultados de los tests son buenos predictores de variables importantes como la inserción laboral, o el realizar (y acabar) estudios post-secundarios. Sin embargo, aún nos queda gran parte de la varianza en estos y otros resultados por explicar. Ahí entran cosas como las competencias socioemocionales, que como mostraron Heckman et al pueden también predecir resultados como la graduación, el fracaso escolar o el empleo independientemente de los resultados académicos. Es decir, las competencias socioemocionales están midiendo algo distinto.

El problema es que a día de hoy muchas evaluaciones del valor añadido no tienen en cuenta este componente socioemocional. En otras palabras, es posible que un profesor que no esté contribuyendo a aumentar las notas de sus alumnos en el test estatal, pero sí que les esté ayudando a desarrollar otras competencias fundamentales para su bienestar que también suponen mejores resultados en una serie de variables relevantes (como bienestar físico, salario futuro, tasa de empleo o graduación). Y con muchos de los modelos actuales, no nos es posible saber si es así.

Por suerte ha habido una serie de esfuerzos recientes para estimar esta clase de efectos. Aunque queda mucho por investigar, la buena noticia es que los profesores que pueden tener un efecto sobre las competencias socioemocionales de sus estudiantes que va más allá de lo que queda reflejado en los tests estandarizados.

Un estudio que salió este año por Kirabo Jackson amplía el modelo tradicional de valor añadido al caso de las habilidades socioemocionales para estudiantes de secundaria en el estado de Carolina del Norte. Uno de los problemas que tenemos a la hora de estimar cambios en habilidades socioemocionales es que habitualmente no se miden y prácticamente nunca aparecen en datos administrativos –lo cual, por cierto, ayuda a explicar el sesgo hacia los resultados de exámenes, dado que casi siempre son fáciles de obtener. Para superar este escollo los autores construyen una variable de comportamiento que hace las veces de proxy para competencias (esto es algo bastante común en la literatura sobre el tema, ver el mismo Heckman et al por ejemplo). Para ello calculan una media de las ausencias, suspensiones, notas y progresión académica (es decir, ausencia de repetición), lo cual llaman el factor comportamiento (behavioral factor).

Lo que encuentran es que en los modelos que predicen la graduación de secundaria (high school) utilizando solamente resultados de tests estandarizados, un aumento de valor añadido del profesor de una desviación estándar conlleva un aumento del 0,13% de la tasa de graduación. En cambio, cuando además se añade el valor añadido sobre el factor comportamiento (nuestro proxy de competencias socioemocionales) esto añade otro 0.11% a la probabilidad de graduación. Si lo tomamos por separado, un aumento del factor comportamiento de una desviación estándar significaría una subida de la tasa de graduación del 0,78%.

tab1

Tanto el factor comportamiento como las notas en tests estandarizados predicen resultados a largo plazo (y explican partes distintas de la varianza)

tab2

Lo importante de todo esto es que muestra que los profesores pueden tener efectos sobre los estudiantes tanto por la vía tradicional –la de los tests estandarizados– como por la de las habilidades socioemocionales, y que además la covarianza de estas dos variables es baja, lo cual sugiere que están midiendo cosas distintas. Una consecuencia de todo esto es que cuando en una evaluación de impacto o paper encontramos que los profesores no están teniendo un efecto sobre los tests esto no significa que no están teniendo un efecto sobre otros aspectos que también son importantes. Esto es lo que ocurre en un trabajo reciente de Alfonso et al, que encuentran que los profesores de Enseña Chile contribuyen a aumentar las habilidades socio-emocionales (como la auto-percepción, auto-confianza o competencias meta-cognitivas) de los niños más que los profesores tradicionales, pero que el efecto sobre las pruebas estandarizadas de lecto-escritura y matemáticas no es significativo. Cabe preguntarse si estos efectos en competencias socio-emocionales son duraderas en el tiempo y en el largo plazo pueden conllevar mejoras en el aprendizaje de competencias básicas de lecto-escritura y matemáticas.

Por ello no es de extrañar que en informes recientes (OCDE) se esté haciendo hincapié en la necesidad de combinar tanto las habilidades de lecto-escritura y matemáticas con otras competencias como la flexibilidad y el pensamiento crítico, competencias socioemocionales, o competencias cívicas y ciudadanas. En conclusión:

  1. Es necesario ampliar la mirada sobre lo que medimos…
  2. …en especial dado que podemos estar ignorando efectos muy importantes sobre los resultados a largo plazo de los estudiantes.
  3. Esto es un argumento más para seguir abriendo las puertas del sistema educativo a la evaluación, no como forma de sancionar ni castigar, sino para ampliar nuestro conocimiento y poder seguir apoyando a quien más lo necesita, ya sean directores, docentes o niños.


15 comentarios

  1. Gerion dice:

    Comparto estas conclusiones totalmente. Es necesario evaluar el conjunto de los actores educativos y docentes. Pero me faltan los gobiernos autonómicos en esa lista.

  2. EB dice:

    Supongo que debo agradecer a mis maestros por haber facilitado que en mi infancia y adolescencia desarrollara lo que los autores llaman «otras competencias». Eso fue varias décadas atrás en el sistema escolar argentino, cuando todavía era ejemplo para AL y muchos otros países. No creo, sin embargo, que mis maestros fueran excepcionales, ciertamente no en el sistema escolar argentino. Quizás luego se perdió con la masificación de la escolaridad. Por eso creo que es urgente tener claro qué ha pasado, cómo la calidad de la escolaridad como complementaria de la crianza familiar se ha deteriorado.

    Una pregunta sobre algo específico. Entre esas «otras competencias» se menciona el pensamiento crítico y entonces me pregunto por qué la escuela española parece rechazarla.

  3. M. Oquendo dice:

    ¿Y si el profesorado fuese prescindible para los buenos estudiantes y se sustituyese por programas de enseñanza virtuales que va siendo actualizado por un grupo pequeño de docentes?
    Resulta que estamos eliminando mano de obra a mansalva en todos los sectores y, de momento, el de la enseñanza sigue incólume y quejándose de falta de gasto.
    ¿O es que la demostración de un teorema o el desarrollo de funciones de campo gravitatorio las explica mejor cualquier profesor que un video de los tres mejores profesores?
    ¿No resolveríamos el gravísimo problema de la calidad del profesorado con este tipo de enfoque?

    Al menos para los estudiantes que van a clase a aprender.

    • Swanrose dice:

      Con respecto a esa pregunta estoy más de acuerdo con los contenidos del vídeo titulado «This will revolutionize education», de veritasium. Recomendable en mi opinión.

      Un cordial saludo

      • M. Oquendo dice:

        Hola, Swanrose.

        Realmente el video no está en desacuerdo con el post. Al contrario.

        Viene a decir que la función actual del sistema educativo no es formativa en el sentido clásico: Transmisor de información y conocimientos de todo tipo (teóricos y prácticos) sobre el Cosmos del que formamos parte.

        Se ha convertido fundamentalmente en un sistema de adoctrinamiento social pavloviano que permita que la masa sea gobernada por el sistema de poder social. Adoctrinamiento y Aparcamiento temporal.

        Para ello se ha duplicado la vida escolar desde los 6 meses a los 23 años (de momento, Sánchez quiere añadir dos años más) para conseguir un nivel de conocimiento —y de métodos de adquisición de conocimiento–bastante deficiente que se conseguiría en bastante menos de la mitad del tiempo.

        La disminución palpable de la calidad del Profesorado (lamentable receptáculo de las sobras del proceso de selección) es lógica porque al bajar la importancia de su función no es necesario hacer el esfuerzo.

        Lo que es significativo es que no se estén desarrollando más las metodologías de Transmisión de Conocimiento virtual. Tremendo.
        Las fábricas sí, las escuelas no.

        ¿Se nos podría ir de la mano una masa bien educada?

        Saludos

    • Gerion dice:

      El uso de plataformas virtuales para la enseñanza se encuentra implantado desde hace muchos años en varias administraciones y empresas. Como todo, tiene sus ventajas e inconvenientes, de modo que no es una panacea en lo que a transmisión de conocimiento se refiere, debido principalmente a que no todos los alumnos responden igual al método – ni todos los profesores son capaces de satisfacer las necesidades de todo el alumnado -. Todos hemos visto casos de alumnos muy brillantes que rinden poco o nada en ciertas condiciones, y alumnos mediocres que, con los estímulos adecuados, suplen sus carencias con esfuerzo.
      Un entorno virtual suele ser poco motivador, salvo que la enseñanza se presente en forma lúdica. Por eso, hasta el momento lo que mejor funciona son los simuladores de realidad – gestión de empresas, juegos de rol, … -. Aún estamos lejos de conseguir que la mayoría de los alumnos potenciales respondan adecuadamente a los entornos virtuales.
      Todo ello, desde una premisa de la enseñanza: que los alumnos aprendan, quieran o no.

  4. Emilio dice:

    El grave problema al que nos enfrentamos en este país es la oposición de buena parte de la clase política y los partidos y sindicatos de izquierda a la evaluación del sistema educativo en casi todas sus vertientes. Siendo más exactos se niegan a la evaluación de cualquier política pública. Según ellos la calidad de la enseñanza se mide por el porcentaje de PIB destinado a Educación o el número de profesores contratados.

  5. Aloe dice:

    Qué buen artículo. Muchas gracias.

  6. M. Oquendo dice:

    Durante la época de Franco era posible estudiar los ocho años de Bachiller, (desde el examen de Ingreso hasta 7º o luego Preuniversitario) sin necesidad de asistir a clase.
    Eran los llamados «Alumnos por Libre» que estaban adscritos a un instituto de enseñanza (de aquellos donde había, desde mucho antes de la Guerra Civil catedráticos como Machado) y estaban exentos de asistencia.
    He conocido bastantes que tuvieron expedientes brillantes.

    Me gustaría escuchar comentarios a favor o en contra de este sistema porque lo que es muy chocante es que viviendo en una Democracia, esta libertad o no exista o se haya restringido hasta ser inviable.

    Saludos y muchas gracias

    • Gerion dice:

      Imagino que en aquella época los profesores no llevaban un control diario de lo que iban estudiando los alumnos por libre, y que si alguno no se presentaba, tampoco resultaba relevante – eso ocurre en las universidades actuales, donde un mínimo de asistencia a clase no era obligatoria hasta hace un par de años, si no recuerdo mal, dado que yo aprobé en mi época algunas asignaturas tan sólo presentándome a examen y entregando un trabajo -.
      Si aplicamos este método en la actualidad, las tasas de fracaso escolar se dispararán hasta los niveles de aquella época.

    • Rodrigo dice:

      Sr. Oquendo, imagino que, por sus comentarios venga usted de esa «época» y es normal que piense que cualquier tiempo pasado fue mejor. Supongo que los «Alumnos por Libre» era una política que no solo se promovió sino que además le vino muy bien (económicamente) al régimen dados los ridículos esfuerzos presupuestarios a todos los niveles educativos que hizo el régimen dictatorial franquista (como usted lo llama «época de Franco», bien dicho, porque él era el único que pintaba algo). Solo había que ver el sueldo de los maestros y profesores y las inversiones en construcción de nuevas escuelas o, en definitiva el nivel de analfabetismo el cual, en Castilla y León, aún padece un 1% de la población (supervivientes de aquella «época»). Al fin y al cabo solo hasta los años 80 logramos un 95% de alfabetización en este país además de otras sombras de aquella época como elitismo, maltratos físicos en las aulas etc.

      No digo que puedan resultar interesantes sus propuestas pero sin duda son afirmaciones que requerirían de un mayor esfuerzo ensayístico y de un profundo análisis ya que lo que podía valer en una época, poco o nada puede valer para esta que nos está tocando vivir (y esto lo digo en el peor de los sentidos puesto que no se puede comparar ver el sentido de compromiso y responsabilidad de los alumnos en los 50 y 60 con los ninis del pokemon go).

      Un saludo de un nacido en democracia que, por suerte, no tuvo que aprenderse la lista de los Reyes Godos.

      • Gerion dice:

        Rodrigo, sin pretender ofenderle, creo que es evidente que usted ha nacido en democracia. Espero que dentro de algunos años, haya aprendido lo suficiente – por sus propios medios, naturalmente, dado el nivel de nuestra enseñanza – como para apreciar ciertos comentarios y a ciertos comentaristas.

Comments are closed.