Educación

Algunas pautas para la evaluación de escuelas: el caso de EEUU

17 May, 2016 -

En las últimas semanas se ha desatado una polémica sobre la evaluación del rendimiento académico de las escuelas en España. La manera en que se está planteando este debate resulta un tanto extraña desde un punto de vista técnico. Se escuchan principalmente dos ideas que se presentan como posiciones alternativas y contrapuestas: por una parte, la idea de evaluar escuelas con un examen estandarizado para todo el país, y por otra parte, la idea de publicar rankings de escuelas en función de los resultados en estos exámenes estandarizados. La realidad es que en la decisión de evaluar escuelas existe un abanico muy amplio de posibilidades de cómo evaluar y como presentar la información, donde estas dos ideas resultan ser las más polarizadas y conflictivas.

Existen muchas formas de ofrecer transparencia al sistema con los datos académicos extraídos de estos exámenes estandarizados. Por ejemplo, en los Estados Unidos se realizan exámenes estandarizados y evaluaciones de escuelas desde el año 2000 cuando se aprobó la No Child Left Behind Act, y sin embargo no se publican rankings.  Hay formatos, informes, maneras de presentar los datos que contribuyen a formar e informar a la ciudadanía sin necesidad de crear el conflicto que genera un ranking de ganadores y perdedores. Los sindicatos de profesores en EEUU defienden la evaluación de escuelas pero se oponen a la publicación de rankings. En una línea similar, los gobiernos regionales prefieren centrarse en la elaboración de análisis que sean útiles para los colegios y los ciudadanos, alineados con el fin último de mejorar el sistema de enseñanza pública.

Como comentaba hace poco, evaluar las escuelas es un pilar básico en el gran proyecto de ofrecer una educación pública de calidad que permita a todos los niños de España ser ciudadanos informados, preparados y libres para tomar las riendas de su destino. No querer saber qué sucede en las escuelas es no querer abrir los ojos a la realidad que vamos a encontrar. Sin datos sobre nuestras escuelas estamos encallados en el debate político basado en la retórica y la desinformación. La transparencia de la información da poder a los actores, y agiliza los sistemas de manera orgánica. Pero transparencia no significa necesariamente elaborar rankings.

En el mundo de la evaluación de escuelas en España falta todavía desarrollar un lenguaje que permita avanzar de manera rigurosa y técnica; también en el debate político-social que se genera alrededor del mismo. Por ejemplo, a menudo se utiliza el término “evaluación” tanto un examen como para la asignación y presentación de una calificación. Pero un sistema de evaluación tiene varias partes, cada una con un rol diferente: i. evaluación o examinación de los estudiantes (el término anglosajón es assessment), ii. presentación de los resultados (reporting), iii. sistema de calificación o rendición de cuentas (accountability framework), y iv. sistema de intervención o consecuencias (intervention framework).

A continuación se presentan algunas pautas sobre qué engloba cada término dentro de la política de evaluación de escuelas (muchos de ellos son términos sin traducción directa al castellano, y conforme avanzamos en este tema habrá que encontrar mejores opciones):

Evaluación y presentación de información (Assessment and reporting): Son los dos pilares fundamentales de este proceso. El reporting es una pieza tan importante en este proceso como la evaluación del rendimiento académico en sí mismo, o assessment. Reporting hace referencia a la presentación de datos derivados de la evaluación. Suelen ser representaciones en tablas o visuales sobre el rendimiento académico de las escuelas o los estudiantes. Existen muchas maneras de presentar los resultados que, pudiendo ser todas válidas y fiables, se centran en diferentes aspectos o ángulos de la realidad. Estas son tres de las más habituales.

  • 1. Los rankings son posiblemente la manera de presentar información menos informativa a nivel de diagnóstico, y desde luego una muy conflictiva. Los ranking se construyen agrupando los principales indicadores de rendimiento académico ponderados para conseguir una cifra única que se pueda ordenar de mayor a menor. Por tanto, esta cifra única agrupada no es útil para comprender el estado de la escuela, identificar las áreas de mejora, o comparar con otras escuelas de circunstancias similares o próximas geográficamente. Al contrario que en Estados Unidos, en el Reino Unido sí se han publicado rankings de colegios, las llamadas League Tables.
  • 2. Se habla de informes de uso fácil (user-friendly reports), cuando se elaboran visualizaciones o informes especialmente pensados para ser comprensibles para el público en general, mostrando la información que responde a las preguntas básicas que se pueden hacer ciudadanos, padres y estudiantes. Estos informes son normalmente a nivel de escuela («school-level report cards») e incluyen no sólo información sobre la evaluación estatal de los estudiantes, sino también información cualitativa de la escuela recogida mediante encuestas y o visitas de inspección.  Como ejemplos, se aprecia la simplicidad de los informes de Nueva York, aunque es interesante también presentar ejemplos más densos en datos académicos, como los del estado de Colorado.

1Chicago ofrece mapas que permiten  a los padres y alumnos entender las opciones disponibles por zonas geográficas de la ciudad, con detalles del rendimiento académico comparado entre los colegios de la zona.

  • 23. Archivos de datos descargables (downloadable data): prácticamente todos los estados en Estados Unidos ofrecen los resultados de los exámenes en formatos descargables para que cualquier ciudadano o institución pueda desarrollar sus propios análisis. La información se presenta de manera desagregada, no a nivel alumno, sino a nivel de curso escolar de cada escuela, y por grupos demográficos dentro de la escuela, siempre y cuando haya suficientes datos por cada grupo demográfico – curso- por escuela como para mantener el anonimato del alumno. Como ejemplos, Nueva York y Chicago.

Sistemas de rendición de cuentas (accountability and intervention frameworks): Cada estado o gobierno regional elabora sus propios sistemas de evaluación y rendición de cuentas.  Este pilar engloba las reglas de evaluación de estudiantes y escuelas, selección de indicadores y fórmulas, definición de estándares y puntos de corte (cutoff points). Estos sistemas de reglas se denominan también sistemas de rendimiento (performance frameworks), y suelen englobar indicadores no solo académicos sino también de gestión y financieros.  Como ejemplo, cuando trabajé en el Gobierno de New Jersey creamos un sistema de evaluación para los escuelas charter, junto con la Asociación Nacional de Charter Schools (NACSA).

Las consecuencias derivadas del sistema de rendición de cuentas normalmente se definen en el contexto de un sistema o política de intervención (intervention frameworks). Las políticas de intervención hacen referencia a la intervención del Gobierno con competencias educativas sobre las escuelas que no superan los mínimos establecidos, tomando control de la escuela y limitando su autonomía. Esto no aplica en España por ahora, porque presume el paso previo de que el Gobierno haya concedido cierto grado de autonomía a las escuelas (elección de profesorado, uso del presupuesto, definición del calendario escolar y del programa curricular, etcétera). En España, a día de hoy, esto sólo se da en los colegios concertados. Además, antes de definir un sistema de acción o intervención, es recomendable una fase meramente informativa. Consiste en varios años de presentación de datos académicos, durante los cuales no existen consecuencias mas allá de las derivadas orgánicamente por la progresiva concienciación de las escuelas y ciudadanos sobre las grandes diferencias en los rendimientos académicos en el sistema educativo.

  • Indicadores de rendimiento académico (academic performance indicators): Los sistemas de rendición de cuentas se componen de indicadores académicos de rendimiento, que se obtienen normalmente a través de exámenes estandarizados. Es necesario construir indicadores que permitan realizar comparaciones justas, teniendo en cuenta el nivel de pobreza del colegio, comparando con colegios de similares características demográficas, o bien comparando con colegios alternativos por razón de proximidad geográfica. Es importante centrarse no sólo en el valor absoluto, sino en el progreso académico, medido en términos de crecimiento respecto a años anteriores. Uno de los indicadores mas sofisticados utilizado actualmente son los percentiles de crecimiento (student growth percentiles), que definen en qué percentil se encuentra cada alumno comparado con estudiantes de similares características y similares resultados académicos en años anteriores. A la hora de seleccionar los indicadores, es preciso no centrarse únicamente en el porcentaje de aprobados, sino también analizar el porcentaje de alumnos a nivel avanzado y a nivel muy por debajo del aprobado. Por último, es relevante analizar las brechas de rendimiento educativo entre grupos, como por ejemplo la diferencia en los resultados académicos medios entre las poblaciones ricas y pobres. También es necesario conocer la brecha educacional con los alumnos de necesidades especiales. Para todo esto existen varias fórmulas.
  • Evaluación formativa versus sumativa (formative vs. summative assessment): estos conceptos son bastante problemáticos en su definición y aplicación. Evaluación formativa hace referencia a la evaluación del rendimiento académico con fines informativos y formativos, frente a la evaluación sumativa, que se refiere a la evaluación del rendimiento académico con ánimo de otorgar una calificación final. En el caso de los exámenes estandarizados regionales, se entiende que son de naturaleza sumativa, porque van a existir consecuencias para las escuelas sobre sus resultados. Incluso aunque no existan consecuencias de gestión política, la mera presentación de la información al público les da, en cierta manera, un carácter sumativo. En Estados Unidos algunos gobiernos regionales ofrecen interim assessments (evaluaciones intermedias) a lo largo del año académico para que las escuelas puedan estimar su grado de preparación respecto a los exámenes estatales que tienen lugar al final del año académico.
  • Exámenes regionales estandarizados (statewide standardized tests): La mayor parte de los datos para la evaluación de escuelas viene de los exámenes estandarizados. Estos exámenes, de carácter sumativo, son obligatorios para todos los colegios públicos y concertados, y tienen lugar a finales del curso escolar en todos los cursos académicos salvo en el último curso de cada ciclo. Los exámenes están normalizados para poder ser comparables anualmente. Se evalúan diferentes materias, pero principalmente Matemáticas, Lenguaje y Ciencias. Todos los informes y sistemas de rendición de cuentas consideran primordialmente los resultados en Matemáticas y Lengua. Algunos Estados están considerando reducir la carga de exámenes y limitarlo a sólo una vez por ciclo. Los exámenes incluyen preguntas tipo test y también de respuesta abierta que son corregidos por los profesores de otros centros, con la identidad del alumno oculta. Hasta muy recientemente, los resultados de estos exámenes no eran comparables entre Estados y cada Estado tenia su propio programa curricular. Actualmente, de manera progresiva, todos los estados salvo cinco  se han ido sumando a un programa curricular común nacional (Common Core Standards) en Matemáticas, Lengua y Ciencias, que va a permitir la evaluación y comparación a nivel estatal. Existen dos consorcios a los que se han sumado estos Estados, SBAC o PARCC, encargados de elaborar los exámenes estandarizados a nivel nacional, y que finalmente serán online.

*    *   *

Es decir, todo sistema de evaluación engloba numerosas piezas. Por ello es aconsejable abordar el tema de la evaluación de escuelas con rigurosidad y claridad sobre el objetivo final de mejorar la calidad de la enseñanza pública para todos. El ejemplo de EEUU muestra además que la cooperación entre actores es fundamental. En el caso de España, sería conveniente que las comunidades autónomas colaboraran en la elaboración de sistemas de evaluación de escuelas con universidades y otros grupos profesionales de investigación social que puedan proveer soporte analítico y la rigurosidad que se requiere.


6 comentarios

  1. kahuna dice:

    Hola buenos días,

    vaya por delante que es un artículo excelente. un +10 y al que solo le puedo añadir un pero, y que la considero solo una apreciación, y no una crítica.

    «Como comentaba hace poco, evaluar las escuelas es un pilar básico en el gran proyecto de ofrecer una educación pública de calidad que permita a todos los niños de España ser ciudadanos informados, preparados y libres para tomar las riendas de su destino.»

    de esta frase (que no es exáctamente lo mismo que escribe Marta Pascual) entiendo que el autor considera que los fines (_todos_ los niños sean ciudadanos informados, preparados y libres) se debe alcanzar a través de un único medio (educación pública, que también entiendo se refiere a estatal).

    Y es aquí donde discrepo, pero con ánimo construtivo. No termino de entender por qué esos objetivos solo pueden alcanzarse 1. con educación pública (si es que se refiere a exclusivamente estatal), y 2. que esta educación pública estatal deba alcanzar a todos los niños.

    La evidencia empírica muestra en casi todos los informes que los resultados en «concertada» (mixta) y 100% privada, incluso corrigiendo por nivel socio-económico, es superior a la pública. Es decir, los datos empíricos muestran que los objetivos no tienen por qué ejecutarse con un único medio

    Un cordial saludo.

    • Lucas dice:

      Hola Kahuna.

      Cuando hablas de concertada/privada vs pública, ¿A qué evidencia te refieres? ¿Puedes pasarme los links?

      Saludos,
      Lucas

      • Kahuna dice:

        Hola buenas tardes,

        concretamente PISA oor ejemplo.

        Un saludo

        • Lucas dice:

          ¿A qué estudios te refieres? Yo en todos los que he visto el factor socioeconómico explica toda la diferencia en resultados.

          Saludos.

  2. Francisco Bosch Sánchez dice:

    Yo sigo sin ver por qué los rankings son negativos. El problema es quién los interpreta. Si luego se desglosan los indicadores que lo componen pues tienes más información de qué escuelas van mejor que otras. Obviamente eso podría crear división dentro de la organización corporativa que son los sindicatos de profesores. Igual debería ser con la medicina si no es ya así en España (no lo sé). El sistema público está para evaluarlo, pero por organismos públicos, ya que en este país (y quizás en todos: en los rankings privados de deuda y de calificación crediticia de empresas ya sabemos lo que aciertan moody’s, Fitch y JPMorgan) el mundo privado se presta a pagar mordidas para mentir y manipularlo todo a su favor.

  3. EB dice:

    Gracias Marta por su interesante post. Espero que en futuros posts pueda extender su análisis de los métodos de evaluación de escuelas en EEUU a otras preguntas, en particular sobre cómo la transformación en curso del sistema escolar estaría condicionando esos métodos de evaluación y sobre cómo los resultados de la aplicación de esos métodos habrían sido verificados (por lo menos no rechazados) por otra evidencia.

    Me permito cuestionar su punto de partida. Dice usted «Como comentaba hace poco, evaluar las escuelas es un pilar básico en el gran proyecto de ofrecer una educación pública de calidad que permita a todos los niños de España ser ciudadanos informados, preparados y libres para tomar las riendas de su destino.» Mi impresión es que en España y en todas las democracias constitucionales, la intervención estatal en la educación escolar (sea a través de escuelas públicas o de escuelas gestionadas por organizaciones privadas pero sujetas a regulación y supervisión estatal) no tiene como objetivo a «todos» los niños y en ningún caso a que los niños sean «ciudadanos informados, preparados y libres para tomar las riendas de su destino». Respecto a «todos» uno podría argumentar que «nunca» los niños de una elite vagamente definida han estado incluidos en el proyecto, pero más importante yo diría que muchos niños «difíciles» tampoco son incluidos y no porque sean efectivamente difíciles sino porque pertenecen a sectores sociales que poco o nada participan en política. Respecto al tipo de ciudadanos que se querría formar, si bien su enunciado podría argumentarse que representó la aspiración de Domingo Faustino Sarmiento en la Argentina del siglo 19 y seguramente de algunos otros políticos-educadores, el objetivo más común habría sido el adoctrinamiento en la necesidad de auto-controlarse para facilitar la obediencia a la autoridad estatal (por supuesto, si acepto esa idea, me alegro del fracaso de la educación escolar pública). En otras palabras, antes de plantearme la evaluación de la educación escolar pública en una democracia constitucional, deberíamos aclarar qué logros determinan progreso y graduación del sistema escolar público y privado (reconociendo su complementariedad con la educación o crianza familiar).

Comments are closed.