El martes el ministro Wert anunció una reforma de la educación, y aunque no se concretaron los detalles, sí dijo cosas interesantes sobre sus lineas maestras. Por supuesto, la prensa ha puesto el foco en uno de los asuntos menos relevantes, la asignatura polémica, pero eso no es una sorpresa. Aunque hay mucho de lo que hablar —como el hipotético MIR para profesores—, hoy querría centrarme en algo que el ministro dejó caer: extender el uso de los exámenes estandarizados para evaluar los resultados de las escuelas.
La idea es simple: hacer exámenes a los alumnos, no para evaluarlos a ellos, sino para evaluar sus escuelas y profesores. ¿Por qué? Porque la evidencia nos dice que “los resultados de los estudiantes están positivamente asociados a la existencia de medidas que permitan comparar entre escuelas”. (Lo explicaba Antonio Cabrales hace unos días citando un trabajo de Hanushek y Woessmann.)
Estos exámenes a escuelas se han hecho en algunas comunidades autónomas y siempre se han rodeado de polémica. Una polémica que no comprendo. Cualquier institución pública tiene que poder ser evaluada. Entiendo que hay motivos para ser cauto, garantizar que la información es justa con los involucrados y pensarse bien que medidas es legítimo tomar con dicha información. Pero defender la oscuridad, pretender que la información no se genere, me parece corporativismo egoísta.
Exámenes estandarizados para comparar entre países
A día de hoy, todos los países serios son conscientes de que disponer de datos sobre los resultados de los estudiantes es útil para plantear políticas educativas. Todos conocemos el caso del informe PISA, y de como comparar los resultados educativos entre países nos sirve para detectar las políticas e instituciones exitosas.
Esa misma información permite investigar un montón de cosas interesantes, como por ejemplo, en que medida la educación hace crecer la economía de un país. Como se observa en la gráfica siguiente, existe una fuerte correlación entre las capacidad cognitivas de una sociedad y su crecimiento económico. (Al parecer esas capacidades serían el resultado de una mejor educación e impulsarían la economía del país a través de un progreso tecnológico acelerado.)
Exámenes estandarizados para comparar entre escuelas
Si aceptamos que las pruebas estandarizadas son útil para evaluar los países y sus políticas, es razonable pensar que la misma información será útil para comparar entre escuelas. Hay muchas cosas que podrían hacerse con datos de ese tipo:
- Detectar las escuelas con problemas (y corregirlos).
- Articular sistemas de incentivos y premiar los centros exitosos o los que mejorasen sus resultados.
- Estudiar qué tienen en común los caso de éxito, qué se puede copiar y extender a otros lugares.
- Aprender que factores tienen más impacto en una escuela. Por ejemplo, un estudio de las escuelas de Madrid sugiere que la ratio profesor/alumno no es tan importante como podría pensarse.
En resumen, creo que los resultados de las escuelas públicas son una fuente de información muy valiosa y que no deberíamos renunciar a ella. Medir el rendimiento de un institución es el primer paso para conocerla, para establecer incentivos, y para hacer un mejor uso de sus recursos limitados. Porque, cómo dijo alguien cuyo nombre se ha perdido, es imposible gestionar lo que no puede medirse.
Sólo un apunte sobre estos exámenes:
La polémica (y creo que nos estamos refiriendo al mismo tema) radica en que algunos colegios, el día de la prueba, mandan a su casa a los peores alumnos. Así, como suena. He sido testigo de ello en varios centros.
Esto, obviamente, desvirtúa todo posible resultado y a partir de ahí las conclusiones a sacar (como la de que el ratio profesor/alumno no es tan importante… porque los alumnos «malos» no los cuentas).
La idea me gusta. Pero si vamos a tomar decisiones a raíz de estas evaluaciones, tenemos que ser capaces de asegurarnos que se hacen de forma limpia.
Hace tiempo escribí una entrada sobre ciertas condiciones que deberían reunir estas pruebas: http://geografiasubjetiva.com/2010/02/11/pruebas-rendimiento-docente/
¿De verdad es imponer exámenes estandarizados la mejor de las maneras para comparar resultados educativos?
Se trata de una medida muy, muy restrictiva. Es cierto que dada la calidad del profesorado que ahora mismo imparte clase en tantísimas aulas, modelos así podrían proteger a los alumnos de la subjetividad con que cada profesor imparte su asignatura…
Pero, si fueran buenos profesores, ¿acaso no podría ser esa subjetividad buena?
Como apunta Cartier, la polémica viene de las «trampas» y la falta de honradez de muchos centros. Los peores alumnos son «invitados» a faltar ese día para que la nota del centro suba.
Además, los exámenes de Madrid evalúan en igualdad de condiciones centros que en absoluto son equivalentes. La proporción de alumnado inmigrante o en riesgo de exclusión social en muchos centros hace absurda la comparación con otros centros (mayoritariamente concertados, pero también públicos que tienen la suerte de estar en buenos barrios).
Creo que es buena la evaluación, pero debería adecuarse a la situación del centro. Medir su punto de partida, su progresión y sus resultados ofreciendo incentivos ante las mejoras. En algunos centros, por ejemplo, lograr incrementar el porcentaje de chicos que acaban titulando puede ser un buen indicador siempre y cuando se acompañe de otros que eviten los falseamientos (bajar el nivel para que titulen más). Otros indicadores válidos a mi entender serían lograr sacar adelante aspectos extracurriculares (participantes en las olimpiadas de matemáticas, en los concursos de ortografía, teatro escolar, organización de semanas científicas, etc.).
Si solo nos fijamos en el examen se consigue exactamente lo que se está consiguiendo: remarcar lo buenos que son los centros adonde van los buenos alumnos y lo malos que son los centros a los que van los malos alumnos.
Evidentemente, alumnos buenos y malos va a haber siempre, pero una sociedad próspera debe construirse subiendo el nivel cultural y educativo de todos sus estratos, incluidos los más bajos. Los medios de producción han cambiado y un país moderno necesita trabajadores formados incluso en sus niveles productivos más bajos.
Mientras no pase como The Wire donde el objetivo era que pasaran la prueba, en lugar de enseñarles contenidos al margen de la prueba… o como ocurre en Selectividad….
Estoy con los que decís en que hay que ser cauto y vigilante. Pero siéndolo, adelante con la medida.
Andresrguez, «The Wire» demuestra muy bien esa necesidad de ser vigilante y evitar la corrupción. Pero, ojo, no sólo con las prueba a colegios, también en procesos electorales, en la actuación policial, las aduanas, los contratos a concurso… y todo ejercicio del poder en general. Es una serie estupenda, pero no deja a las instituciones demasiado bien paradas… aunque siempre hay personas que luchan por hacer lo correcto. Lo dicho, gran serie.
«Entiendo que hay motivos para ser cauto, garantizar que la información es justa con los involucrados y pensarse bien que medidas es legítimo tomar con dicha información.»
Creo que el autor de este blog entiende que habrá que tener en cuenta muchas consideraciones a mayores de lo que indiquen los exámenes porque, en el fondo, son una pobre y limitadísima herramienta para la evolución de los centros. Por ejemplo, porque muchos de los resultados deseados de la escolarización actual no son fácilmente evaluables, o porque el nivel socioeconómico de los alumnos, y del entorno de los centros por lo tanto, sí influye en los resultados de los alumnos. Sea como sea, mi postura ha sido -y preveo que seguirá siendo- mejor defendida por otros comentarios a este artículo.
Por supuesto nadie pretende comparar los resultados tal cual. Habría que controlar variables, como el nivel socio-económico, o usar medidas relativas (¿cómo ha mejorado/empeorado un colegio en el tiempo?). La gente que hace ciencia con estos datos ya se preocupa de esto, y aunque es complicado, puede hacerse.
Todos conocemos mejores y peores profesores; y creo que éstos consiguen distintos resultados en los mismo alumnos.
Claro, aqui en Sevilla podriamos hacer examenes estandarizados entre el IES Poligono Sur de las «Tres Mil viviendas» y el Colegio Alemán.
Como muy probablemente el Colegio Aleman saque mejor nota, podriamos copiar su Plan de Centro al IES Poligono Sur, como por ejemplo el bilingüismo en Aleman, nada de diversificación curricular, etc…
Ah, y a los profesores del IES Poligono Sur, siguiendo el dogma «los resultados de los estudiantes están positivamente asociados a la existencia de medidas que permitan comparar entre escuelas» los enviamos a los mercados de esclavos para que la proxima vez hagan mejor su función docente y pedagógica.
Te has lucido, machote, tú y tu neoliberalismo.
Manuel, lee mi comentario anterior y alguno de los artículos que enlaza y luego hablamos. Por supuesto esa diferencias de inicio se tendrían en cuenta —si no es evidente que la comparativa no informa de la calidad de los colegios, sino de otras cosas.
Ah, otra cosa. Esta medida busca precisamente hacer mejores los colegios públicos.
Pero qué diferencias de inicio ni nada??? Pero como vas a comparar dos institutos donde uno es privado no concertado, donde los padres tienen un nivel adquisitivo alto, el alumnado es llevado de intercambio a Alemania y el profesorado, la mitad es nativo con el otro que te he puesto de ejemplo, donde los padres trabajan en los «mercadillos», los alumnos entran en el mundo de la droga antes de los 13 años y el profesorado…. el profesorado considera un triunfo que al menos la mitad de sus alumnos no terminen siendo «yonkis» o cumpliendo condena.
A ver, explicame como puedes mejorar ese IES con las conclusiones que tú saques de principio o de fin del Colegio Aleman???
Creo que los politicos sois demasiado miopes cuando opinais de temas como la sanidad y la educación cuando ni siquiera habeis estado en el «banquillo» como «reservas» viendo como los «titulares» se las ingenian a diario en muchos colegios.
Manuel, esos dos colegios no son comparables. Si entrar en detalles, controlar variables pasaría, más o menos, por comparar el colegio del que hablas con otros con características externas similares.
También está la opción de analizar su evolución, ¿y si pese a las dificultades los profesores del centro consiguen cada vez mejores resultados? Pues estaría bien medirlo y saber cómo lo hacen… para aplicar lo mismo en otros sitios con problemas similares.
PS. No soy político.
Es curioso como muchos de estos comentarios que, parece deducirse, están en contra de los colegios concertados, presuponen que los colegios concertados sacaran mejores resultados per se.
Yo estudie la mayor parte de mi escolarización en un colegio concertado. Después me fui a un público. Tengo conocidos que siguieron en el concertado.
¿A que no adivináis que pasó cuando llegamos a Selectividad? Pues que yo aprobé con la gorra y varios de mis conocidos suspendieron. Dos veces. Y, se suponía, que los dos teníamos una nota media de Bachillerato parecida (La mía sacada en un centro público y ellos en uno concertado).
O dicho de otro modo: pasáis por alto la posibilidad no despreciable que al evaluar las escuelas salga mucha, mucha mierda de los centros concertados que hoy por hoy se deja estar y que envenena también el sistema educativo.
Y mi temporada preferida de The Wire, por cierto y lo digo sin ironía, es la segunda. La de los sindicatos.
Señor Santos, considere la posibilidad de que aunque usted ignore perfectamente cualquier tipo de técnica cuantitativa de investigación, existan personas que sí las dominan y utilizan con éxito.
Tampoco estaría de más que evitara demostrar su abismal ignorancia etiquetando de neoliberal cualquier cosa que no le guste, especialmente artículos que exceden su comprensión.
Ya sabe: «si lo que vas a decir no es más bello que el silencio…»
A mí me parece una propuesta interesante. De alguna forma hay que evaluar a los centros. Lo que me sorprende es que exista gente en contra de medir resultados cuando para mejorar algo hay que cuantificarlo de alguna forma. Tal vez no sea una medida perfecta, pero por algún sitio debemos empezar si queremos mejorar el sistema educativo.
Kiko, existe una ignorancia brutal sobre los métodos, los objetivos y las posibilidades de una evaluación. Algunas de las dudas sobre el tema las han generado las malas evaluaciones (por ejemplo, ya que la citas, la CDI de la Comunidad de Madrid).
Esta CDI utiliza pruebas que técnicamente no hay por donde cogerlas, y además en la mayoría de los centros no está presente personal externo al centro. Por tanto, cualquier estudio basado en ellas tiene bastantes problemas técnicos. Sin embargo, en la propia Comunidad de Madrid se hacen otras pruebas que sí son buenas técnicamente y que pueden servir para comparar centros y cohortes distintas, pero como son «competencia» de la CDI están marginadas. En fin, políticos.
Como sabes, en lo que trabajo es en la cuestión de los centros buenos, mediocres y malos y qué hace a uno concreto estar en alguna de esas categorías. Un centro bueno no es el que saca mejores resultados sin más, sino aquel que lleva a los alumnos a un mayor rendimiento de lo esperado por su sustrato socio-familiar, y hay centros buenos en todos los sectores sociales, y en todas las redes. «Curiosamente», en regiones con una buena gestión política se consigue que haya más centros buenos que en regiones con una mala gestión política.
Lo malo es lo que ya se ha dicho, que habría que controlar todo el proceso de evaluación del centro para que no hubiera incentivos perversos para falsearlos. Espero que si se hace (que se debería hacer para mejorar la competencia entre escuelas), que se haga con mil ojos controlándolo todo.
Qué soviética me ha quedado la última parte de la frase.
Como no podía ser de otra maner, José da la clave: «Un centro bueno no es el que saca mejores resultados sin más, sino aquel que lleva a los alumnos a un mayor rendimiento de lo esperado por su sustrato socio-familiar.»
En la Universidad, por cierto, hay una polémica similar con la evaluación del profesorado a partir de encuestas a los alumnos. Muchos profesores se oponen y las acusan de no servir de nada. Por supuesto son un mecanismo de evaluación imperfecto, para comparar hay que hacer controles —por ejemplo, las clases en cursos superiores suelen ser mejor evaluadas—, y es importante vigilar el abuso y la trampa. Pero de ahí a decir que es mejor no preguntar a los alumnos que piensan de sus profesores… bueno, me parece lo mismo que dije antes: corporativismo bochornoso.
Kiko tiene razón en que se deberían tener en cuenta muchos factores pero en el fondo los padres lo que quieren saber es si su colegio es de 1, de 2 o de 10,
Quiero decir, y siendo bien pensados que el mecanismo de la prueba debe ser fácilmente comprensible para los padres.
Por otro lado, siendo malpensado y creo que acertando, el interés de estas pruebas no es diagnóstico, es tan sólo señalar lo malos que son los centros públicos
@Kiko Llanera,
Considero que los exámenes estandar son necesarios, pero también pienso que las encuestas a los alumnos hay que cogerlas con pinzas (sé que hay algún estudio al respecto, pero no he encontrado la referencia).
He trabajado en formación para desempleados y la valoración de los alumnos es realmente importante. También sé que puedes dar una clase mala desde el punto de vista de conocimientos transmitidos (no os podeís imaginar lo que hay por ahí dando clase) y conseguir una buena valoración si te llevas bien desde el punto de vista personal. Por eso me parece que este tipo de encuestas a los alumnos hay que cogerlas con pinzas.
@JCAbal
Yo he tratado con el asunto de las encuestas como parte interesada (Representante de alumnos en mis tiempos mozos) y si bien tienes razón, las encuestas tienen una utilidad: Detectar casos extremos.
Los alumnos tienen mejor juicio de lo que parecen, y si bien no sirve para una cuantificación detallada (Yo no las utilizaría para evaluaciones de calidad, o solo muy marginalmente) los casos que escapan a la campana de Gauss siempre han resultado ser auténticos problemas que de otra manera habrían resultado difíciles de detectar.
Aun así, repito para dejarlo claro, yo no las utilizaría para evaluaciones de calidad universitaria, solo como indicios concretos a problemas concretos que, por otro lado, también se podrían detectar con otros mecanismos.
@J.E.
Con los matices que has dado, creo que no tengo nada que añadir. Estoy de acuerdo.
Supongo que buscamos la solución al mismo problema desde puntos de vista distintos.
Da gusto comentar con gente así.
J.E., estoy básicamente de acuerdo. Mi experiencia es que las encuestas sirven para eso, para detectar los casos muy llamativos (aunque en ocasiones se señala a gente que quizás no lo merezca).
Las encuestas nos sirven sobretodo a los profesores jóvenes como mérito para la promoción y acceder a plazas (procesos de acreditación). Pero nos basta con tener «encuestas positivas», es decir poder probar que hemos impartido cierto número de créditos de forma satisfactoria —vamos, que no eres un total desastre.
A parte de eso, algunas Universidades pusieron en marcha complementos salariales en función de índices de actividad docente, donde se incluían encuestas. Pero por lo que sé esos planes no llegaron lejos y se han parado con la crisis. Los índices de actividad investigadora si han avanzado más, aunque como complemento salarial no eran nada cuantiosos. En general estos sistemas de incentivos ya me gustan.
http://en.wikipedia.org/wiki/How_the_Test_Was_Won
Bart accidentally receives a perfect score on a practice test for the upcoming Vice President’s Assessment Test, by writing «Slurp My Snot» across his page. This enables him to attend a special pizza party, with a helicopter as his escort. However, it turns out to be a clever plan to purge the school of all bad test takers. Bart actually failed the test and the helicopter is a disguised school bus. He, Nelson, Ralph, Kearney, Dolph, and Jimbo are driven to Capital City by Otto, along with Principal Skinner, who was pushed onboard the bus by Superintendent Chalmers.
Muchas grandes empresas tienen sistemas de evaluación 360, en esas evaluaciones una persona es evaluada por sus superiores, sus compañeros y las personas a su cargo. No veo porqué no se puede aplicar en la educación, salvo el miedo que tienen algunas personas a rendir cuentas por su trabajo. Yo estuve en una empresa que usaba esos procesos y he de decir que la evaluación de las personas a mi cargo acabó siendo la que mas me interesaba.
Manuel comentaba que no se pueden comparar los resultados de un colegio en un barrio marginal con los de el colegio Alemán. Es cierto, pero un estudio este tipo no puede reducirse a una simple nota. Una nota tiene que ir acompañada de unas dimensiones (zona, renta media del barrio, origen de los niños, estudios de los padres, …) que permitan estudiar patrones. Las empresas a la hora de estudiar su negocio segmentan a sus clientes para ser mas precisos en los estudios, igual se tendría que hacer con los colegios.
Es curioso ver como mucha gente se lleva las manos a la cabeza cuando se quieren establecer controles de calidad a la función pública (colegios, sanidad, carreteras), cualquier gestión que se realice tiene que estar avalada por unas métricas que controlen esa gestión y unos objetivos medibles que cumplir.
La actitud de las personas es clave para sacar adelante cualquier proyecto, no se pueden sacar proyectos adelante si siempre hay personas dispuestas a hacer una trampa, saltarse la ley o usar cualquier mínimo resquicio para fastidiar en vez de mirar el bien común. Podremos poner todos los controles del mundo a estos exámenes pero no servirán nada si los directores de centros, profesores, padres o políticos no están dispuestos a jugar limpio. Yo que estoy viviendo fuera veo que el mayor problema de España es ese, una ciudadanía «troll» que crea líderes «troll».
Kiko, lo que Wert plantea es lo que ya hace Aguirre con los resultados de selectividad. Al no poder dar clasificaciones, manda a la prensa un excell con todos los colegios y su nota media para que ellos lo ordenen.
¿Las variables? A ti y a mí sí nos interesan. A ellos no.
Geógrafo, hombre, yo creo que a Wert si le interesaran, al fin y al cabo ha trabajado en Demoscopia y de estás cosas debe entender.
Por supuesto, si la información no se trata como debe, ya nos ocuparemos de comentarlo por aquí 🙂
¿Sabías que el Informe PISa contiene una segunda ‘clasificación’ redefinida por coeficientes sociales? ¿La has visto en algún periódico?