Hace unas semanas salió un nuevo paper cuyo co-autor es uno de los cerebros del libro «Freakonomics» (que contribuyó a generar interés por los resultados no intuitivos de la economía). El artículo describe los resultados de un experimento llevado a cabo en las escuelas de Chicago, con el objetivo de probar si los incentivos monetarios tendrían algún efecto a la hora de mejorar la calidad de los profesores y por lo tanto los resultados de los alumnos.
No me voy a meter a analizar la literatura sobre los efectos de los programas de bonus por resultados por profesores, porque dan para otra entrada. Bastará decir que sigue habiendo cierto debate. Como se puede observar en el siguiente gráfico, hay muchísima variabilidad en términos de resultados, que van desde efectos negativos pero insignificantes (en Nueva York) a efectos positivos e importantes en India.
Fryer et al (2012). Datos en desviaciones estándar.
Lo interesante de este último paper es la forma en que se dieron los bonus por resultados. Los investigadores dividieron a los profesores en tres grupos. El grupo de control no recibió ningún tipo de premio monetario. Al segundo grupo, llamado «gain» o ganancia, se le ofreció un bonus de hasta 4000 dólares si mejoraban los resultados de sus alumnos. Al tercer grupo, y aquí llega lo interesante, se le llamó «loss» o pérdida, y se le dieron 4000 dólares al comienzo del periodo de evaluación. A este último grupo se le dijo que si lograban mejorar los resultados de sus alumnos, mantendrían sus $4000, mientras que si no lo conseguían, se les sustraería una cantidad proporcional.
Los resultados fueron los siguientes: El tratamiento habitual (bonus monetario al final del curso si los alumnos mejoran sus resultados) tuvo efectos insignificantes, tanto si se incluyen como si no se incluyen variables de control (he incluido los errores típicos para que os hagáis una idea de cómo de significativos son los resultados). En cambio, el tratamiento de pérdida tuvo efectos muy significativos. Son efectos comparables, como menciona el Economist, a los beneficios de reducir en más de un tercio el número de alumnos por clase.
Elaboración propia con datos de Fryer et al (2012)
Esto, a la espera de conocer si hay otros efectos colaterales que no conozcamos, es estupendo. Pero este experimento tiene una relevancia que va más allá del ámbito de la política educativa. En ambos tratamientos estamos hablando de bonus potenciales de 4000 dólares. No obstante, dependiendo de cómo se haga el framing, los resultados son radicalmente distintos. Esto va en la línea de un resultado que ha aparecido una y otra vez en los experimentos de behavioral economics. Los humanos tenemos una aversión clara a las pérdidas. Es decir, el «dolor» que sufrimos al perder 100 dólares (en valor absoluto) es mayor que el «placer» que recibimos al ganar la misma cantidad de dinero. Lo cual nos podría ayudar a entender los resultados de este experimento. Al recibir los 4000 dólares, los profesores pasan a verlos como suyos, a pesar de que su permanencia está condicionada a los resultados de los alumnos. En cambio, si nos prometen 4000 dólares, como no nos han dado nada aún, cualquier cambio será percibido como ganancia potencial.
Es importante recalcar que, en términos de teoría económica clásica y present value, los dos tratamientos deberían haber tenido resultados idénticos. Ambos constituyen, al fin y al cabo, un aumento de nuestra riqueza total (con un descuento, claro está, por el riesgo de no obtenerla). El caso es que este experimento es un ejemplo claro de que a la hora de diseñar una política pública, a menudo las magnitudes (cuánto se paga) son mucho menos importantes que variables más sutiles (el cómo se paga), y que pueden no ser obvias a primera vista. El contexto no lo es todo, pero casi.
Ah, la aversión a las pérdidas. Muy, muy curioso. Aún así, un .40 desviación estándar de mejora no suena mucho, ¿no?
Pues francamente, comparado con los efectos que tienen la educación de los padres y los ingresos, creo que no. Yo en general soy bastante escéptico con lo de los bonus. Me parece más interesante como ejemplo de lo que podemos aprender de behavioral economics. Pero ya sabes que en EEUU la agenda de los «education reformers» siempre pasa por los profesores y nunca por la pobreza 😛
Esto vale en países serios, en los que tienes una cierta garantía que no te van a recortar el sueldo luego, independientemente de tu desempeño, incluso con efectos retroactivos. ¿Cuales serian las hipótesis de partida de un experimento en el que se rebajara el sueldo indiscriminadamente a los profesores y que, además, la amenaza de posteriores recortes estuviera siempre pendiente sobre ellos? Esperad un par años y veréis!
Los resultados para el alumno no creo que fuesen muy positivos, porque con este sistema -considero- se está menoscabando el componente emocional de la educación. Más aún si el profesor que te da clase va a su trabajo con miedo todos los días.
No creo que el producto de una buena o mala educación sea reducible a un resultado numérico. No voy a decir que pasar una prueba con nota deje de ser importante. Pero más allá de eso está la formación integral de la persona, aprender a reflexionar, a realizarse…
Estoy con Octavio en que el foco de interés de este estudio recae sobre la behavioral economics.
El teaching to test no es necesariamente malo.
Una parte de la formación integral de la persona es saber que en la vida tienes que hacer muchas veces tareas que son difíciles, cuestan, no te gustan, van a ser evaluadas y comparadas con las de otros. Y si no las cumples satisfactoriamente estás fastidiado. Para mí, el sentido de los exámenes es básicamente este, más que la adquisición de unos conocimientos que, todos lo sabemos, van a quedar olvidados al día siguiente.
Curiosamente, ahora que el mundo laboral es cada vez más despiadado y competitivo, la pedagogía descuida totalmente este aspecto tan importante.
Una pedagogía basada en todas esas ideas de la motivación intrínseca, autorealización, cooperación… sería estupenda si estuviéramos construyendo una sociedad basada en esas ideas. Pero no sirven en la sociedad del «que se jodan».
Es de imaginar que igual de positivos que han sido todos estos años de aumento salarial y reducción de horarios, ¿no?
[…] Incentivos y sutileza Aug 17th 2012, 18:35 Hace unas semanas salió un nuevo paper cuyo co-autor es uno de los cerebros del libro “Freakonomics” (que contribuyó a generar interés por los resultados no intuitivos de la economía). El artículo describe los resultados de un experimento llevado a cabo en las escuelas de Chicago, con el objetivo de probar si los incentivos monetarios tendrían algún efecto a la hora de mejorar la calidad de los profesores y por lo tanto los resultados de los alumnos. […]
Quizá el plan del PP para mejorar la calidad de la enseñanza sea bajar los salarios de nuestros maestros hasta los niveles de la India y luego empezar a dar bonus…
Me gustaría ver un estudio similar que relacione los bonus a los directivos con los resultados de las empresas (sobre todo a medio plazo). Y repartirlo a los consejos de administración. Si son como los maestros de Nueva York, puede que incluso sean contraproducentes.
Por desgracia, los economistas, en el caso infrecuente de que estudien el comportamiento de alguien, sólo estudian a la clase media-baja. Sería de lo más interesante estudiar el comportamiento de los ricos-ricos, que son al fin y al cabo los que controlan la economía y gran parte de lo demás. Tengo la sensación de que, como decía Scott-Fitzgerald, los ricos son más diferentes de lo que suponemos.
Hay un debate bastante interesante sobre los bónuses a los directivos. De hecho pensaba escribir una entrada al respecto. LSE le dedicó una serie de charlas y conferencias al tema, si te interesa. No tengo el link ahora mismo pero seguramente lo tengan aún en la web.
Muy interesante, Octavio
Un riesgo que le veo a estos programas de incentivos es que potencien el teaching to the test
Siempre he pensado que lo mejor para el aprendizaje es la motivación intrínseca
¿Cómo lo ves?
Sí, hay bastantes papers que sugieren que los programas de bonus aumentan tanto las trampas (profesores que cambian los resultados de los exámenes, que intentan que sus malos alumnos no hagan el examen…) como el teaching to the test. Si no me equivoco uno de los experimentos encontró que en uno de los casos mejoraron un poco los resultados en el test de matemáticas (el que contaba para el bonus), pero empeoraron sustancialmente los de ciencias (que no estaban incluidos).
Como le decía a Roger, yo también soy bastante escéptico con respecto a este tipo de sistemas. No creo que sean el instrumento definitivo para mejorar la calidad educativa. De hecho, creo que si algo hemos aprendido es que no hay «silver bullet» o instrumento definitivo que acabe con todos los problemas.
También cabe preguntarse qué ocurriría si otros servicios públicos se trataran igual. ¿Te imaginas qué clase de problemas desencadenaríamos si pagáramos a la policía un bonus por número de detenidos? 😀 Conviene tener cuidado con los efectos secundarios.
[…] Medina: “Incentivos y sutileza” ¿Los incentivos monetarios tienen algún efecto a la hora de mejorar la calidad de los […]
Estupenda entrada Octavio. Efectivamente los resultados son sorprendentes. La verdad es que la heterogeneidad entre los distintos estudios invitan a ser escépticos, al menos de momento; pero todo parece apuntar a que la ‘aversión a la pérdida’ es un fenómeno significativo, lo cual aparte de ser consistente con los planteamientos behavioristas permite abrir un debate de calado sobre los incentivos en las políticas públicas.
Sobre lo que comenta Penny, creo recordar que Fryer panteó una serie de experimentos aleatorios controlados sobre tres programas distintos: 1) Recompensar a los alumnos si subían sus notas medias, 2) Recompensar a los alumnos si subía la nota media de la clase, 3) Recompensar a los alumnos si leían una serie de libros (y luego eran capaces de demostrar que lo habían hecho a través de test bastante sencillos). Los dos primeros casos no presentaron resultados significativos, en cambio el tercero sí. Fryer discute que dado que las destrezas lectores mejoran las aptitudes de estudio de los alumnos (son un input en la educación) incentivarlas redundaba en un mayor rendimiento posterior en el resto de asignaturas, lo que a su vez redundaba en mejores calificaciones finales. A ver si encuentro el paper, pero probablemente Fryer no ande nada desencaminado.
Sí, me acuerdo que leí algo parecido. Una de las explicaciones es que si bonificas a los alumnos por un resultado abstracto (aumentar su nota media), no hay cambios de comportamiento. En cambio, si les das un premio por algo concreto, como leer una lista de libros, hay una conexión mucho más clara entre acción y premio. Y, como dices, leer tiene muchos spillover positivos que lo hacen muy buen proxy.
¿Y cómo garantizamos que hubo igualdad en esta competencia entre profesores?
Me gustaría saber cómo se logró que los profesores y los estudiantes fuesen entidades homogéneas u homologables.
No obstante, tampoco es importante, porque el propio experimento sesga sus resultados y demuestra, como siempre pensé y demostró List, que la limitación intelectual y epistemológica de los consagrados a la economía del comportamiento es alarmante.
Si me dan 4.000 dolares extra para trabajar este curso y sé que debo competir, cuento con ventaja. Al final, podré contratar a alguien para que me ayude a limpiar el piso y tendré más tiempo para preparar las clases y corregir a los alumnos, y esa mejora me costará menos esfuerzo que aquellos que les han prometido ganar 4.000 dolares si este año hacen el esfuerzo de trabajar mucho más sin tener un crédito extra. Con 4.000 dolares extra, el rendimiento es mayor porque el esfuerzo es menor. Con 4.000 dolares se tiene dinero para tener más tiempo y más oportunidades. Esto sin hablar de cómo se usaron esos 4.000. Espero que 2.000 dolares no se fueran en incentivos monetarios a los estudiantes por hacerlo mejor (conociendo a Levitt, seguro que pensó que es lo primero que harían).
Si te interesa la metodología, te viene explicada en una sección del paper (creo que puse el link en la entrada). Tienes razón en que $4000 hoy en día valen más que $4000 mañana o dentro de unos meses (asumiendo que no haya deflación). Los puedes meter en el banco y sacar algo de interés, en principio. Puede que eso haya tenido algo que ver. No lo sabemos. No obstante, también es cierto que si decides gastar esos $4000 al principio, puedes encontrarte con que tus esfuerzos para mejorar resultados han fracasado y los tienes que devolver al final.
En realidad, estos resultados tienen sentido desde el punto de vista del condicionamiento. Esto me recuerda a los típicos experimentos de autocontrol: a un animal se le permite escoger entre una recompensa pequeña pero inmediata y otra grande pero demorada. El resultado suele ser que el animal (incluyendo los humanos) escoja la segunda.
Si soy un profesor, y me «prometen» un plus en el sueldo si me esfuerzo durante un año, largo me lo fiais: me compensa más la recompensa inmediata de no hacer nada, de la desidia… Si no consigo el plus de sueldo, no puedo achacarlo a ninguna acción concreta por mi parte, y la culpa (y con ella la recompensa) se diluye…
Sin embargo, en el tratamiento con «pérdidas», me dan una cantidad inicial y cada acción que realizo puede ser la responsable de que desaparezca ese dinero. Se establece una conexión más directa, por inmediata, entre acción y resultado. Y con ello se refuerza la responsabilidad.
Si los profesores del experimento son funcionarios, un austriaco lo tendría claro: Al hacerse funcionarios se han vuelto idiotas y su descuento del futuro ha aumentado una barbaridad, además, nadie se fía de que el Estado te vaya a pagar ese plus.
Y eso ha sido el comentario idiota del día.
El parámetro temporal puede que tenga algo que ver, pero como Fernando ya lo ha señalado, voy a comentar otro que no está supeditado a la cuestión temporal.
En las encuestas de los mercados bursátiles el patrón que se repite es el de aversión a las pérdidas en momentos de bajadas, y de aversión a omitir ganancias en momentos de alza. Los expertos hacen una lectura contraria de estos indicadores, es decir, compran cuando hay mucho miedo a pérdidas y venden cuando hay temor a dejar pasar las ganancias. Eso da buenos resultados. La explicación más plausible es que esa aversión a una cosa u otra es una justificación de la posición adoptada en el mercado. Eso ocurre en experimentos de distinto tipo como la valorización que se tiene sobre la redistribución o el esfuerzo.
Tampoco hay que olvidar que las percepciones de ganancia y pérdida se hacen en términos relativos. En el «juego del ultimátum», el que rechaza una oferta que considera injusta (quedándose los dos sin nada) no lo hace de forma irracional, pues si acepta 10$ y el otro se lleva 90$ la percepción es que es 80$ más pobre que el otro, rechazándolo en cambio se quedan en tablas. Es por eso que el temor a dejar pasar ganancias en bolsa funciona, la percepción es que otros están ganando y tú no.
Por tanto, habría que ver los resultados si el experimento de los profesores se hicieran en términos relativos a sus colegas de trabajo, por ejemplo. Nuestras percepciones psicológicas de ganancia y pérdida son, en ultima instancia, consideraciones sociales, no aisladas.
[…] Profesores e incentivos por resultados analizados en Politikon. […]
[…] Profesores e incentivos por resultados analizados en Politikon. […]