Política

Vivienda, cheques y pobreza: un ensayo experimental

27 May, 2014 - - @kikollan

Hace unos meses escribí en Jot Down abogando por los ensayos experimentales de políticas públicas. La idea es bien sencilla. Los fenómenos sociales son complejos y por eso es habitual que no sepamos si una política concreta conseguirá o no su propósito. Quizás un programa de vuelta al empleo suena prometedor, o pensamos que reducir el número de alumnos por aula va a mejorar los resultados de los universitarios, pero a priori es difícil estar seguro del éxito (y la magnitud del éxito) de estas acciones. Lo cierto es que las políticas públicas a veces no funcionan, tienen efectos diminutos, o son incluso contraproducentes. De ahí el valor de hacer ensayos, pruebas a pequeña escala y con un grupo control, antes de implantar una política en toda su extensión.

En el artículo dimos varios ejemplos de este tipo de ensayos —y también en la La Urna Rota, que tiene un capítulo dedicado a estas cosas—. Pero hoy quería hablar de otro caso muy interesante que descubrí hace unos días en “Triumph of the City”, el libro de Edward Glaeser.

 

Cheques y casas para combatir la pobreza urbana

En 1990, una ciudad norteamericana ensayó una intervención para intentar reducir la segregación racial en sus barrios. El objetivo era encontrar una alternativa mejor a los bloques de vivienda oficiales que, aunque sí servían para ofrecer casa a gente que la necesitaba, hacían muy poco en favor de la integración.

El ensayo, llamado Moving to Opportunity, funcionaba como sigue. El ayuntamiento distribuyó aleatoriamente una serie de cheques (vouchers) entre un conjunto de familias monoparentales que solicitaban ayudas para vivienda. Los solicitantes elegibles se dividieron en tres grupos. Un tercio no recibió nada y actuó como grupo de control. Otro tercio recibió un cheque estándar, que podían usar para pagar (parte) de una casa en cualquier lugar de la ciudad a su elección. El resto de solicitantes recibió un cheque de igual cuantía, pero con la condición de que solo podían usarlo para comprar su casa en determinados barrios, escogidos por tener un nivel bajo de pobreza.

El objetivo de esta restricción era llevar gente de bajos recursos a barrios más ricos, para así medir los efectos que vivir en aquel vecindario tenía sobre ellos. El propósito era forzar la integración y esperar que esta tuviese un efecto positivo y generase una suerte de círculo virtuoso. Gracias al grupo de control los investigadores podrían medir el impacto de las dos intervenciones.

¿Los resultados? Bueno, lo cierto es que hubo sorpresas.

Lo primero que se observó es que los padres cuyos cheques solo les permitían mudarse a barrios ricos eran más felices, estaban más sanos y tenían menos probabilidades de ser víctimas de delitos. Eso estaba bien. Sin embargo, no eran más ricos que antes de mudarse. En términos económicos estaban igual que antes. Sus casas en barrios «bien» les habían costado más dinero, la vida diaria era más cara, y ahora vivían más lejos de sus trabajos, lo que les ocasionaba gastos extra.

El impacto sobre los niños también fue dispar. Las niñas lo hicieron mucho mejor en el colegio y se integraron bien en sus nuevos vecindarios. Pero no pasó lo mismo con los niños. En los nuevos barrios ricos tenían más problemas de comportamiento, quizás por una peor adaptación.

 

Por qué hacer ensayos

El ensayo demostró que los cheques conseguían su principal propósito: dar mejores casas a gente pobre. Seguramente se demostraron mejor alternativa que subvencionar la construcción de grandes complejos de vivienda protegida (que además tienden a desviar el dinero hacía donde no toca). Pero el ensayo también trajo malas noticias al sugerir que los cheques-vivienda no sirven para reducir la pobreza urbana: los beneficiarios de la ayuda eran más felices, estaban más sanos y disfrutaban de barrios seguros, pero su nivel renta no mejoró.

Estos resultados reflejan el principal motivo para hacer ensayos, que como dijimos al principio, consiste en averiguar qué políticas funcionan y cuáles no. La complejidad y la sutileza de los fenómenos sociales hacen que no baste un argumento razonable para predecir el resultado de nuestras acciones. Ademas, aunque acertemos la dirección en que irán esos resultados, en ausencia de experiencias reales es dificilísimo cuantificar su magnitud.

Pero Moving Opportunity también es ejemplo de que hasta las políticas con las mejores intenciones pueden tener consecuencias imprevistas y perjudiciales. Ese fue el caso de los niños cuyas familias se mudaron a barrios ricos, que no mejoraron sus resultados académicos y tuvieron problemas de conducta en sus escuelas. Seguramente no es razón para desistir del programa, porque otros beneficios pueden compensarles y porque ahora que somos conscientes del problema podemos facilitar la adaptación de esos niños, pero es una información valiosa, no necesariamente intuitiva, y por tanto difícil de anticipar sin una evaluación experimental.

 

La necesidad de la evaluación

Subrayo esto último: es necesarios que evaluemos (midamos) el resultado de todas las políticas. En esta ocasión estamos hablando de un ensayo experimental, que es la forma más sofisticada de obtener información sobre una determinada política antes de aplicarla, pero también la más compleja por razones políticas (ver, ejem, La Urna Rota). No obstante, para conseguir parte de los beneficios que hemos expuesto, bastaría con evaluar los programas en marcha, aunque en sus inicios no se llevasen a cabo ensayos. Imaginad que el programa de cheques-vivienda se hubiese puesto en marcha, y que tres años después el ayuntamiento hubiese recabado información para evaluar la nueva situación económica de las familias, detectar los problemas de adaptación de los niños, etc. El análisis no es tan sencillo ni los resultados tan robustos —falta un grupo de control que sirva de contrafactual—, pero la evaluación a posterior es mejor (mucho mejor) que nada.

En definitiva, Moving to Opportunity sirve para ilustrar el valor de los ensayos experimentales de políticas públicas. Pensad que estamos hablando de una intervención sofisticada —viviendas— y que moviliza muchos recursos. Nada barata. Pensad en nuestro país. ¿Cuánto gastamos hace una década en Viviendas de Protección Oficial? ¿Se hicieron suficientes ensayos para averiguar la mejor forma de invertir aquel dinero? ¿Se ha hecho seguimiento para averiguar si las VPO lograban sus objetivos? ¿Estaban claros aquellos objetivos?

 


14 comentarios

  1. Yann dice:

    A pesar de la bondad de la idea, sigue teniendo un problema: ayuda a predecir los resultados de una política, pero no predice la respuesta política a esos resultados.

    Por ejemplo: «Pero Moving Opportunity también es ejemplo de que hasta las políticas con las mejores intenciones pueden tener consecuencias imprevistas y perjudiciales. Ese fue el caso de los niños cuyas familias se mudaron a barrios ricos, que no mejoraron sus resultados académicos y tuvieron problemas de conducta en sus escuelas». El actual gobierno Obama en USA ha implantado una política de «no left behind» en las escuelas. Eso quiere decir que aquellas escuelas que no consigan que el 100% de sus alumnos pasen el core son penalizadas. ¿Que hacen las escuelas?, bajan el nivel requerido para pasar los exámenes, de forma que puedan cumplir objetivos. En USA tienen ahora un serio problema de falta de formación de sus alumnos, al haber puesto en práctica una política de integración y al haberse hecho esto en la práctica bajando el nivel general de todos los alumnos al de lo peor cualificados.

    Ahora sumemos esto a las consecuencias del Moving Oportunity y tendremos una peligrosa mezcla para la disponibilidad futura de mano de obra cualificada. Por supuesto, esto no sería culpa del Moving Oportunity y no aparecería en los ensayos, sino de las políticas del gobierno para enfrentarse a los problemas de fracaso escolar derivados de la asistencia de alumnos de estratos sociales más pobres a colegios que hasta entonces tenían mayor nivel académico.

    • Epicureo dice:

      La ley «no child left behind» se implantó en 2002, durante el gobierno de Bush Jr., con apoyo de los dos partidos. Nada que ver con Obama. Y las escuelas no pueden bajar los niveles así como así, porque los exámenes son estándar a nivel estatal. Por otra parte, no hay ningún estudio que demuestre que el bajo nivel de la educación básica en Estados Unidos tenga que ver con esta ley. O con la segregación social y económica.

  2. «los beneficiarios de la ayuda eran más felices, estaban más sanos y disfrutaban de barrios seguros, pero su nivel renta no mejoró». Así expresado suena un poco a FAIL, aunque supongo que el objetivo del programa era mejorar la renta y no realmente mejorar su calidad de vida.
    Sinceramente, si esa población es más feliz, yo lo veo un éxito, y podríamos pensar que la siguiente generación tiene más probabilidades de ascender económicamente en una sociedad más cohesionada.

  3. Epicureo dice:

    No tiene mucho sentido esperar que sólo por mudarte a un barrio mejor empieces a ganar más dinero de repente. Los efectos en ese sentido, si los hay, tendrían que notarse al cabo de generaciones.

    Es un problema que tiene el enfoque experimental: que lleva tiempo, y en política el largo plazo dura hasta las próximas elecciones.

    Otro problema es que los ensayos a pequeña escala no suelen ser extrapolables. Es el defecto del famoso ensayo ese que «demuestra» que las guarderías son tan importantes. Poner a unos cuantos niños pobres en una guardería de lujo mejoró espectacularmente sus resultados a largo plazo; pero de eso no se puede deducir que poner a todos los niños pobres en guarderías de lujo es suficiente para eliminar la pobreza. Ese experimento creó unos cuantos privilegiados en un entorno desvavorecido, y lógicamente tendrán ventaja para aprovechar las oportunidades que siempre existen en cualquier entorno.

    Eso no quiere decir que no haya que hacer ensayos (hacerlos es muchísimo mejor que no hacerlos), sólo que no hay que creer ciegamente en ellos, ni en nada. Si funcionan a pequeña escala, hay que probarlos a escala mayor, y si se implantan como política hacer seguimiento permanente.

    El mayor obstáculo es el coste que tiene echarse atrás cuando el ensayo o la política no da los resultados esperados. Reconocer un error es anatema para cualquier político. Aunque si los ensayos se disfrazan de «estudio académico» quizá sea más fácil.

    • Kiko Llaneras dice:

      En libro —y permitidme que lo mencione— hablamos tanto de los límites legítimos e ilegítimos de los experimentos en políticas públicas.

      La falta de validez externa (extrapolación) es la limitación técnica más clara.

      En cambio, otras barreras que enfrentan los ensayos son menos legítimas: lo poco que gusta a un dirigente reconocer que los unicornios no existen, o que los experimentos tomen tiempo, etc.

  4. Maese Alcofribas dice:

    Yo soy un firme partidario de los ensayos, aunque como dice Epicureo nada es la panacea, y los ensayos, si bien son lo mejor para controlar sesgos en las atribuciones de causalidad, tienen problemas de validez externa (generalización). El tema del largo plazo es un problema tanto para los ensayos como para los estudios correlaciónales. Ciertamente, a ver si a partir de un solo ensayo pequeño vamos a pensar que ya tenemos la verdad en bote y no hay más que discutir. Por tanto, prudencia.

    Por otro lado, toda intervención tendrá efectos inesperados, pero se supone que el diseño del ensayo no se hace basándose en dos intuiciones felices, sino que está apoyado por resultados previos (no experimentales) y razonamientos teóricos. El diseño del ensayo debería ser la hostia de cuidadoso y repensado, atendiendo cuidadosamente a todos los confusores relevantes. Es más, pienso que todo ensayo (o serie de ensayos sobre un tema determinado) debería diseñarse conjuntamente por investigadores de corrientes teóricas diferentes, de modo que pudieran ponerse a prueba conjuntamente hipótesis derivadas de modelos teóricos alternativos.

    • Epicureo dice:

      Muy bien dicho, maese Alcofribas, lo del diseño del ensayo no es nada trivial y en sí mismo tiene sesgos ideológicos. El «moving to opportunity» este tiene bastante tela que cortar en ese aspecto. Si se pudiera hacer eso que dices de participar investigadores de corrientes teóricas diferentes sería alucinante. Aunque lo veo difícil.

      • Kiko Llaneras dice:

        El diseño también es importante, claro. Por ejemplo es un error habitual mirar todas las variables medidas, lo que garantiza casi que habrá resultados que parecen significativos por simple azar.

        A mi un enfoque que me gustó es el Ian Sanderson, que sugiere considerar cada política pública como una hipótesis. Las más inciertas se experimentan (una o muchas veces). Las más seguras se implementan directamente, pero todas se evalúan y se someten a un seguimiento, de forma que vayan ganando fuerza a tenor de la evidencia.

        Vamos, lo mismo que hacemos en el ámbito de la ciencia.

        • J.E dice:

          Disculpe mi ignorancia en estos temas, pero ¿existe alguna manera de diferenciar azar de resultados significativos más allá de repetir y repetir el experimento?

          Por poner un ejemplo aleatorio e inventado: si se provee de cheques-escuela a un barrio pobre y se detecta un repunte de la violencia doméstica ¿Como se diferencia si eso es una consecuencia imprevista o un hecho totalmente aleatorio? ¿Repitiendo el experimento (con ciertos problemas éticos)?

          • Maese Alcofribas dice:

            Me permito contestarte; primero describo el funcionamiento básico: las variables de resultado y las covariables (variables confusoras) han de establecerse a priori, a partir de la teoría y resultados previos, y también a priori hay que calcular el tamaño muestral necesario para alcanzar una potencia estadística adecuada, y como dice Kiko definir las correcciones estadísticas necesarias cuando se hacen múltiples contrastes estadísticos (en otras palabras, hacer más exigente el umbral de significación a alcanzar para considerar el resultado como estadísticamente significativo). Una vez hecha la aleatorización, se miden las variables de resultado en línea base (antes de la intervención) para comprobar si la aleatorización ha funcionado, o si al contrario existen diferencias significativas en ese momento (si ese es el caso, habrán de controlarse estadísticamente cuando se analice el efecto de la intervención). Si todo esto se ha hecho bien, cualquier diferencia significativa entre grupo de intervención y control tras el tratamiento puede considerarse un efecto de la intervención (con un grado de certeza que dependerá de la calidad metodológica del ensayo y la intensidad y precisión del efecto observado).

            Si de lo que hablas es distinto, es decir, variables que no se han considerado previamente desde el modelo teórico (como el caso que pones, donde no parece haber una razón teórica que relacione el cheque con el aumento de la violencia), pues probablemente no tendremos una medida en línea base (y habría que preguntar por qué sí disponemos de ella después del tratamiento), no habremos hecho el cálculo del tamaño muestral necesario, etc, con lo que no ciertamente no pueden extraerse conclusiones de causalidad, y también es cierto que se plantea un problema ético en la realización de un nuevo ensayo.

            • J.E dice:

              Gracias por la explicación, muy didáctica. La verdad es que no percibia (y una vez explicado es lo más evidente del mundo, como suele pasar) que es realmente necesario realizar un estudio previo del lugar. Creía que bastaba con tener un buen grupo de control.

  5. Unoquepasa dice:

    ¿De verdad se espera que exista una evaluación de políticas públicas en España?

    Los «estudiosos» (por llamarlos de algún modo) de la materia en España son cuatro gatos que se dedican a escribir en neolengua. Por favor, esperar de España cierta materia en evaluación y gestión pública resulta como esperar que Best Korea mañana abrace el libertarianismo.

Comments are closed.