La hoja de cálculo que destruyó el mundo

La noticia en la blogosfera económica americana ayer giraba alrededor de una hoja de cálculo. Más concretamente, un archivo de Excel que Kenneth Rogoff y Carmen Reinhart utilizaron para calcular las estimaciones de uno de los artículos académicos más influyentes de los últimos años, “Growth in a Time of Debt“.

¿Qué dice el artículo exactamente? Bueno, sin extenderme demasiado, Rogoff y Reinhart llegan a la conclusión que los países sufren una caída dramática de su tasa de crecimiento cuando su nivel de deuda pública supera el 90% del PIB. Vaya por delante, este artículo no fue publicado tras peer review; aunque salió en American Economics Review lo hizo en la sección de “breves”, por así decirlo, basado en las notas de una conferencia. Un apunte rápido, pero sin revisión editorial previa.

El artículo tiene, por decirlo de algún modo, tres grandes virtudes: primero, es fácil de explicar, con una lógica sencilla y directa. Segundo, las matemáticas del modelo son lo suficiente sencillas para no intimidar demasiado (unas cuantas correlaciones) pero lo suficiente complicadas para dar impresión de seriedad y que un periodista no les preste demasiada atención. Tercero, y más importante, “Growth in a Time of Debt” da la razón de forma plena, completa y abrumadora a todo político y columnista serio, adusto y conservador que quiera crujir un continente a base de austeridad durante la próxima década.

El efecto ha sido curioso. Cualquier observador medio familiar con estadística o economía leerá el artículo y dirá, casi de inmediato, que “correlación no equivale a causalidad“. Nada de lo que dicen Rogoff y Reinhart elimina la posibilidad que el crecimiento económico lento sea la causa y no la consecuencia de elevadas tasas de endeudamiento. El modelo matemático del artículo es ridículamente sencillo; es literalmente imposible decir con certeza que la deuda pública está provocando crisis con  los datos presentes.

En el mundo de la política americana, sin embargo, no hay demasiados observadores medio familiares con estadística y economía, y sí muchos columnistas solemnes, políticos republicanos y centristas con ganas de dar lecciones de hambre al resto del país dispuestos a creerse cualquier estudio que les dé la razón. El artículo de Rogoff y Reinhart, una curiosidad estadística en un rincón de una revista que leen cuatro gatos para promocionar su (excelente) libro, fue abrazado por el movimiento conservador americano como La Gran Verdad Económica Relevada que demuestra que Estados Unidos bajo Obama es peor que Grecia y vamos a morir todos. Paul Ryan se pasó toda la campaña electoral blandiendo este dichoso artículo por todo el país. Los republicanos estuvieron a punto de destruir el mundo dos veces con la burrada del techo de la deuda aullando los nombres de Rogoff y Reinhart. Y qué decir de la política europea, donde los amantes de la austeridad bien entendida (la que empieza con los otros, se entiende) han encontrado en el artículo una excusa fantástica para infligir sufrimiento y desolación a todo aquel país que estuviera sufriendo una crisis de balanza de pagos o burbuja inmobiliaria.

El artículo de Rogoff y Reinhart, sin embargo, tenía un pequeño problema: los números estaban mal hechos. Durante los últimos años varios autores habían intentando replicar sin éxito los resultados del artículo original. Este año, tres economistas en Amherst, Thomas Herndon, Michael Ash y Robert Pollin, pidieron a Rogoff y Reinhart una copia de la hoja de cálculo que estaban utilizando, y le echaron un vistazo. Mike Konczal resume las conclusiones de su análisis aquí, pero la la historia es simple: “Growth in a Time of Debt” omite un número considerable de observaciones de países endeudados y crecimiento sin demasiada justificación, utiliza un sistema para agregar datos como mínimo cuestionable, ya que da menos peso a países con niveles de deuda elevada continuados a aquellos que tienen “picos” con crisis, y tienen un par de errores de bulto en las fórmulas de Excel que utilizaron en su modelo. Para los académicos, utilizar Excel ya es crimen suficiente (la mayoría de economistas se mofarán si te ven usando Stata, por no decir SPSS), pero el hecho que un artículo tan desproporcionadamente popular tenga una pifia así de grave es para echarse a llorar.

En el artículo inicial, Rogoff y Reinhart llegaban a la conclusión que el crecimiento medio en países con más de un 90% del PIB en deuda pública era -0,1%. Si añadimos los casos eliminados, utilizamos una ponderación más equilibrada y corregimos el error de Excel la cifra es muy distinta, +2,2%. Es teóricamente defendible (aunque el artículo original nunca lo hace, y la verdad, creo que Herndon, Ash y Pollin llevan razón) defender los dos primeros cambios; la pifia en las formulita en solitario, sin embargo, basta para eliminar el crecimiento negativo por sí solo. Aunque los datos, incluso con correcciones, siguen mostrando un crecimiento económico más rápido en países con menos deuda pública (4,2% por debajo de 30%; 3,1% entre 30 y 60%;  3,2% entre 60 y 90% y 2,2% por encima del 90%) la relación entre ambas variables es infinitamente menor, y los resultados son mucho menos convincentes. Por supuesto, siguen sin señalar el sentido de la causalidad, pero ese es otro tema.

La reacción de la blogosfera económica ha sido curiosa. Por un lado tenemos a gente como Krugman soltándole soberanas collejas (otra vez) a Rogoff y Reinhart, y señalando que su justificación/respuesta de hoy es entre débil y espúrea. Matthew Yglesias señala, con razón, que en su respuesta los autores admiten que la correlación es irrelevante y “no hablan sobre causalidad” (ignorad el detalle de Rogoff diciendo lo contrario en entrevistas los últimos años), algo que esencialmente equivale a conceder el debate.

Por otro tenemos la reacción sorprendentemente realista de la izquierda americana, diciendo que esta revelación no tiene puñetera importancia. El motivo: los “austerianos” ya estaban convencidos de antemano de la necesidad de recortar gasto y purgar la economía a latigazos. El artículo de Rogoff y Reinhart era simple munición retórica; la justificación cara a la galería de estrategias políticas concretas. Los republicanos tienen todos los incentivos del mundo para torpedear la agenda de Obama, y simplemente cogerán el artilugio retórico más cercano para hacerlo. Alemania no tiene un interés especial en los niveles de deuda de la periferia; simplemente no quieren cargar con la factura cada vez que un Zapatero o Rajoy cualquier se carga la economía de su país. Los políticos responden a incentivos; sus palabras y creencias son puramente accesorios cara la galería.

De todas las reacciones, sin embargo, me quedo con la de Peter Frase y los peligros del “empirismo” al hablar de política. Primero, recalcar algo que he comentado más de una vez: cuidado con los artículos que te dan la razón. Rogoff y Reinhart confirma los prejuicios de muchos políticos e intelectuales conservadores; la reacción más natural era creérselo. Si alguna vez me veis citar un artículo hablando sobre lo maravilloso que es el AVE, huid como la peste; estoy regalándome mis oídos con cosas que quiero escuchar.

Segundo, cualquier periodista / bloguero / columnista no experto que lee un artículo académico y  lo traduce al público general debe andarse con cuidado. Yo puedo tener formación académica y ser capaz de leer algunos modelos sin marearme, pero esto no me hace un experto o nada remotamente parecido; muchos detalles estadísticos importantes pueden pasarme desapercibidos, y no voy a entender la validez de mecanismos causales o premisas del modelo del mismo modo. Muchos columnistas americanos han estado sacando este artículo maldito una y otra vez sonando todo serios sin entender realmente su contenido o ser consciente de sus problemas de origen. Cuando me veáis citar algún artículo curioso y saque grandes conclusiones sobre el futuro de España, recordad que esto lo escribo en mis ratos libres en pijama, antes de irme a dormir; leer cosas raras no me hace más listo, aunque a veces crea lo contrario. Lo único peor que un tonto que hace cosas sin saber es un tonto que cree que sabe lo que hace, al fin y al cabo.

Mientras tanto, el debate sobre la austeridad sigue. Pero de eso hablamos otro día.

Difúndelo:

Suscríbete

Síguenos en tu lector RSS, por Twitter o Facebook.

, ,

33 Responses to La hoja de cálculo que destruyó el mundo

  1. Daniel Cañueto 17 abril, 2013 a las 08:29 #

    El problema de los papers en general con la replicación de resultados es ya demasiado evidente. Ojalá que de polémicas así salgan estándares de publicación mejores.

    Como no tengo ningún estudio de economía, me gustaría dejar unas intuiciones sobre la importancia de la deuda pública para que me las pudierais refutar:

    1. Sí que influye la deuda, pero de un modo más relacional (si tienes más deuda que otros países, es más probable que seas insostenible) que por un numerito concreto. En un mundo mucho más interrelacionado, el nivel de deuda actual asumible es bastante más alto que antes.

    2. En un mundo menos estatalizado como el de ahora, la deuda pública puede tener que ser menor que antes, pero actualmente lo más importante es la deuda total de la población más el estado, como se está viendo en los problemas bancarios. Los bancos no dejan de ser herramientas para intercambiar dinero entre personas.

    Según estas intuiciones, todo concepto inferido de un estudio como el hecho por ellos sería una gilipollez.

  2. Jose R. 17 abril, 2013 a las 08:47 #

    Lo sorprendente por un lado es que el artículo es en cierta manera algo contradictorio con las tesis de austeridad de su libro (en el que indican que las recuperaciones de crisis como las actuales se tardan años y que se genera deuda de forma casi inevitable), por tanto no se regalaban a ellos los oídos.

  3. nop 17 abril, 2013 a las 10:22 #

    La importancia que veo en este caso consiste en que es un paso más hacía la, cada día más demandada, condición que todos los articulos cientificos publiquen publicamente los datos en bruto en los que se basa el paper.

    Para que algo pueda ser ciencia sería tiene que ser replicable. El error de Rogoff y Reinhart se ha podido demostrar porque se presiono a los autores para que hicieran publicos los datos en bruto sobre los que se basaban, en otro caso estariamos en una guerra de papers sin resultados concretos.

    Recalcar que no os creais ningún paper sin los datos en bruto disponibles, en ningún campo.

  4. Víctor R. 17 abril, 2013 a las 10:26 #

    Creo que se nos pasa la pregunta realmente importante acerca de lo que se dice en esta entrada:
    ¿De verdad hay artículos académicos que glosan las bondades del AVE?

  5. Guido Cor 17 abril, 2013 a las 11:27 #

    La verdad, vengo de la psicología experimental y estas cosas no son nuevas [por desgracia] cagadas con excel, ‘limpiar datos’ hasta el momento que dicen lo que quieres….

    La solución propuesta? Sube tus datos en bruto a la web para que cualquiera pueda analizarlos!

    No sabía que el [maldito] SPSS tuviera mala fama! ¿A que es debido?

    Saludos!

    • Jesus FV 17 abril, 2013 a las 15:00 #

      Espero que Roger no se enfade si hablo aqui en este foro.

      El standard estos dias es R (http://www.r-project.org/). Ademas de ser open-source (lo cual concuerda mejor con el espiritu academico y permite que se analize el codigo por la comunidad, no seria ni la primera ni la segunda vez que programas como SPSS tienen bugs), los paquetes existentes (unos 5000) permiten miles de tipos de analisis estadistico mucho mas sofisticados que cualquier cosa que SPSS te pueda hacer.

      Emplear SPSS (al menos en economia) es señal de no estar preocupado en exceso por la calidad estadistica de lo que uno hace. Emplear Excel ya ni te cuento.

      En todo caso: la AEA te obliga a subir todos los datos y los codigos a la pagina web de la asociacion (yo lo he hecho personalmente en varios de mis papers) para que se los baje cualquiera. No entiendo muy bien el problema que tuvieron otros autores en conseguir los datos. Puede haber habido un fallo del sistema, pero la obligacion ya esta ahi y yo desde luego siempre la he seguido a rajatabla.

      • Roger Senserrich 17 abril, 2013 a las 15:22 #

        El problema, en este caso, es que el artículo se publicó en la sección “Papers and Proceedings” de la revista, no en la zona exigente y dura bajo peer review. Esto es lo más cómico de la historia; ni siquiera era un artículo demasiado serio.

        Pero claro, daba la razón a los que piden austeridad a cualquier precio. Y eso basta.

        • Jesus FV 17 abril, 2013 a las 15:36 #

          Si, es verdad que es un P&P, pero aun esos te piden subir los datos. Lo que no termino de ver es porque tuvieron dificultad los otros tres tipos en conseguirlos. Si es verdad que Reinhart fue reticente a distribuir los datos, es bastante peor que el error de Excel.

        • Fulano 17 abril, 2013 a las 18:44 #

          La curva de Laffer II: la venganza.

        • Penny 17 abril, 2013 a las 20:10 #

          Policy-based evidence making?

      • Guido Cor 17 abril, 2013 a las 20:51 #

        Si, R es el futuro, yo me estoy poniendo al día en él [gracias Coursera!]. Desconocía lo de la AEA, soy un newbie total en Economía

        Muy ridículo el tema la verdad tanto la ‘exageración’ del paper como lo cutrillo que resultó ser el Excel jeje… Pero bueno no es nuevo que la gente ‘casualmente’ sobreestima la evidencia a favor y desestima la en contra.

        Al fin y al cabo la teoría es como un cepillo dental, cada uno ha de tener uno, usarlo muy a menudo y por muy guarro que este el nuestro siempre es el de los demás el que nos da asco!

        Saludos!

      • Kiko Llaneras 18 abril, 2013 a las 12:56 #

        Pensé lo mismo: ¿por qué tardaron dos años en tener los datos?

        Por lo demás, me parece que (1) el error de Excel es algo puede pasar y (2) tampoco veo problema en usar Excel. Si uno va a haber OLS, por decir algo, lo mismo da que lo haga con R, Stata o Matlab. Entiendo lo que dices, Jesús, de que usar Excel sugiere/señala que uno no sabe demasiada estadística, pero es solo una señal… quizás útil en promedio, pero que no creo que desacredite a nadie por si misma.

      • Topo Universitario 21 abril, 2013 a las 14:13 #

        ¿Y quién revisa las librerías de R?

        • Ender Muab'Dib 27 abril, 2013 a las 22:52 #

          Cualquiera con interés, es la gracia del código abierto.

          Si un resultado de una función no te convence, y entiendes el lenguaje en el que está programado, puedes verificar por ti mismo que sea correcto. E incluso corregirlo tú mismo y compartir el arreglo con la comunidad. En un software cerrado como SPSS o Excel lo más que puedes hacer es enviar un email indicando que algo no te parece coherente y cuando les apetezca y puedan lo mirarán y arreglarán. Pero nunca podrás tener la certeza de qué hace exactamente esa función viéndola por ti mismo.

          Puedes argumentar que quizás no tengas idea de ese lenguaje de programación, por lo que para ti el proceso sería el mismo en cualquiera de los dos casos: pero si en algún momento quisieras aprender, el software libre te da esa posibilidad que no te ofrece el privado.

          Un saludo.

          PS: Interesantísimo el artículo, algo había oído pero no sabía exactamente cómo había sido el asunto de la hoja de Excel.

  6. fer 17 abril, 2013 a las 11:42 #

    Hablando de forma un poco gruesa, lo que me deja sobrecogido es que un artículo que se cita (aprobándolo o reprobándolo pero se cita) por un montón de académicos económicos (profesores, investigadores, directores de think-tanks y servicios de estudios) y parece ser que nadie tuvo la menor ocurrencia de echarle un vistazo para saber si las cifras calculadas eran correctas o no para intentar encontrar “munición” que respaldase o desaprobase su postura. Sinceramente ¿no queda la comunidad científica un “poco” mal?

    • JimmyPage 17 abril, 2013 a las 14:40 #

      Esto es economia no ciencia.

      • Shine 17 abril, 2013 a las 20:20 #

        El mejor comentario.

      • Investigador 17 abril, 2013 a las 21:35 #

        ¡Qué atrevida es la ignorancia!

    • Jesus FV 17 abril, 2013 a las 15:29 #

      Tres puntos:

      1) No confundas las citas a las que se referia Roger (politicos, think-tanks, periodistas) con citas academicas. De las segundas ha habido muchas menos. El impacto del paper fue en el debate publico, en el academico fue bastante pequeño.

      2) Uno no puede dedicarse toda la vida ha replicar otros trabajos, basicamente porque entonces no avanzariamos. La presuncion, en economia y en todas las ciencias, es que los otros trabajos estan bien a menos que salgan numeros raros.

      3) Cuando salen numeros raros y el tema es importante (como en este caso), hay gente que mira las cosas en detalle. Y eso es lo que ha ocurrido en un tiempo mas que razonable. El sistema academico de revision ha funcionado: se ha descubierto que el paper estaba mal y se ha descubierto por tres economistas, no?

      Creo que la leccion de este tema no es que la universidad no funcione, es que el mundo de “periodistas-politicos-pseudo investigadores celebrities” esta roto.

  7. Ender 17 abril, 2013 a las 12:04 #

    Modo troll on:

    Si Rogoff y Cía fueran dos físicos de prestigio en lugar de dos economistas de prestigio, les caería tal somanta de puñetazos en el hígado después de esto, propinados por sus propios colegas, que sus prestigiosas carreras iban a tardar en recuperarse.

    Y no por cometer errores, o por usar excel, o por haber publicado un poco a la ligera un trabajo anecdótico… sino por no haber salido inmediatamente a la palestra, cuando la cosa se desmadraba, a poner el trabajo en sus justos términos, desmentir conclusiones no fundamentadas y sí, también poner sus datos a disposición de los colegas…

    Modo troll off.

    • Jose R. 17 abril, 2013 a las 12:39 #

      Secundo a Ender, en las ciencias sociales hay demasiado escudarse y elusión de evidencias.

    • Jesus FV 17 abril, 2013 a las 15:04 #

      Un segundo comentario: la reputacion de Carmen Reinhart es dificil dañarla pues nunca ha existido (no confundas la “fama” de los que salen en EL PAIS o en EL MUNDO con el prestigio academico, tu seguro que has visto a James Galbraith en el otro dia en EL PAIS, que es un cero patatero a la izquierda y sospecho que jamas habras oido hablar de Ivan Werning). La de Rogoff, puff, pues si, ha sufrido mucho, mucho, mucho. Ayer muchos de mis amigos no hablaban de otra cosa. Es una metedura de pata considerable….

      • parvulesco 17 abril, 2013 a las 17:20 #

        A mí This Time is different me pareció un buen libro, al menos bien documentado.

      • Guido Cor 17 abril, 2013 a las 21:05 #

        Estaría muy bien hacer una comparación entre prestigio [percibido al menos] entre mundo académico y mundo no académico [periódicos, tv, etc...]

        Sería interesante saber a que merluzos hacen caso [Niño Becerra...] y más interesante: a que eminencias se escucha en los medios.

  8. heathcliff 18 abril, 2013 a las 02:38 #

    Y ya que estamos por ser científicos, creo que es obligado decir algo que nadie ha dicho:

    Que el artículo sea una chapuza pueril no demuestra que la deuda sea mala ni que la austeridad sea un error. Demuestra únicamente que el artículo es una chapuza.

    ¿O es que si hago una demostración de mierda de la ley de gravitación universal la invalido?

    Lo digo por si acaso, porque a veces veo a gente de ciencias diciendo que la falta de pruebas, niega un hecho. Y no lo niega. Simplemente no lo demuestra.

    • Ender Muab'Dib 27 abril, 2013 a las 23:42 #

      Es una muy buena apreciación.

      Pero ojo, porque no es que sea que el artículo es erróneo y punto. Lo que se dice en esta entrada es que si se incluyen los datos que se habían eliminado arbitrariamente para obtener las conclusiones deseadas ¡el resultado es el opuesto! Incluso con abultadas deudas hay crecimiento. (por supuesto esta conclusión sigue siendo criticable respecto al tema correlación-causalidad, pero ésa es otra guerra).

      Un saludo.

  9. Reignman 18 abril, 2013 a las 09:57 #

    Un tema bien elegido y fenomenalmente tratado.
    Otro “smoke seller” como Roubini ya comentaba ayer en una conferencia del FMI que la relación entre alta deuda y bajo crecimiento podría ser en la otra dirección.
    Efectivamente, el trabajo de estos dos personajes era mera munición retórica. Tuvo trascendencia por el atractivo del mensaje político, pero en la profesión económica no se le tendría que haber dado ninguna repercusión a este trabajo, independientemente incluso de la tortura de los datos.
    La mal llamada ciencia económica no es ninguna ciencia. Más bien es una batalla ideológica que algunos intentan disfrazar como rigurosa, haciendo las cosas lo más complejas posibles. A los economistas les gusta demasiado la repercusión mediática y política y la cercanía al mundo de la alta directiva de las empresas, lo que influye en el tipo de producto que publican.

  10. Zhurrer 19 abril, 2013 a las 17:44 #

    El problema es que esto no se circunscribe únicamente a R&R, es que también hemos visto lo mismo no hace nada con los famosos multiplicadores de Alesina y Blanchard acabando pidiendo perdón a cámara como un vulgar Borbón. .

    Hacemos mal en tratar estas noticias desde un punto de vista anecdótico ya que estamos hablando no solo de un absoluto fraude intelectual sino también del total fracaso de la academia a la hora de comprender y solucionar la crisis que nos afecta.

    Resulta que estos gurús, y no unos cualquiera, sino aquellos situados en la élite de la profesión, gurús a los que algunos ya querían alzar a la cúspide (no os acordáis de esos artículos “¿deberíamos ser gobernador por economistas?”), han resultado ser unos auténticos inútiles, y en vez de inventar la penicilina nos han recetado a todos ricino. Cinco países rescatados después, algunos siguen aplaudiendo la gracia con las orejas (antes partía que doblá que decía tal).

    Pero es que el fraude intelectual es aun peor, como el chico éste que solía compartir blog con Senserrich y que se dedicaba a tratar a la gente como subnormal, a citar a las “identidades contables” y a tirarnos el papel de Alesina a la cara creyéndose en posesión de una verdad que solo existía en su cabeza. Rematando todo, como de costumbre, con insultos posteriores via Twitter.

    ¿Qué se supone que debemos hacer con semejante idiotas? ¿Vale simplemente con decir ahora que no pasa nada que a fin de cuentas escribimos los posts en pijama? ¿Hacemos como si nadie supiera nada, nadie hubiera escrito nada, nadie hubiera dicho jamás nada?

    Esto es, a fin de cuentas, lo más importante de la historia. El enorme fraude intelectual de esta gente, esta cohorte de retwitteros que defienden ideologías con los hígados y mucha arrogancia, basándose en “una evidencia” que no deja de ser otra cosa que papers que ni siquiera comprenden.

    Pero que la fiesta no pare, eso si. Escribir los posts en pijama no quita que no podamos seguir insultando en Twitter y llamando troll a la gente. Que si no es Alesina, o Rogoff , ya será otro.

Trackbacks/Pingbacks

  1. Una complicada historia alrededor de un error en una hoja Excel | Politikon - 21 abril, 2013

    [...] de esta semana ha sido el Excel de Rogoff y Reinhart. Lo cuentan bien Pablo Rodriguez Suanzes y Roger Senserrich, pero la historia se resume como sigue. En un artículo de 2010, dos economistas, Rogoff y [...]

  2. Por qué la deuda pública sigue siendo un problema (a veces) - 30 abril, 2013

    [...] cierto, sí, este artículo representa un cierto cambio de opinión respecto a mi (airado) artículo anterior. A veces pasan estas cosas, incluso en [...]

  3. Herramientas para la investigación social cuantitativa | Politikon - 9 mayo, 2013

    [...] nuevas rutinas que, por lo general, son escritas primero para R. Sobra decir que me parece absurdo usar algo como Excel para el análisis de [...]