elecciones

¿Acertarán esta vez las encuestas?

23 May, 2015 - - @RamosMa_

Artículo de María Ramos y Pablo Simón.

Como en cada elección, las encuestas vuelven al primer plano. La importancia de las encuestas ha sido ampliamente discutida por la literatura especializada: mejoran la información de los votantes, generan expectativas de ganadores y perdedores, pueden hacer que emerjan efectos bandwagon y underdog o inducir voto estratégico. Sin embargo, lo que se evalúa tras las elecciones es si aciertan (o no) en sus pronósticos. La respuesta en realidad no es unívoca: a veces aciertan, a veces se equivocan y a veces se equivocan mucho.

Las siguientes imágenes resumen las desviaciones entre los escaños pronosticados y los obtenidos por cada partido en elecciones autonómicas. Abarcan un número considerable de casos: las 54 elecciones celebradas desde 1999 en las 13 Comunidades donde mañana se volverá a votar. Todas las estimaciones proceden del CIS, que es quien ofrece información de períodos largos de tiempo y con altos estándares de transparencia en la difusión de datos. Valores iguales a 0 representan un acierto total en el pronóstico de escaños a un partido concreto. Valores por encima reflejan sobrestimaciones, es decir, que el CIS pronosticó más escaños de los que consiguió ese partido. Los valores por debajo son, consecuentemente, subestimaciones en el pronóstico de escaños con los resultados reales. Cuanto mayor es el área sombreada más amplio es el error del pronóstico para los partidos donde las desviaciones son mayores.

Screen Shot 2015-05-23 at 12.30.59Screen Shot 2015-05-23 at 12.31.43Screen Shot 2015-05-23 at 12.32.22

 

Lo primero que salta a la vista no convencerá a quien busque una respuesta de sí o no. Los pronósticos a nivel autonómico alguna vez acertaron, muchas no y en ocasiones cometieron grandes errores. En Castilla-La Mancha, por ejemplo, las desviaciones de los pronósticos han sido muy pequeñas. En Extremadura o La Rioja el número de escaños pronosticados erróneamente ha sido en general bajo. Sin embargo, en el capítulo de errores hay casos particularmente notables, como las desviaciones de Asturias, Canarias y Madrid en 2011, o de Baleares y Madrid en 1999.

La imagen es similar, pero cualitativamente, diferente si las discrepancias se expresan en términos relativos, es decir, como proporción de escaños asignados incorrectamente en relación al tamaño de la cámara parlamentaria. Un baile de 8 escaños repartidos entre varios partidos en una asamblea grande puede no alterar mucho los resultados pero si se produce en una pequeña su impacto es mucho mayor. Esto es precisamente lo que se refleja en la siguiente tabla.

Screen Shot 2015-05-23 at 12.34.01

 

Para entender el porqué de las desviaciones, hay al menos dos elementos clave. Por un lado, la manera de estimar el voto y qué hacer cuando aparecen nuevos partidos; y por otro, el reparto de escaños por circunscripciones según las normas electorales a nivel autonómico. No es casualidad que los mayores errores en los pronósticos se cometieran cuando aparecen nuevos partidos a formar parte del menú electoral, como Foro en Asturias o UPyD en Madrid, ambos en 2011; cuando desaparecen otros relevantes a nivel autonómico, como la UPCA en Cantabria en 1999; y en Comunidades donde la circunscripción no es la provincia, como los archipiélagos, Murcia o Asturias.

 

Cocinar en tiempos revueltos: ¿y si aparecen nuevos partidos?

La cocina en las encuestas electorales es necesaria para hacer pronósticos de voto. El ingrediente básico es la intención directa de voto (IDV) declarada, pero como un número considerable de personas no reconocen a quién votarán, se corrige por otras variables. Es la llamada “cocina” (mayores detalles sobre la del CIS aquí, aquí o aquí). Si en el primer paso (la pregunta de IDV) no se declara el voto, es de esperar que se recurra a la simpatía o cercanía a algún partido (IDV + simpatía). La probabilidad de voto a ciertos partidos, la autoubicación ideológica o el recuerdo en elecciones pasadas pueden ayudar a imputar el voto de los indecisos que queden sin asignar. Cuál de estas variables y en qué proporción se utilizan para aliñar el dato “crudo” de IDV es algo que no se sabe. El propio CIS reconoce que el método de cálculo “ha cambiado con los distintos equipos de dirección” y “nunca se ha hecho público”.

[Por cierto, un inciso. No hacer público el método de estimación no es sólo una cuestión del CIS. En España de hecho es la pauta más extendida también entre los institutos privados, como puede verse en la tabla 10 de la p. 116 de este artículo.]

¿Y qué ocurre con la cocina en tiempos revueltos? Es decir, en momentos en que nuevos partidos aparecen con fuerza, ¿siguen sirviendo las recetas de siempre donde se pondera la estimación por el recuerdo en elecciones anteriores? Si el recuerdo pasado tiene mucho peso al imputarle voto a los indecisos, la fuerza de los nuevos se subestima y hay evidencia de que esto ha sucedido a nivel autonómico en varias ocasiones. Si se revisa la imagen anterior en las elecciones de Asturias de 2011 Foro consiguió 16 escaños (9 más de los que pronosticaba el CIS), y también en esas elecciones, las de 2011, UPyD consiguió 8 escaños cuando en los pronósticos no se le daba ninguno. Algo parecido, aunque de menor magnitud, ha tenido lugar en Navarra en otras ocasiones: tanto en 2003, cuando Aralar consiguió 4 y no se le había pronosticado ninguno; o en 2011, que Bildu obtuvo 7 cuando sólo se le pronosticaban sólo 2.

Estos errores no ocurren solo en el nivel autonómico. Es bien conocido que en las elecciones Europeas del año pasado la irrupción de Podemos no se pronosticó bien. De hecho, la asignación del voto a los indecisos en mucha mayor proporción al PP o al PSOE fue algo que suscitó debate tanto antes como después de los comicios. ¿Cuál debe ser entonces “la receta mágica”? Probablemente no la haya. Lo que sí hay son recetas para diferentes ocasiones. En un exhaustivo y reciente trabajo con encuestas en las elecciones Generales de España, Modesto Escobar y sus coautores llegaban a esta misma conclusión. Tras replicar diferentes métodos de pronóstico y compararlos con los resultados reales en las diez elecciones celebradas desde 1999, se acababa concluyendo que la predicción más similar a los resultados no se consigue con el mismo procedimiento. Lo interesante es que demuestran que en momentos en los que se presagian cambios en el partido de gobierno (o en el sistema de partidos, podríamos matizar) funcionan mejor las predicciones sin ponderar por recuerdo de voto, es decir, sin posestratificación.

 

No sólo porcentajes: la traducción en escaños (y la importancia de la circunscripción)

Un segundo elemento que también afecta al grado de acierto de las encuestas es la variación en los sistemas electorales autonómicos. Como es conocido, los sistemas autonómicos son más proporcionales que el sistema que el que rige para el Congreso de los Diputados: en las Generales la magnitud media del distrito (escaños promedios) es de 6,7, mientras que hasta la que la tiene menor, que es Canarias, la tiene por encima con el 8,57 y llegaría hasta la proporcionalidad pura de los 129 de la Comunidad de Madrid. No es casual, por lo tanto, que los sistemas de partidos autonómicos hayan estado tradicionalmente mucho más fragmentados que el sistema estatal.

Sin embargo, a la hora de trazar los distritos electorales (las circunscripciones) hay diferentes criterios. En la mayoría, trece de las Comunidades, los distritos coinciden con los límites provinciales. En las otras la situación es parcialmente diferente. En la Región de Murcia, por ejemplo, a pesar de ser una Comunidad uniprovincial existen 5 distritos, y en Asturias tres. Además, en Canarias y Baleares cada isla es un distrito. En esta última todas las circunscripciones son plurinominales salvo Formentera, que elige un diputado autonómico. Por lo demás, los sistemas electorales autonómicos no han sido muy innovadores; aplican la fórmula d´Hondt para el reparto de escaños y todos mantienen listas cerradas y bloqueadas.

Si revisamos la tabla anterior correspondiente a los errores de pronóstico, es justo en las Comunidades Autónomas donde el distrito es diferente de la provincia aquellas en las que el CIS se ha desviado en mayor medida. Se puede plantear dos hipótesis no excluyentes sobre por qué ha sido el caso.

Por un lado, es obvio que el CIS hace el muestreo considerando cada distrito electoral pero existe cierto patrón; en estos casos hay una variación muy fuerte de la magnitud de distrito. Por ejemplo, en Baleares se escogen 33 diputados en Mallorca, 13 en Menorca, 12 en Ibiza y uno en Formentera, lo que hace que el margen de error oscile entre el ±3,7 en Mallorca, el ±7,7 en Menorca y el ±10% en Formentera. Esta disparidad hace necesariamente más imprecisa la estimación para el conjunto.

Por el otro, se puede apuntar a un debate interesante que conecta con los fallos en las encuestas británicas. Estimar en distritos uninominales, de entrada, parece más fácil cuando estás frente a safe seats donde la diferencia es muy grande entre primero y segundo. Cuando la partida es cerrada, sin embargo, en los distritos competidos puedes perder más fácilmente. Parecería, de entrada, que en un sistema proporcional puro puedes desviarte más con una estimación arriesgada, pero los errores pueden compensarse porque correlaciona con sistemas multipartidistas.

El problema es cuando estás frente a magnitudes de distrito medianas y pequeñas en entornos multipartidistas. Al combinarse ambos elementos, pequeñas desviaciones de votos que hagan cambiar la posición relativa de los partidos pueden ser críticas. Un hecho que se ha dado especialmente en las islas, en las que sus magnitudes de distrito medios son las más pequeñas (hasta la reforma de Cospedal) y en los que el número efectivo de partidos también ha estado por encima de la media (4,2 en Canarias y 3,5 en Baleares, frente a la media de 3).

 

¿Acertarán mañana?

 Entre confiar en las encuestas como oráculos infalibles y preferir fiarse del olfato personal existe una gran cantidad de grises. Como hemos mostrado arriba, las encuestas en ocasiones aciertan pero en determinados contextos son mucho menos precisas. Revisando el histórico de las estimaciones del CIS hemos mostrado como existen dos elementos fundamentales que parecen hacer más complicado el pronóstico. Primero, los movimientos muy bruscos en los sistemas de partidos autonómicos, que llevan a la emergencia o desaparición de formaciones políticas. Segundo, el efecto de los sistemas electorales autonómicos, que en casos particulares añaden complejidad a las estimaciones.

A nadie se le escapa que nos encontramos ante el escenario descrito arriba: dos partidos que previsiblemente entrarán en todas las cámaras autonómicas con un número sustancial de escaños. En cuanto al sistema electoral, solo en Castilla-La Mancha ha habido reformas al reducirse a la mitad los escaños de su cámara, que hará clave la distribución territorial del voto. Y en referencia a los pronósticos con encuestas, el antecedente más cercano es el de Andalucía. Ante un panorama –hasta cierto punto– similar al de ahora sí se tuvo en cuenta la fuerza de los nuevos partidos pero está por ver hasta qué punto se ha sabido ajustar la receta andaluza al resto de comunidades.


2 comentarios

  1. @Almujul dice:

    También habría que tener en cuenta la fecha del trabajo de campo del CIS, en estas elecciones, e imagino que en todas las anteriores, empezaron hasta dos meses antes y acabaron un mes antes. En todo el mes desde entonces pueden pasar muchas cosas que hagan que la encuesta del CIS se quede antigua, por eso principalmente me parece poco probable que acierten, al menos las del CIS, veremos si las otras más recientes lo hacen.

  2. David dice:

    «¿Cuál debe ser entonces “la receta mágica”? Probablemente no la haya. Lo que sí hay son recetas para diferentes ocasiones.»

    Esto recuerda mucho al teorema «no free lunch» que se estudia en aprendizaje automático (machine learning). Basicamente lo que dice es que es imposible desarrollar un modelo que sea siempre el mejor para cualquier conjunto de datos.

Comments are closed.