En las elecciones de ayer en Cataluña uno de los temas laterales más comentados fue el pobre resultado de las encuestas —como bromeaba en Twitter, nos gastamos dinero en encuestas y luego coge la gente y vota lo que le da la gana—. Efectivamente, como podéis comprobar en la tabla que sigue, las encuestas que se publicaron la semana pasada no estuvieron demasiado finas.
- El gran error de las encuestas fue sobrevalorar a CIU en perjuicio del resto de partidos. El promedio de las encuestas daba 12 diputados más a CIU de los que finalmente obtuvo, un error de casi el 20% para la lista más votada. Es decir, mucho error.
- El partido más subestimado fue ERC, que obtuvo 4 diputados más de los que le daban las encuestas, un error del 25%, que no está nada mal tampoco.
- Las encuestas también erraron con Ciutadans, al que daban casi 3 escaños menos de los que obtuvo, lo que supone un error del 45%.
- Se infravaloró la entrada de las CUP en todas las encuestas excepto la de ABC. Aunque hay que reconocer que este caso era más difícil ya que todo dependía de que alcanzasen el límite del 3% en Barcelona, que acabaron superando por un 0,4% de votos.
- Las mejores encuestas fueron las de ABC (con un error del 4,58) y EL PAÍS (4,69), básicamente porque fallaron menos con ERC y el PSC, aunque es difícil decir si su mejor desempeño es significativo.
Lo más destacable, insisto, es que el error de las encuestas fue sistémico. Los errores de las distintas encuestas son en general compartidos y robustos: todas los estudios sobrevaloraron a CIU y todos tendieron a infravalorar al resto, especialmente a Cs y ERC.
Para mí que estamos ante un caso de voto oculto de manual. La actualidad catalana está marcada por la hegemonía de TV3 y el grupo Godó en la percepción de esta actualidad. La Catalunya «oficial» sólo representa buena parte de la Catalunya real, y esta Catalunya «oficial» es la que veo bien representada en las encuestas. Ante una persona que te encuesta es más difícil llevar la contraria a la percepción que se tiene de la sociedad catalana que cuando se vota anónimamente, y yo creo que tremenda sobrevaloración tan consistente tiene como origen este factor psicológico.
Yo he sido el primer sorprendido en descubrir que la Catalunya real sigue siendo bastante parecida a la Catalunya que hasta hace poco había siempre percibido.
Ascenso en votos de CiU+ERC+ICV+SI+RCat+CUP respecte 2010 = 344735 (61% total)
Ascenso en votos de PSC+PP+Cs+UPyD = 195144 (38% total)
Si esta es la Catalunya Real, pues no hay nada mas que anadir
UPyD, hablas en serio? jeje.
Sacalos de ahí y sustitúyelos por ICV, y la diferencia de tus porcentajes cambia un poquito.
Partidos obsesionados con la secesión: ERC+CUP+Ciu
Partidos preocupados por otras cosas (pero que respetarían la secesión si así lo decisiese una amplisima mayoria): ICV+PSC
Partidos españolazos: PP+Cs
Algo: UPyD
Aún les queda convencer a muuuchos para lograr lo que quieren.
Sin entrar a defender al gremio en su totalidad pero si a la validez de las encuestas como instrumento de análisis y de previsión tengo que decir que no considero válidas las comparaciones entre las encuestas a una semana de las elecciones (o 10 días si tenemos en cuenta las fechas de los trabajos de campo) y el resultado real. No debiera serlo en general, mucho menos en esta época de alta volatilidad electoral en toda España, y desde luego ante la especificidad de estas elecciones catalanas. Sería de agradecer llegar a conocer el detalle de las encuestas no publicadas durante esta última semana, para darnos cuenta de lo que han cambiado las preferencias de los electores y de como se han movido. En Galicia ocurrió lo mismo y enla última semana pasaron muchas cosas. Es evidente que el sondeo a pie de urna, habiendo fallado también, recogía mucho mejor la situación siete días despues de publicadas las preelectorales. En definitiva, lo que habría que hacer de una vez por todas en el sector es hacer presión, junto con los partidos políticos, para que la estúpida prohibición de no poder publicar encuestas durante la última semana (habilmente burlada por varias casas y medios con su publicación fuera de España) diera paso a una mayor transparencia informativa, de acuerdo con las demandas de mayor democracia y participación ciudadana y en paralelo a la filosofía open data y open government.
Y si ya no podemos fiarnos de las encuestas ¿qué hacemos?
Conste que yo soy un evidente defensor de las encuestas, y en general de toda aproximación cuantitativa (véase el seguimiento de la huelga y nuestro gusto por las encuestas electorales). Pero eso no quita que a veces se equivoquen.
Supongo que conforme tengamos más datos iremos sabiendo por qué fallaron las encuestas más de lo que suele ser habitual.
Por eso me preocupa 🙂
Yo también trabajo con encuestas y soy defensora de las mismas. Sin embargo, las encuestas electorales no se muestran muy fiables.
Como dices, esperemos a ver sí se pueden conocer por dónde vienen los fallos, si es de diseño, de estructura, de manejo de datos, etc.
Y aprovecho ¡Enhorabuena por el blog!
Las encuestas mucha veces fallan porque no tienen en cuenta el nivel de indecisos. En un electorado donde se presentan varios partidos con programas parecidos, como CUP y ERC, o ICV y PSC, e inlcuso PP y Cs, puede haber muchos indecisos hasta el día de las elecciones. Estos indecisos son de una de estas posturas. Pero por ejemplo la gente que fuera a votar a CiU (que tiene un programa marcado y sin partido de postura similar), debería tener las cosas más claras y haber menos indecisos.
El día de las elecciones, los indecisos se deciden, y de repente afloran miles de votos en estos partidos. En EEUU se elige entre dos, y el comportamiento de los indecisos es mucho menos errático.
Qué hacemos para qué? A ti qué más te dan? eres asesor de un partido?
No, no soy asesor de nadie pero sí trabajo con encuestas, o sea que eso de qué más me dan.
Que a ti no te interesen ni te importen no implica que a los demás no nos resulten necesarias.
Las encuestas no sólo no pueden saber más que lo que los encuestados dicen, tampoco puede saber más de lo que los encuestados saben.
1/3 de los encuestados se mostraban indecisos, esto es una incertidumbre brutal que no se como se puede solucionar.
Igualmente, también es difícil prever un aumento de la participación del 10%. Ahí es donde Mas debería haber hecho un poco de reflexión deductiva, no únicamente inductiva.
Es posible que sea porque grupos de personas que nunca iban a votar esta vez lo han hecho?
– La gente más «pro-España» a las que no le interesa normalmente el voto autonómico
– La gente mayor que ha ido a votar por miedo a un cambio del status quo (hay gente que aun tiene recuerdos de las guerra civil)
Quizás en los cálculos nadie ha tenido cuenta en mayor medida a estos grupos (y a otros)
Sobre el voto oculto Lluis Orriols escribió esto sobre el PSC, pero se ha visto que afecta en otras direcciones (http://politikon.es/2012/10/15/el-voto-oculto-en-catalunya/).
Esas encuestas ¿asignan los escaños encuestando a muestras en todas las circunscripciones electorales, o mediante reparto proporcional? Si es por reparto proporcional, esto puede explicar en gran medida el error sistémico (porque los escaños no se distribuyen proporcionalmente) ¿Cual es el error de las encuestas en cuanto a porcentaje de votos, igual de grande y sistémico, o algo más razonable?
Perdonadme la maldad:
¿Alguno habéis pensado en la posibilidad de que las encuestas NO se hagan, aunque se publiquen luego, o en que la muestra sea MUY inferior a la que se dice?
Porque conociendo este país, me parece un gasto muy fácil de justificar, llevándose al bolsillo la pasta sin necesidad de hacer realmente el trabajo.
El volumen y dirección del error me inducen a pensar que algo de esto ha habido…
😀
Quiero llamar la atención respecto al resultado en la ciudad de Tarragona, comparando con el de las últimas elecciones, las generales de hace un año.
-> http://nauscopio.wordpress.com/2012/11/26/elecciones-autonomicas-catalanas-2012-visca-tarragona-independent-del-centralismo-de-barcelona/
Fijaos en el resultado de C’s, PPC y PSC. Para mí es evidente que han recibido votos de las dos formaciones tradicionales.
Curiosamente, el error cuadrático medio del promedio de los participantes en la porra de politikon http://twitter.com/kanciller/status/272475619294597120 supera al del promedio de las encuestas que nos traes
¿Posibles explicaciones?
¿Es un problema de selección de lectores?
Efectivamente, sale un error RMS de 5,59.
No me sorprende demasiado, pasó lo mismo en alguna porra anterior: los jugadores no ganamos a la encuestas. Para las Gallegas y Vascas hice de hecho un experimento —que no he publicado— que consistió en hacer la porra ofreciendo a la vez la información de la encuesta como referencia. Tengo que revisar los resultados pero creo que así sí la batimos.
Yo diría que lo normal es que una encuesta gane a los participantes si la muestra es suficiente. En general los juicio de expertos son bastante fáciles de batir con modelos y regresiones sencillas. He leído alguna vez sobre las virtudes de los mercados de predicciones —dónde la gente da «peso» a su opinión poniendo dinero, lo que en teoría debería reducir el número de participantes desinformados—, pero soy relativamente escéptico.
Al salir de un colegio (soy apoderado) me encontré a un chaval con la insignia de TV3 y carpeta en mano.
-¿Te han castigado?
-Pregunto a la gente lo que ha votado.
-Ufff Lo llevas claro,si son como yo siempre engañan.
-Yo también. -Me contesta riéndose.
Y cada día más gente se apunta al carro, igual que hace con la propaganda electoral por correo, que la devuelve con un «RECHAZADA» sobre la dirección.
Ya ves…
Hay un dato que me alucina que nadie haya mencionado… Las encuestas llegan hasta el día 16 y precisamente ese día El Mundo suelta una bomba en primera página sobre la corrupción de CIU. Practicamente acaparó el resto de campaña! Hasta en medios extranjeros! Ninguna encuesta pudo reflejar ese efecto, así que cómo puede ser que no se mencione ni de refilón que sea una potencial causa de la bajada de votos de CIU?
No lo creo. Véase si no el caso Banca Catalana, que unió a la Cataluña nacionalista con Pujol. Por otro lado, los votantes catalanistas no se fían un pelo de lo que pueda decir un diario españolista como «El Mundo». La razón de que CiU haya caído son los recortes y el hecho de que los auténticos independentistas no se fían de que CiU sea realmente independentista, de ahí el gran éxito de ERC.
En cuanto a las «informaciones» de «El Mundo», el diario de Pedrojota no ha informado de nada. Sólo ha publicado rumores sin confirmar. El borrador famoso sólo habla de «testigos voluntarios» y de «cartas anónimas». Incluso menciona la necesidad de verificar la información a través de comisiones rogatorias a Suiza, pruebas patrimoniales, etc. Es decir, que el mismísimo borrador asume la falta de verificación de lo que dice. La excusa, claro, es que se trata de un simple borrador, no de un informe acabado. Pero los periodistas de Pedrojota no han hecho su trabajo intentando contrastar la información. El periodismo de investigación de «El Mundo» parece que consiste en estar sentado junto al teléfono esperando que alguien decida filtrar algo para después dedicarse a fotocopiarlo.
No estoy discutiendo la calidad de las informaciones, sino su difusión, que fue brutal. Personalmente, vi como el tema salía en los periódicos polacos.
Y no sólo ha sido cuestión de El Mundo. Mismamente, hace tres días en El País y La Vanguardia tenían amplios artículos discutiendo la cuestión.
Me sorprende muchísimo como esto simplemente ha desaparecido cuando fue asunto de discusión durante más de una semana en campaña.
Pues a mí no me sorprende tanto. En Cataluña la gente sabe muy bien que hay mucha corrupción. La de CiU, en concreto, es muy conocida desde hace tiempo. Vamos, que no es cosa de ahora mismo precisamente. Los primeros casos salieron a la luz hace ya 10 años por lo menos, si no recuerdo mal. No, la cosa va de recortes y de quién es o no realmente independentista.
Y que el «periodismo de investigación» de «El Mundo» haya llegado hasta Polonia sólo indica la pésima calidad del periodismo actual.
Fallaron todas las encuestas de los días anteriores publicadas en prensa, cierto. Pero también fallaron las encuestas de los institutos oficiales, tanto de la Generalitat (en buena parte causante de la estrategia de CiU) como del Estado central. Incluso falló la encuesta a pie de urna dando a CiU una horquilla entre 57 y 60 escaños. Y por fallar falló algo más sencillo como el cómputo de los asistentes a la manifestación de la Diada; ahora sabemos que no pudieron ser 1,5M. Los expertos hablaban de «cambio sociológico» y nada de nada. La situación está donde estaba hace 2 o 3 años.
Las encuestas volvieron a equivocarse en Cataluña por defectos en su muestreo
http://www.vozpopuli.com/nacional/17768-las-encuestas-volvieron-a-equivocarse-en-cataluna-por-defectos-en-su-muestreo
Para mantener los 62 parlamentarios CiU habría tenido que sacar 240.000 votos más de los que sacó. Eso significa 150.000 votos más que en el 2010.
Para un partido que supera el millón de votos (1,2 en el 2010, 1,1 en estas elecciones) y que dobla en voto al segundo partido de la cámara, me parece bastante imposible que pueda crecer un 12% respecto a unos ya muy buenos resultados.
Ese crecimiento nos llevaría a que 1/3 del nuevo votante se apuntase a votar a CiU. Cosa poco probable pues el electorado de CiU ya es el más movilizado.
El votante que se ha movilizado lo ha hecho con objetivos distintos:
ERC => votante «nuevo» + PSC (No PSOE) + CiU + SI
ICV => votante «nuevo» afectados por los recortes + PSOE + PSC
C’s => votante «nuevo» + PSOE que no puede votar a PP
CUP => votante «nuevo» + convertidos des de las municipales de ICV y ERC
PP => votante «nuevo» + votante de CiU que en las Elecciones españolas votan PP
La pregunta es: ¿Que número de votos hubiese tenido CiU con una abstención parecida al 2010? probablemente seguiría superando el millón y la caída en escaños se hubiese situado en 3 ó 4 escaños como mucho.
Por lo tanto los errores de CiU fueron dos: provocar una situación de movilización sin precedentes (viva la democracia) y pensar que estos nuevos votantes, al ser muchos de ellos pro-referendum (ERC+ICV+CUP+CIU crece muchísimo), les votarían a ellos. Pero la crisis no perdona.
Conozco el mundillo y dos han sido las causas de las divergencias entre las encuestas publicadas y los resultados:
1) Las encuestas que se publicaron el último domingo se habían realizado (el trabajo de campo) unos diez días antes de las elecciones. Ocurrieron cosas esos diez días. Las últimas encuestas publicadas ya mostraban que CiU flojeaba respecto a unas semanas antes y esa debilidad se acentuó en los últimos días. Como bien se ha dicho ya, la encuesta a pie de urna iba mucho mejor encaminada.
2) La participación final fue mucho más alta de lo previsto (récord histórico y de largo en unas elecciones al Parlament) y es evidente que esta mayor mobilización no benefició a CiU. Se mobilizó una parte del electorado al final de la campaña, cosa que las encuestas publicadas no pudieron reflejar.
Por otro lado, las encuestas publicadas no iban tan desencaminadas. Salvo con CiU, el resto de tendencias estaban claras: ERC y C’s iban a subir mucho, el PSC iba a bajar de forma considerable, el PP aguantaría su resultado de 2010, ICV subiría moderadamente, SI saldría del Parlament y la CUP tendría opciones de entrar.