Elecciones 2016

Por qué es muy improbable que fallen las encuestas como dice Trump

El politólogo Gonzalo Rivero, experto en encuestas electorales, explica hasta dónde podrían llegar los errores de los sondeos en 2016
25 Oct 2016 – 5:11 PM EDT

Los promedios de sondeos sitúan a Donald Trump al menos siete puntos por detrás de Hillary Clinton pero cada vez más voces ponen en duda la precisión de las empresas que hacen encuestas.

Algunas de esas objeciones se escuchan en el entorno del candidato republicano. Otras las exponen ciudadanos preocupados por los errores de los sondeos en procesos electorales recientes como las elecciones que ganó el premier británico David Cameron en 2015 o el referéndum en Colombia sobre el proceso de paz.

El propio Trump ha advertido sobre la posibilidad de un error presentándose más de una vez como “Mr. Brexit” y sugiriendo que los sondeos no predijeron el triunfo de quienes querían sacar al Reino Unido de la Unión Europea en el referéndum de junio de este año. Pero como explica en detalle aquí mi colega María Ramírez, el símil de Trump es engañoso: los sondeos auguraron durante meses el resultado que salió al final.

Hace cuatro años el promedio de sondeos infravaloró la ventaja de Barack Obama en estados decisivos como Nevada pero hubo encuestas que se acercaron mucho a las cifras de las elecciones y esos pequeños errores no contradijeron el resultado final. Esta vez el carácter especial de Trump, el aumento de los indecisos y la presencia de otros candidatos crean algunos elementos de incertidumbre. ¿Podrían estar fallando los sondeos que auguran una derrota de Trump?

La batalla electoral
Actualizado:
Clinton
Trump
Tendencia de voto calculada por HuffPost Pollster y que tiene en cuenta los resultados de las últimas encuestas nacionales de opinión.

El precedente de 1948

El precedente que se suele citar al hablar de los errores de los sondeos en Estados Unidos son las elecciones presidenciales de 1948. El presidente demócrata Harry Truman se medía al republicano Thomas Dewey, que perdió contra todo pronóstico y dio lugar a una de las imágenes más célebres de la historia electoral de EEUU: la de Truman sosteniendo un ejemplar del Chicago Tribune que daba por hecho el triunfo de su rival.

Algunos seguidores de Trump han citado estos días el error de Truman pero las cosas han cambiado mucho en las últimas siete décadas. En 1948 sólo cuatro firmas hacían sondeos electorales y tres de ellas (Gallup, Roper y Crossley) dejaron de preguntar a los votantes a principios de octubre. Es decir, al menos dos semanas de la jornada electoral.

La única empresa que siguió preguntando fue el Survey Research Center y sus cifras ofrecieron una perspectiva distinta al final de la campaña. Los investigadores Robert Kahn y Angus Campbell incluyeron en un sondeo a 610 personas sobre política exterior dos preguntas sobre intención de voto y detectaron dos detalles interesantes: que un 20% seguía sin decidir su voto y que los candidatos estaban igualados con Truman ligeramente por delante de su rival.

El relato de esa investigación se puede leer en este texto magnífico de Susan Rosegrant.

Kahn y Campbell sacaron algunas conclusiones al ver los datos de su encuesta: que las otras firmas habían infravalorado la importancia de los indecisos, que habían infravalorado la importancia de los últimos días de campaña y que muchos de los votantes no habían hecho lo que habían dicho que iban a hacer.

La escasez de empresas de sondeos y la ausencia de encuestas en los últimos días no fueron los únicos problemas en 1948. Tres de las cuatro firmas utilizaban un sistema de cuotas para elegir su muestra. Es decir, buscaban votantes que se ajustaran a ciertas categorías: un hombre mayor de 65 años o una mujer menor de 45. El problema es que esa selección no era aleatoria y las empresas entrevistaban a votantes ricos o más fáciles de encontrar. Hoy la inmensa mayoría de los sondeos usan muestras aleatorias y no el sistema de cuotas, que se considera poco de fiar.

Los posibles errores en 2016

Es difícil saber de antemano qué puede fallar en un sondeo en 2016. Hoy tenemos muchos más que en 1948 y el objetivo de las empresas que los hacen es predecir los resultados electorales con la máxima precisión. Por eso he hecho algunas preguntas al politólogo Gonzalo Rivero, doctor en Ciencia Política por NYU y experto en diseño y análisis de encuestas electorales con base en Washington DC. Lo que sigue es una transcripción abreviada de mis preguntas y sus respuestas.

El promedio de sondeos sitúa a Trump siete puntos por delante en diversos promedios de sondeos. ¿Hay algún precedente de un error tan grande a tan pocos días de las elecciones en un país con tantos sondeos como EEUU?

En realidad, hay varias preguntas aquí y no sé si puedo contestar a todas. Los promedios son algo en lo que nos fijamos desde 2008 y hasta ahora (cruzo los dedos) han funcionado muy bien. 

¿Es posible que haya un cambio profundo en la intención de voto en las dos últimas semanas? Pues no mucho a no ser que se produzca algún evento catastrófico. En la recta final, la intención de los indecisos y los independientes se va consolidando muy rápido, con lo que las predicciones ahora deberían ser menos volátiles que las semanas anteriores. Es decir, deberíamos ver pocos cambios en las predicciones.

¿Hemos visto algún cambio profundo de esta magnitud en las dos últimas semanas? Desde 2008, no. Digo desde 2008 porque es con los agregadores cuando empezamos a resumir la situación de la opinión pública usando expresiones como “probabilidad de victoria en el colegio electoral”. 

Las dos preguntas asumen que las encuestas lo están haciendo bien, con lo que la cuestión subyacente sería hasta qué punto la intención de voto a dos semanas vista es predictiva del resultado final. Esto lo digo porque, en cierta medida, las encuestas (y los promedios) son un compromiso entre presente y futuro (intentamos predecir el comportamiento el día de las elecciones basándonos en la información e intención de los individuos el día de hoy). Con ello, las encuestas podrían estar haciéndolo bien e ir cambiando en los últimos días si efectivamente la gente cambia de preferencia. Pero, como digo, esto sería muy extraño.

Sin embargo, la otra posibilidad es que las encuestas estén fallando. Ahora bien, tendrían que estar fallando de forma muy generalizada para que se diera un triunfo de Trump. Lo cierto es que hay muchas encuestas y, salvo un par de ellas, todas dan a Clinton como ganadora. Desde 2008 los errores de los promedios se han restringido a algunos estados pero sin afectar al ganador de las elecciones. 

El margen de error de los sondeos que se publican en EEUU oscila entre los 3 y los 5 puntos. ¿Qué quiere decir exactamente esa cifra? 

El margen de error se refiere a la incertidumbre que tenemos sobre los resultados de la encuesta y proviene del hecho de que estamos tomando una muestra pequeña en lugar de preguntar a toda la población. El tamaño del margen de error es una función del tamaño de la muestra: mayores muestras tienen menores márgenes de error.

El margen de error nos dice lo que creemos que ocurriría si pudiésemos repetir muchas veces el proceso de extraer una muestra. Diferentes muestras nos darán diferentes resultados porque estamos seleccionando a diferentes personas con diferentes opiniones. Sin embargo, podemos cuantificar la probabilidad con la que veríamos un resultado diferente en 3 o 5 puntos de lo que hemos obtenido en nuestra muestra. 

Es muy importante tener en cuenta que el margen de error se refiere a la incertidumbre que proviene del muestreo. Hay otras fuentes de error y a veces son más importantes que el error muestral. Por ejemplo, hay errores que surgen porque hay gente que no quiere participar en la encuesta o quizás porque nuestro cuestionario no captura bien el concepto que queremos medir. El error total de la encuesta puede ser mucho mayor que el margen de error. Aquí explican cómo puede ocurrir.

El error notable más reciente en una democracia occidental es el resultado de las elecciones británicas que ganó Cameron en mayo de 2015. No me refiero al referéndum del Brexit, donde los sondeos fueron bastante precisos. ¿Han estudiado los expertos qué ocurrió en 2015 con aquel inesperado triunfo conservador?  

La reacción de la comunidad científica en Reino Unido al error de predicción de 2015 fue modélica. El National Centre for Research Methods escribió un informe público liderado por Patrick Sturgis de la Universidad de Southampton, que es uno de los líderes en el área de métodos de encuesta. La conclusión del informe es que el error se debió al muestreo y que los métodos de ponderación no fueron suficientes para corregir ese error. Dicho de otro modo, el problema no estuvo en la estimación del diferencial de participación según el voto, en el voto oculto o en el tipo de encuesta. 

El proceso de paz en Colombia es un caso especial porque es un país sin una fuerte tradición demoscópica y porque el error ocurrió en un referéndum. Pero debo hacer esta pregunta porque muchos lectores la hacen. ¿Es posible que los sondeos fallen por un margen tan grande como el de Colombia en estas elecciones entre Clinton y Trump? 

Las empresas electorales en Colombia se enfrentan a muchos problemas para recoger muestras que no existen en Estados Unidos. No sólo eso. Aquí hay muchas más encuestas y como dices “hay más tradición”, lo que se traduce en metodologías depuradas. Las elecciones generales son por lo general menos complicadas que un referéndum. Además, el referéndum en Colombia era sobre un tema sujeto a cierta deseabilidad social. Es decir, es posible que partidarios del No se sintiesen menos cómodos confesando esa preferencia. Es decir, sería mucho más sorprendente si se produjese un fallo de ese calibre en Estados Unidos. 

El fallo que más se suele citar en EEUU es el de Truman y Dewey en 1948. Pero según he leído apenas había cuatro firmas encuestadoras y todas menos una dejaron de encuestar a principios de octubre. ¿Algún otro ejemplo de un fallo grande aquí en EEUU?

1936 (Roosevelt-Landon) y 1948 (Truman-Dewey) son los errores más famosos. Pero la metodología ha mejorado muchísimo desde entonces y los errores a partir de ahí, al menos en las presidenciales, han sido sobre todo durante las primarias y en algunos estados concretos. Clinton en New Hampshire en 2008, Bob Dole en Arizona en 1996, Trump en Michigan este año… Nada catastrófico. La diferencia es quizá que desde 2008 nos hemos empezado a fijar más en agregadores de encuestas como los que elaboran FiveThirtyEight, The Upshot, Daily Kos o Huffington Post y no tanto en encuestas individuales. Por supuesto, hay encuestas que fallan y encuestas que aciertan, pero la historia que cuentan juntas todas las encuestas suele ser más precisa que la de cada encuesta por separado. 

Si hubiera un error en los sondeos (aun no tan grande), ¿qué factores podrían estar fallando?

Hay varios factores. El más claro es la existencia de voto oculto a Trump. Es decir, gente que participa en la encuesta y que cuando le preguntas qué hará el día de las elecciones, no quiere decir que votará a Trump. Me refiero a personas que dicen que se abstendrán, que saben que harán o que votará a otro partido.

Esto tendría que ver con un clima de opinión en el que votar a Trump se considera indeseable. Sin embargo, la evidencia preliminar sugiere que esto no está ocurriendo. Justo hoy el Washington Post publica este estudio de Alexander Coppock de la Universidad de Yale sobre ese asunto.

El estudio usa las mismas técnicas que se utilizan para preguntas delicadas y no encuentra nada que sugiera que los votantes de Trump estén ocultando su voto. Además, cuando hay voto oculto lo normal es observar diferencias entre las encuestas por Internet y las encuestas por teléfono. Los estudios científicos indican que las encuestas que no formula un encuestador son mejores para capturar respuestas a preguntas delicadas. Pero ahora mismo las encuestas dan los mismos resultados independientemente del modo de administración. 

¿Qué otros factores podrían generar errores?

Las encuestas a estas alturas de la campaña dependen mucho de los llamados likely voter models. Es decir, de modelos que estimen la participación electoral individual. Puedes entrevistar a mucha gente y preguntar a quién van a votar, pero no todos los que dicen que van a votar lo harán al final. La estrategia de Trump al principio consistía en movilizar a personas que no solía votar. Por eso es posible que las correcciones que las firmas de encuestas han hecho hasta ahora no estén funcionando bien.

Por último, es posible que existan problemas sistemáticos en las muestras y que los posibles votantes de Trump estén rechazando participar en las encuestas. Esto sería mucho más difícil de detectar. 

Los promedios de sondeos no fallaron durante las primarias republicanas pero modelos como el de Nate Silver sí subestimaron a Trump. ¿Es algo que nos debería llevar a ser cautos ahora o la incertidumbre es menor en esta ocasión?

La diferencia está en que las primarias son mucho más complicadas de predecir que las elecciones generales. Entre otras cosas porque hay mucha volatilidad. Hay muchos candidatos, la gente cambia su comportamiento con relativa facilidad a medida que van adquiriendo más información y saber quién va a participar es complicado. Como te decía, la estrategia de Trump se centraba en grupos que sorprendieron a las encuestadoras. Además, como dice Silver, muchas veces tienes que guiarte por tu intuición para dotar de sentido a los datos y todos evaluamos mal el atractivo de Trump entre las bases. 

Eso no quiere decir que en las encuestas ahora no haya errores pero tenemos más elementos para confiar más en ellas. 

¿Hay algún consenso en el sector sobre el tipo de sondeos más fiables? Me refiero a entrevistas en persona, por teléfono, por internet o automatizadas…

Antes la jerarquía de los modos de encuesta era más clara, pero en los últimos años la situación ha cambiado mucho. Las encuestas por teléfono y las encuestas online tienen más o menos la misma fiabilidad.

De hecho, incluso empresas como SurveyMonkey (que se limita a añadir un cuestionario con una o dos preguntas al final de las encuestas que usan sus clientes) están produciendo resultados similares a los de otras encuestadoras online. En parte, esto es debido a que existe lo que se conoce como herding effect: cada encuestadora observa lo que las demás han publicado y lo utiliza para informar sus predicciones. Pero también a una gran mejora en las técnicas utilizadas para corregir los sesgos inherentes a las encuestas online. 

Publicidad