Encuestadoras

(emitido a las 8.44 hs.)

EMILIANO COTELO:
La alta votación que tuvo el Frente Amplio (FA) en las elecciones y la ventaja que el oficialismo le sacó a la suma del Partido Nacional (PN) y el Partido Colorado (PC) fueron todo un sacudón para el sistema político. Pero esos datos también hicieron temblar a las consultoras de opinión pública, que no habían advertido ese escenario como uno de los más probables.

Desde la noche misma del domingo se discute mucho sobre el trabajo de las encuestadoras, y las críticas apuntan tanto a lo político como a lo metodológico.

¿Qué pasa? ¿Los nuevos tiempos cambian también los modos de interpretar a la opinión pública? ¿Las consultoras tienen problemas para medir la intención de voto de determinados sectores de la sociedad? ¿El FA tiene un electorado "silencioso" que en las encuestas no admite que va a votar por el oficialismo?

Vale la pena conocer cuál es la opinión de las propias encuestadoras sobre este tema.

Para eso nos acompañan Adriana Raga, directora de la consultora Cifra, una de las empresas de la "vieja guardia", y Agustín Bonino, director de Opción Consultores, una empresa que está haciendo su debut en este ciclo electoral.

Este lunes, Ignacio Zuasnábar (Equipos Consultores) dijo en Canal 10: "El 2014 viene siendo un año complicado para las encuestadoras. Estamos teniendo algunos problemas que no teníamos en el pasado". Y esa misma noche, el economista Javier de Haedo lo corrigió en Twitter: "Año complicado es muy elíptico". Y agregó: "Annus horribilis". ¿Ustedes sienten algo de eso?

ADRIANA RAGA:
Sí, desde luego. Tenemos casi 25 años de trayectoria y esta elección fue nuestra peor proyección de todas las elecciones anteriores, de los plebiscitos, de muchas cosas. O sea que sí, efectivamente.

EC - La autocrítica de Luis Eduardo González anoche en Canal 12 fue muy profunda.

AR - (Se ríe.) Está muy afectado, desde luego. ¡Estamos todos!, porque estamos todos en la misma.

EC - ¿Y Bonino qué piensa?
    
AGUSTIN BONINO:
Sí, si uno mira la generalidad de las proyecciones fue un año sin duda difícil, por eso el tema está sobre la mesa. En esta elección fue el debut de nuestra empresa en el área política o de opinión pública, ya que la consultora viene trabajando desde hace ya seis años, pero principalmente en medición de mercados.

La evaluación que hacemos a posteriori de todas formas es positiva –nos importa destacarlo– a partir de los parámetros con los cuales medimos la calidad de la proyección de una encuesta realizada para proyectar el voto.

Eso es importante. Distintas consultoras han manifestado que todas las consultoras han tenido errores en la proyección de los niveles de votación del domingo y creo que no es transparente hacia la opinión pública decir eso. Creo que no es transparente en la medida en que los alcances de una proyección de voto a partir de una encuesta son estimadores que se construyen a partir de una metodología profesional basada en la estadística y que tiene márgenes de error. Eso es fundamental al momento de comunicar, de generar expectativas a la población de lo que uno está comunicando.

Creemos que los problemas que ha habido no fueron porque Opción haya dicho que el Frente iba a votar con 45,9 y votó 47,8, un 1,9 por encima de lo que proyectó. No fue porque Opción haya dicho que el escenario más probable era que no hubiese mayorías parlamentarias pero que había probabilidad y no descartaba la posibilidad de que el Frente las tuviera.

EC - Tú estás haciendo una defensa de Opción en esta discusión que se está planteando.

AB - No es una defensa, es clarificar la expectativa que debe haber hacia un producto profesional de opinión pública que está enmarcado en márgenes de error. Quienes han estado por fuera de los márgenes de error han dicho que todas las encuestadoras han errado. Están llevando la evaluación de calidad del producto encuestas de opinión pública a un nivel que no es real para lo que puede dar.

EC - Tú decís que en el caso de Opción los desajustes cayeron dentro del margen de error.

AB - Exactamente. No lo estamos diciendo hoy, el miércoles anterior a la elección cuando se presentó la información, se comunicó claramente cuáles eran el valor estimado más probable y los márgenes de error de la información, que es lo que hace que el producto sea profesional y que genere las expectativas que tiene que generar.

EC - ¿Cómo fueron los números con esa puntualización?

AB - Fueron 45,9 para el FA, con un techo de 48,9 y un piso de 42,9. Y se dijo que, si bien no se veía como el escenario más probable la ocurrencia de mayorías parlamentarias, no se descartaba la posibilidad de que el Frente accediera a ellas.

En el caso del PN se expresó que la proyección daba un 32% y el resultado fue 30,9; la diferencia es de –1,1.

En el PC 15%, en el escrutinio primario es de 12,9; la diferencia es de –2,1.

En el Partido Independiente (PI) 3,8%; la diferencia es de 0,4.

En la Unidad Popular (UP) 0,7; la diferencia es de 0,4.

Y en el Partido Ecologista Radical Intransigente (PERI) 0,5; la diferencia es de 0,3.

El promedio de las diferencias fue de 1% en la proyección de Opción Consultores.

EC - El margen de error era de 3, 3 hacia abajo y 3 hacia arriba.

AB - Sí.

EC - ¿No es demasiado grande?

AB - Es el margen de error que manejan todas las consultoras en las proyecciones de votación de cara a las elecciones. Yo no manejo exactamente las metodologías de nuestros colegas, pero las diferencias pueden ser de a lo sumo 0,5 puntos porcentuales. Esos son los márgenes de error y el alcance que tiene la información.

EC - Vamos a Cifra. Cifra dio para el FA 43, cuando el resultado final fue 47,8; para el PN 32, y el resultado fue 30,9; para el PC 18, y el resultado fue 12,9; para el PI 3,3, y el resultado fue 3,1. ¿Entonces?

AR - El mayor error es en el PC y en el FA. Eso está fuera del margen del error, absolutamente. Fuimos además los más equivocados. Eso significa que hay un error grande que estamos tratando de ver cuál es.

Además todas las estimaciones anteriores estaban ya dentro de esa franja de datos. Salvo en el PC, en el que vimos un crecimiento, todos vieron un crecimiento en el último mes. Pero nosotros partíamos de una base más alta, lo cual nos dio un PC que estaba totalmente por encima de lo que efectivamente votó. Otra vez, ahí juegan también las expectativas que se tenían. En otras elecciones tuvimos un problema de haber subestimado al PC, nosotros y otras encuestadoras…

EC - Entonces ahora "se cubrieron" para el otro lado.

AR - Justamente, nuestros modelos estimaban que muchos de los indecisos eran colorados. Pero no lo fueron en esta elección, claramente. Es todo un aprendizaje, la opinión pública no se comporta igual cada cinco años; eso lo sabemos, pero aunque hagamos estimaciones a veces es muy difícil. Quizás una encuestadora nueva, que no tiene esa experiencia, lo enfocó de una manera más fresca y en este caso mejor. Tenemos que ser más frescos.

EC - De todos modos, en el caso de Opción también el PC aparecía sobredimensionado. No tanto como en Cifra, ustedes le dieron 15 al PC.

AB - Hay un tema que me parece importante. Creemos que todo el clima de opinión en este momento hacia las empresas de investigación por estos errores es un poco duro en la medida en que hay una trayectoria de las empresas que las han posicionado en un lugar muy importante en la opinión pública. Es decir, como empresa que en este momento está incursionando en opinión pública, creemos que los niveles de frustración responden a un buen desempeño histórico de las empresas. En ese sentido no tenemos más que respeto por las empresas colegas.

Pero queríamos distinguir porque no nos parecía justo que se subieran los estándares de exigencia para que todos estén del mismo lado, cuando los problemas de desempeño frente a lo que puede dar una encuesta los tuvieron algunas consultoras. Eso no es transparente hacia los consumidores que no puedan evaluarlas con claridad.

Además estamos a un mes de una próxima elección, y si los estándares son dar los valores exactos se está pidiendo algo que no es científico, que no va a suceder y vamos a volver a tener problemas de frustración. Entonces creo que es necesario aclararlo.

EC - La pregunta es qué fue lo que ocurrió. Ahí ha habido dos grandes interpretaciones: que hubo un vuelco de la opinión pública en los últimos días, que las consultoras no supieron calcular en las proyecciones que difundieron entre el miércoles y el jueves, o que el sistema de trabajo tiene carencias, y por lo tanto habrían estado equivocándose de manera permanente durante los últimos años.

Veamos la primera posibilidad, la del vuelco. El propio Luis Eduardo González anoche en Canal 12 atenuaba ese factor, sobre todo teniendo en cuenta que el día de la elección Cifra hizo una encuesta telefónica y le dio más o menos lo mismo que habían previsto, les dio mal.

AR - Sí. Seguramente un punto porcentual de último momento hacia el Frente. Siempre hay gente que se decide a último momento, pero eso de ninguna manera explica la diferencia. Pensamos, a la luz de los resultados electorales, que no estamos viendo bien el contexto. O sea, el Frente creció bastante en el interior del Uruguay, donde venía creciendo pero no tanto como en esta última medición. Y al revés, se achicó en Montevideo, en Maldonado, donde siempre había sido muy sólido.

EC - Esa fue otra de las novedades de esta elección. El FA prácticamente mantuvo su votación con respecto a cinco años atrás, pero internamente cambió. No solamente cambió entre los grupos, sino que cambió geográficamente.

AR - Creo que ese fue el factor que más nos desconcertó para calcular los ajustes en las muestras. Pensamos que ese fue el factor más grave. Y sí, probablemente es un factor que venimos arrastrando desde hace meses, no sabemos desde cuándo exactamente.

EC - ¿Y Bonino qué dice? ¿Cuál es el problema que está detrás?

AB - Se ha hablado de temas como la mayor volatilidad de los electores o del decrecimiento del fenómeno de las identidades partidarias. Eso hace que pueda haber mayores oscilaciones en corto tiempo en la opinión pública, y si las herramientas de medición o de abordaje de la opinión pública no son muy sensibles a esos cambios, es probable que haya problemas. Esa es una interpretación que tenemos.

Como equipo, como empresa, creemos que las herramientas utilizadas lograron en buena medida ser sensibles o relevar en ese primer mojón de calidad que son las técnicas de relevamiento que se utilizan para evitar sesgos. Creemos que esa materia prima que nos vino del campo a partir de las técnicas utilizadas para medir la opinión pública fueron adecuadas hasta donde podemos evaluar. Por eso hago énfasis en el tema de los márgenes de error.

Nosotros tomamos decisiones técnicas para medir la opinión pública que nos dieron unos resultados. Después tomamos otras decisiones vinculadas al tratamiento de esa información que también creemos que fueron adecuadas. Pero no sabemos, es muy difícil corregirlas en la medida en que ya la propia herramienta da un nivel de precisión que nos indica que los valores del parámetro –los niveles de votación– tienen que estar dentro de los rangos de margen de error.

EC - Estamos hablando de dificultades para medir adecuadamente la intención de voto a partir de cambios que se han dado en la sociedad uruguaya. De eso hablaba recién Adriana Raga. Tú decías que parecería que el método de trabajo de Opción funciona un poco mejor que otros a los efectos de abarcar esas realidades que son nuevas.

AB - Para simplificar: hay dos mojones o dos hitos principales en la calidad de un relevamiento de encuestas. Uno tiene que ver con los datos brutos de observación que uno recoge. La técnica de observación es la encuesta de actitudes de la opinión pública. Cada técnica –encuesta cara a cara, encuesta telefónica o encuesta a celulares o por Facebook, que también se utilizó– tiene sesgos, hay sectores de la opinión pública a los cuales no llega. Ahí llega una base de datos a la empresa que después se procesa para corregir esos sesgos.

En esas dos etapas se toman decisiones. Nosotros creemos que las decisiones tomadas por la empresa fueron apropiadas, ya que estimaron un valor o un rango de valores de probabilidad dentro del cual se ubicó la intención de voto de los distintos partidos. No sabemos, es muy difícil saber cómo mejorar esas técnicas porque la máxima precisión que da la herramienta es una estimación de rangos de probabilidad.

EC - El punto de partida está en que ustedes recolectan la información de una forma distinta. Acá tenemos sistemas diferentes de consulta a los encuestados. Ustedes utilizan llamadas a teléfonos celulares.

AB - Exactamente.

EC - ¿Solo a teléfonos celulares?

AB - Sí; y complementamos, alrededor de un 5% de la muestra es a telefonía fija.

EC - ¿En el caso de Cifra…?

AR - Solo telefonía fija. Hacemos también encuestas cara a cara, de vez en cuando hacemos un campo cara a cara y usamos ajustes. Las encuestas cara a cara son muy caras, más lentas y además tampoco estamos llegando a todo el público. Entonces de vez en cuando hacemos una encuesta grande cara a cara y la usamos para ajustar los datos de las encuestas telefónicas a línea fija.

Hemos probado también con encuestas a celulares, es una posibilidad. Nuestra experiencia con ese tipo de encuesta no fue buena, lo cual no quiere decir que no sea una herramienta utilizable.

EC - ¿Qué es lo que ven como limitación del sistema de encuesta telefónica a teléfonos fijos?

AR - Que no tiene una cobertura universal. Ese es el primer gran obstáculo.

EC - ¿Qué quiere decir eso?

AR - Que no todo el mundo tiene acceso a un teléfono de línea fija. Tiene un sesgo, no cubre a algunos jóvenes ni a la gente con menos recursos.

EC - Mientras que en los asentamientos, por citar un caso, es muy común tener teléfono celular. No se tiene teléfono fijo, sí se tiene teléfono celular.

AR - Efectivamente.

EC - Pero me imagino que hay otras dificultades con el teléfono fijo. Por ejemplo, encontrar al dueño de casa o a la señora de la casa…

AR - No se busca al dueño de casa, justamente.

EC - Pero si se lo está buscando, ¿cómo se lo encuentra?

AR - Hay todo un protocolo. En la línea fija tratamos de buscar gente con características diferentes. En general la línea fija la atiende la dueña de casa. Muchas veces le decimos: "Señora dueña de casa, necesitamos otra persona del hogar, no usted". Todas las muestras se van ajustando para reflejar al conjunto de la población, no al de las personas que atienden el teléfono fijo.

EC - Ustedes ya saben que La recolección de información con telefonía fija tiene limitaciones.

AR - ¡Absolutamente!

EC - A partir de esta experiencia, ¿están convencidos de que hay que modificarla?

AR - No necesariamente, es una posibilidad. Una posibilidad sería ampliar, hacer una cosa mixta celulares-telefonía fija. Para nosotros celulares solos no, porque el celular tiene algunos inconvenientes, está mucho más concentrado en la gente joven, deja fuera a alguna gente mayor, alguna gente que tiene celular no responde llamadas de números que no tiene registrados. Uno incomoda más al llamar al celular, porque mucha gente está trabajando, en momentos… El teléfono fijo uno ya está acostumbrado a que suene en la casa y se atiende, hay una tradición de eso. El celular es diferente en su manera de uso.

EC - Son interesantes las observaciones que hace Adriana Raga. Por lo visto la llamada a teléfonos celulares también tiene inconvenientes.

AR - ¡Todas las metodologías tienen inconvenientes, todas!

AB - Todas las técnicas buscan tener la menor cantidad de sesgos posible. La mejor técnica de relevamiento posible podría ser reunir a toda la población del Uruguay en un predio de unas hectáreas…

AR - … ¡y hacerla votar!

EC - Hacerlos votar y ya está. Sería facilísimo hacerlo así.

AR - ... y en un cuarto secreto, porque si los hacés votar en público seguramente también te van a mentir. Todas las técnicas tienen sus sesgos, en todas encontramos fortalezas y debilidades.

EC - Por ejemplo, el celular. Recién Adriana mencionaba una limitación que es realmente seria: muchas personas que tienen teléfono celular no atienden una llamada cuando no conocen el número que ven en la pantalla. Pero hay otras. Por ejemplo, ¿cómo saben ustedes que la persona que atiende el celular pertenece al nivel socioeconómico o a la zona geográfica que necesitan para que la muestra se complete bien? Le creen a lo que la persona les conteste. Porque si uno llama a un teléfono fijo sabe dónde está esa casa, en qué barrio, etcétera.

AR - Ahí te estaríamos revelando las innovaciones metodológicas de la consultora, compartiéndolas con nuestros colegas. De todas formas, vale decir que la telefonía celular tiene marcos muestrales más amplios, eso es una ventaja. Es un marco muestral de individuos, no hay una selección de hogares a partir de los cuales se seleccionan individuos y ahí aparecen sesgos como quiénes atienden el teléfono o, en encuestas cara a cara, quiénes están en los hogares, quiénes atienden la puerta, quiénes filtran la entrada al hogar, sea personal de servicio, etcétera.

La encuesta al celular también tiene mejor acceso a niveles socioeconómicos altos y bajos. Eso también lo afirmamos cuando realizamos encuestas a telefonía fija de otro tipo, para estudios de mercado, y encuestas cara a cara. La encuesta al celular llega mejor a los niveles más altos porque no tiene barreras como las encuestas cara a cara; los hogares más altos normalmente no son seleccionados en la muestra o tienen mayores niveles de rechazo. A los hogares más bajos la encuesta a telefonía fija no llega por temas de cobertura, y las encuestas cara a cara no llegan por temas de seguridad, muchas veces se excluyen de la muestra por problemas de seguridad. La encuesta a celulares tiene mejor acceso a la población activa, porque llaman en cualquier momento; en este momento te podría sonar el celular y te intentarían hacer una encuesta.

EC - Claro, por la vía del celular es fácil encontrar a la persona aunque esté trabajando.

AB - Exactamente. Y las encuestas telefónicas –no importa si es telefonía fija o celular– tienen también ventajas respecto a las cara a cara en lo que refiere a la supervisión y a la aplicación perfecta de cuestionarios.

AR - Porque se graban y se realizan escuchas de eso. Es muy importante.

EC - Cualquier encuesta hecha a teléfono fijo o a teléfono celular tiene más garantías desde el punto de vista del control de la empresa de cómo se hace que las hechas cara a cara.

AB - Hay otro tema. La muestra de las encuestas cara a cara se realiza parcialmente en escritorio y parcialmente en la calle. Uno sortea manzanas y después el propio encuestador debería hacer la selección de hogares sorteándolos de forma sistemática, tomando unos y dejando otros, siguiendo un método riguroso, sistemático. Eso no es fácilmente supervisable en una encuesta a nivel nacional. Por lo tanto también ahí hay sesgos, en la elección de los hogares. Puede haber problemas por ese lado.

EC - Un oyente pregunta: "Por el método que sea, ¿cómo abarcan ustedes el 'voto Buquebus', por decirlo de una manera simplificada, el voto de los uruguayos que vienen del exterior a sufragar y que llegan en esos últimos días?". ¿Cómo lo tienen en cuenta en las encuestas? ¿Hay forma?

AR - No, no hay forma. Hay un poco de mito con eso del voto Buquebus. Puede mover un poquito la aguja, pero no es algo decisivo.

EC - ¿No?

AR - En miles de votantes, ¿cuántos vinieron? Quizás 30.000. Los 30.000 no votaron a un mismo partido; probablemente haya una mayoría frentista, pero es solamente una mayoría mayor. Eso no se toma en cuenta, sería prácticamente imposible para cualquiera tomarlo en cuenta.

EC - ¿Bonino qué dice?

AR - Le agregaron un puntito ahí.

AB - No, no agregamos un puntito, buscamos información. Estuvo al momento de definir las proyecciones, lo tuvimos levemente en cuenta porque no teníamos seguridades, no sabíamos si iban a ser 10.000, 20.000 o 30.000. Si fuesen 30.000, pueden llegar a ser cerca de un punto, o sea que es muy importante. Incluso lo tuvimos en cuenta en el momento de evaluar los modelos que utilizamos para procesar la información, porque llegó a circular que habían sido 40.000. Si fuese así, estamos cerca de dos puntos que podrían modificar la elección.

EC - Ahí tienen un desafío, con ese factor.

AB - Es más bien una expectativa, no se puede solucionar de otra forma.

***

EC - Ya vimos algunas de las dificultades con las que se enfrentan para realizar las encuestas, incluso hubo alguna autocrítica sobre por dónde pueden estar los problemas para palpar a una sociedad uruguaya que por lo visto ha tenido cambios en los últimos años en su comportamiento político.

¿Qué le dicen a la gente que en estos días se ha preguntado: "Pero si están esas dificultades de por medio, durante los últimos cinco años nos hemos estado basando en números con errores, hemos estado creyendo cosas a propósito del comportamiento de la opinión pública, los dirigentes políticos han tomado decisiones a propósito de un candidato o de otro o de cómo encarar una campaña y resulta que la base era endeble, por lo menos"?

AR - Las encuestas son endebles siempre, es lo que decía recién Agustín. Pero probablemente la tradición de las encuestas en Uruguay ha sido comparativamente muy buena con respecto a la de otros países de la región y del mundo, porque muchísimas veces hay errores de 10 puntos porcentuales, es muy habitual eso en muchos países. Acá en realidad no por mérito exclusivo de las encuestadoras, sino por la firmeza de las adhesiones partidarias de los uruguayos, porque cambian tan poco, hemos podido ser relativamente precisos históricamente.

Ahora esas adhesiones están empezando a cambiar cada vez más, y creemos que ese es uno de los motivos por los cuales en esta elección hemos sido menos precisos. Tampoco espantoso, comparativamente con el mundo no es espantoso este resultado. Pero comparado con nosotros mismos sí lo es. La expectativa de la gente es que las encuestas se equivoquen a lo sumo por un punto, y esta vez no sucedió.

EC - Ha habido planteos muy crudos. Por ejemplo, Claudio Paolillo en su columna de hoy en Búsqueda dice: "Durante los últimos tres meses los políticos, los periodistas, los analistas y la sociedad en su conjunto informamos y analizamos una supuesta realidad que sistemáticamente mostraron las encuestas más reputadas. Resultó que esa realidad era inexistente y que los encuestadores fallaron groseramente en sus sondeos y fundamentalmente en sus pronósticos".

AB - Con ese diagnóstico personalmente disiento porque la herramienta de observación y la información que brindamos a nuestros clientes políticos y a los medios que contratan información fueron sensibles a las variaciones de la opinión pública. De hecho diagnosticamos claramente que el sacudón principal en cuanto a la serie histórica de intención de voto se dio en el último mes de campaña. Hubo un crecimiento en nuestra proyección de cinco puntos en el último mes, y de cinco puntos básicamente es la gran diferencia que entre las encuestas anteriores a la elección y el resultado final, no estamos hablando de más de cinco puntos en términos generales.

Entonces sí, quizás hubo problemas en la proyección final en algunas encuestadoras, pero la información que se brindó fue veraz y tenemos una interpretación del ciclo electoral, tanto de las intenciones de voto como de su probable causa. Estamos bastante seguros de eso.

EC - Adriana, ¿algo más sobre este punto?

AB - No, es eso. Creo que las expectativas eran muy altas porque hasta ahora había ido muy bien. Pero no necesariamente es siempre así. En cierto aspecto me parece mejor que la gente se dé cuenta de que las encuestas no siempre son tan tan precisas.

EC - El politólogo Daniel Chasquetti decía esta semana: "Las empresas deberían trabajar con mucha humildad, reconocer el error y empezar a establecer un programa de investigación sobre lo que está pasando". ¿Van a trabajar en esa dirección? ¿Están trabajando en esa dirección?

AR - Siempre estamos trabajando en esa dirección, incluso cuando hacemos las cosas bien.

EC - ¿Bonino?

AB - Lógicamente. Incluso a nosotros esta elección, por ser la primera, nos va a brindar insumos para comparar los resultados proyectados y ajustar ponderadores. De todas formas, como decía, es difícil porque la herramienta ya tiene ese margen de error por el cual ajustamos el ponderador pero estaríamos. Quizás es un tema más del margen de error de la muestra que de la limitación de la herramienta para proyectar la intención de voto.

EC - Aclaremos el término "ponderador".

AB - Básicamente, hay dos hitos en la realización de la encuesta. Uno es observar las actitudes de los electores a partir de técnicas, armar una base de datos, y a partir de ahí, con los sesgos que implican todas las técnicas, corregir posibles desvíos en esa base de datos. Cuando uno corrige esos desvíos supuestamente la foto debería estimar la realidad electoral con los márgenes de error, porque nunca vamos a tener una fotografía perfecta, que es la expectativa que hay también de cara a noviembre.

Los ponderadores son las correcciones que se realizan a las muestras, porque todas las técnicas implican sesgos.

EC - ¿De qué tipo son esas correcciones?

AB - Hay sesgos sociodemográficos, que son los más fáciles de corregir, como nivel educativo. Edad y sexo en general no, porque las muestras ya vienen cuotificadas, las bases de datos ya vienen corregidas, pero sí hay que corregir el tema de nivel educativo. Por ejemplo, la población de menor nivel educativo rechaza más las encuestas y además tiene menor cobertura de telefonía celular, una mezcla de las dos cosas. Eso hace que haya corregir las muestras, darle un peso mayor, se le pondera el peso en la muestra para que sea representativa de los parámetros poblacionales. Eso es más sencillo.

Lo importante es que la base de datos que uno adquiera del campo a partir de la técnica que utiliza tenga suficientes casos para ponderar, porque si uno pondera cinco personas de una muestra de 1.000 casos, seguramente el margen de error que va a tener para un segmento importante de la población va a ser muy grande.

EC - Ahí caemos ya en el debate a propósito de si regular las encuestas. Ese tipo de elementos con los cuales ustedes realizan el trabajo ¿deberían estar abiertos a la opinión pública y a los partidos políticos, etcétera?, ¿debería poder examinarse cómo realizaron el trabajo de campo más los ajustes posteriores? ¿Qué dice Adriana?

AR - Creo que sirve de muy poco. Se puede regular todo en la vida, pero eso no garantiza de ninguna manera que haya más calidad en los resultados. Escuché acá en el programa que hablaban de que en otros países se hace.

EC - El diputado Pablo Álvarez, que presentó un proyecto en el año 2008 sobre regulación de las encuestadoras, explicaba en las experiencias de qué otros países se basó.

AR - La pregunta sería: ¿en esos países las encuestas son mejores? Porque desde luego que se puede regular, pero en general en todas las cosas que se regulan aumenta la burocracia, y aumentan también las maneras de saltar las reglas. Vamos a ser sinceros, es muy difícil. En comida uno controla la calidad, controla una lata cada tantas a ver si está bien hecha. Pero en las encuestas no se puede hacer eso, entonces no se me ocurre cómo.

EC - Adriana preguntaba si en esos países mejoró la calidad de las encuestas. Supongo que pensaba en el ejemplo de Brasil.

AR - O comparando con las encuestas en otros países donde no se regula, Estados Unidos, otros países más liberales. No creo que eso cambie nada. He visto la presentación de resultados en algunos de esos países que regulan. Hay una columna con los datos crudos… la información se presenta en 10 columnas con distintos datos. No creo que eso le facilite a la opinión pública general ningún tipo…

EC - Óscar Bottinelli, director de Factum, dice que sí, que "hay que regular las encuestas y cómo son manejadas y utilizadas públicamente por los medios y los partidos".

AB - Estoy plenamente de acuerdo con Adriana. En primer lugar, el mercado regula a las encuestadoras. Esta entrevista en cierto modo es una evidencia de cómo la reputación de las encuestadoras, por ser un producto que se brinda a la opinión pública, se juega y se audita, mientras que hay muchos productos que se brindan a la opinión pública pero no tienen una instancia de auditoría como el trabajo de las encuestadoras. Por lo tanto tienen uno de los controles más fuertes en ese sentido que muchas otras actividades.

Segundo, es muy difícil de controlar, las decisiones de ponderación y técnicas que se toman y las acciones son un proceso bastante complejo, la investigación…

EC - … artesanal…

AB - Sí… yo no diría artesanal, porque debería serlo por un lado, pero por otro lado debería estar procedimentado, así lo vemos nosotros, sigue determinados procedimientos. Pero esos procedimientos son difíciles. Por un lado son difíciles de supervisar, porque son bastante complejos, es una cadena de producción bastante compleja que implica procesamiento a campo, y además se modifican permanentemente.

En esta elección, con un mercado regulado habría sido más probable que hubiese bajado la calidad de las encuestas, porque se habría burocratizado. Y las encuestas que tuvieron mejor eficiencia fueron las más innovadoras y las que modificaron procedimientos. Con un mercado regulado quién sabe si habrían podido hacer encuestas a celulares y a Facebook. Y seguramente irán evolucionando las técnicas a futuro. Es muy difícil.

EC - Una pregunta muy concreta: si contaran con un presupuesto mayor para realizar las encuestas, ¿sus sondeos podrían mejorar la precisión?

AR - Sí, siempre más encuestas, más número de encuestas, aumenta la precisión, eso seguramente.

EC - Porque puede ocurrir que estén manejándose con recursos bajos porque sus clientes no están dispuestos a pagar lo que cuesta un buen trabajo. Y cuando digo "clientes" me refiero a medios de comunicación, partidos políticos, gobierno, etcétera.

AR - Sí, las encuestas acá siempre se hacen con poco presupuesto. Hay pocos recursos, los partidos políticos acá –en algún sentido por suerte–, comparados con otros países del mundo, gastan relativamente poco en las campañas y muy poco en encuestas de opinión pública. Con más recursos siempre se pueden hacer más cosas. Habría que ver cuánto podríamos mejorar. Puntualmente no sé si con muchos más recursos hubiéramos podido cambiar este error. Ahora, con la visión a posteriori seguramente sí. Honestamente, no estoy segura de que ese haya sido el problema principal.

AB - Obviamente que con más recursos se mejora cualquier proceso de producción de un servicio o producto. Eso es así en todos los órdenes. El tema es darle los alcances al producto que uno entrega. Por eso siempre vuelvo al punto inicial: las encuestas aquí en Uruguay se financian con los recursos que maneja el mercado uruguayo, tanto medios como partidos políticos, quienes financian las encuestas. Definitivamente no somos ni Estados Unidos ni un país que maneje otro tipo de recursos.

Con estos recursos lo importante es que el trabajo prometa determinados procedimientos y genere determinadas expectativas que sean comprendidas por los usuarios. Y que estos les den el alcance que tienen a las encuestas para no generar frustración y por lo tanto para que se evalúen de buena forma.

Igual creemos que las estimaciones históricamente han sido buenas, por lo tanto tampoco es que se esté dando un producto pobre por un tema de recursos. Estamos hablando de que el margen de error promedio era de un 1% en el caso de las proyecciones de Opción.

EC - El promedio, porque es distinto según los partidos.

AB - Los rangos van de 0,1 a 2%.

***

EC - Ahora, en la instancia que viene, la del ballotage, ¿cómo se sienten después de estos revolcones?

AR - Estamos tratando de hacer todos los deberes. Vamos a tratar, porque se nos va la vida en eso, mucho más allá de las regulaciones que haya, de hacer lo mejor posible. Veremos.

EC - ¿Es más fácil un ballotage, en la medida en que son dos opciones y punto?

AR - No, no, los problemas son los mismos. Y además si hay, como esperamos, una diferencia relativamente grande entre un candidato y otro, apuntar al ganador en este caso es más fácil. Pero estimar la diferencia entre ambos es lo mismo.

AB - Depende también de cómo se dé el escenario del ballotage. Las encuestas son un producto con un alcance –vuelvo siempre a lo mismo– que maneja márgenes de error, y el alcance no se define de forma cualitativa, sino en forma cuantitativa, es un margen de error porcentual. Si el ballotage termina definiéndose en una diferencia de 50,5% a favor de una opción y 49,5% a favor de la otra, las encuestas no van a poder prometer una estimación perfecta porque si la estuviesen prometiendo estarían faltando a la verdad ante los consumidores.

***

Transcripción: María Lila Ltaif

***

Contenidos relacionados: Las encuestadoras hacen autocrítica por su trabajo en internas pero destacan la confianza de los políticos y la población

Cifra - Errores y horrores: nuestra disculpa

Cifra - INTENCIÓN DE VOTO EN LAS ELECCIONES NACIONALES DE OCTUBRE 

Proyecto de ley presentado por Pablo Álvarez para regular las encuestas electorales

Opción: Intención de Voto Elecciones Nacionales y Plebiscito Octubre de 2014

Metodología Estimación de Voto Octubre 2014 Opción Consultores