PARAMETRIA

Introducción: el reto

La pasada elección del 6 de julio fue un reto para todos los investigadores electorales y de opinión. Prácticamente nadie podía decir que en los meses previos a la elección tenía un panorama claro sobre el resultado del 6 de julio. Si bien los investigadores de opinión publicaron por lo menos una media docena de resultados posibles, el consenso era de incertidumbre.

Esta elección fue mucho más complicada que la de 2000 en términos de medición. Por lo menos tres condiciones presentaron dificultades de consideración. Primero, fue una elección de Congreso en la que estimar la proporción de preferencia electoral no significaba estimar reparto de curules. Como bien sugerían los líderes partidistas, eran «300 elecciones» en juego. Estimar la preferencia en el conjunto nacional y la composición cameral era complicado. Pocos investigadores asumieron el reto de calcular la composición de la Cámara de Diputados: Consulta- Mitofsky, GEA-ISA y Demotécnia.

Segundo, el acuerdo entre el PRI y el Partido Verde no permitía cuantificar la proporción para cada uno de ellos con claridad. La interpretación del acuerdo de la Alianza para Todos no permitía inferir el reparto de escaños a partir de porcentajes estimados, de tal manera que cada investigador tuvo distintas interpretaciones.

Un tercer elemento fueron los partidos que intentaban conservar su registro. Ofrecer un escenario de posibles resultados implicaba en términos de investigación contar con tamaños de muestra de cerca de 5,000 casos para tener un margen de error de 1%. Este tamaño de muestra para cualquier medio de comunicación o consultoría con una serie propia, es prácticamente imposible de financiar, por lo menos en los términos actualmente se genera investigación independiente en México. Las mediciones preelectorales tuvieron alrededor de 1,000 ó 1,500 casos con márgenes de error de entre 2% y 3%. Con tales márgenes cualquier estimación de tales partidos en realidad estaba en tales márgenes de error.

Las dificultades que presentó la elección y las diferentes formas que los encuestadores utilizaron para sortearlas hacen difícil una evaluación justa de las encuestas preelectorales. Por lo que es preferible definir algunos criterios para poder evaluar el trabajo del gremio de los encuestadores.

Criterios para evaluar

Se pueden dividir en dos las posiciones para evaluar los resultados. El primer enfoque afirmaría que independientemente del método seguido lo más importante es la precisión de los datos preelectorales. Este juicio probablemente es el más generalizado y compartido por la mayor parte del público. En el argumento extremo, la posición reconoce que el mejor trabajo es el de quien «le atina» al resultado electoral, incluso independientemente de si para lograrlo utilizó el método de la investigación por encuestas.

El segundo enfoque juzga el trabajo de los encuestadores a partir de la consistencia de los métodos utilizados y no tanto de la semejanza con los resultados de la elección. Este criterio es más apreciado entre los investigadores que el primero porque permite aprender más de los errores y desarrollar un aprendizaje de cada elección.

La primera posición descrita es la más común porque en algún sentido resulta más intuitiva, pero es la menos preferida por los investigadores quienes valoran más los procesos metodológicos, aunque ésta última resulte frecuentemente más subjetiva. Por ello para el propósito de este ejercicio se revisaran algunos de los criterios más comunes para evaluar la precisión de las encuestas preelectorales.

Como primer criterio de evaluación consideremos la estimación del ganador. Esta valoración suele considerarse como la más importante por la función social que desempeñan las encuestas. Se espera que las encuestas por lo menos indique correctamente al ganador, errar puede virtualmente enrarecer una elección.

Un según criterio es evaluar con el diferencial entre los resultados reportados en la última medición preelectoral y el resultado final de la elección. Es decir sumar los errores de los datos entre la medición registrada y el resultado oficial de la elección.

Un tercer criterio para analizar las encuestas, es observar cuáles estimaron mejor la diferencia entre primer y segundo lugar. El tema fue particularmente relevante en esta elección porque el estimar al partido con la mayoría relativa en la Cámara permitía anticipar la gobernabilidad del país.

Finalmente un cuarto criterio para evaluar la precisión de cada casa encuestadora es analizando la estimación de cada una de las fuerzas electorales. Este criterio resulta justo para cada una de las mediciones porque independientemente de la dificultad de la elección, algunas encuestas estimaron mejor la preferencia por un partido que por otro. El propósito de considerar diferentes criterios en la evaluación de los encuestadores es hacer una apreciación lo más objetiva y justa posible.

El escenario electoral de 2003

Se pueden dividir en dos las posiciones para evaluar los resultados. El primer enfoque afirmaría que el objeto de estimación fue el Presidente de la República y no los legisladores. En 2003 el actor relevante es el legislativo, un objeto más diverso por las 300 elecciones en juego, con un precedente inmediato en 2000 y con nuevos partidos en la arena. La estimación de las preferencias en 2003 sugería a todas luces un contexto de alta competencia y más complicado para su medición.

Las mediciones de 2003 publicadas o difundidas en medios de comunicación presentaron más varianza que las reportadas en el 2000. En 2000 las encuestas tenían distinto ganador, pero los márgenes de diferencia en promedio no eran superiores a 6 %. En 2003 no sólo hubo cambios de ganador a lo largo de la series, sino que las diferencias entre uno y otro llegó hasta 12% en las encuestas publicadas (GEA y Reforma).

Encuestas de salida

Evaluar las encuestas de salida no es objeto de este artículo. Sin embargo es pertinente hacer algunas observaciones al respecto. Si bien estas encuestas no fueron preelectorales en sentido estricto, si se publicaron sus resultados antes de conocer el dato oficial.

Al analizar este grupo de encuestas se puede decir que el saldo es muy positivo para el gremio. Todas estimaron correctamente al ganador y el promedio la diferencia entre primera y segunda fuerza fue de 5%. Este dato como podemos observar es muy similar al resultado final que fue de cuatro puntos (32% PAN y 36% PRI en números cerrados).

El mayor error por sobrestimación del PRI lo tuvo Reforma y el mayor error por subestimación del PAN lo tiene Consulta. Los datos más acertados para la estimación del PAN son los de GEA-ISA, Arcop y Parametría. Y para el PRI los de Bimsa y Parametría. En lo que se refiere al PRD el mayor error lo presentan Alduncin y Parametría y el dato más acertado lo tuvo Reforma. En lo que se refiere al PVEM, la mejor estimación la tuvo nuevamente la encuesta de salida de Bimsa y las de más error las de Consulta y Alduncin.

En resumen todos estos errores son marginales de no más de 2 o 3 puntos porcentuales. Por ello se puede concluir que las encuestas de salida en general fueron de gran precisión. Sin embargo este no es el caso de las encuestas preelectorales.

El partido ganador

De las ocho encuestas preelectorales evaluadas, cuatro dieron como ganador al Partido Acción Nacional, una dio empate y las tres restantes dieron el triunfo al PRI. En este parámetro sólo tres encuestas preelectorales tuvieron un ganador correcto Consulta, Parametría y Reforma. Las cuatro encuestas que tuvieron error en ganador fueron: Alduncin, Arcop, GEA-ISA y El Universal. Demotecnia fue la única que presentó empate.

La estimación de la diferencia entre PAN y PRI

La diferencia entre primera y segunda fuerza electoral fue de 4%. En las últimas encuestas preelectorales quienes presentaron la diferencia más cercana a tal dato fue Consulta (3%), Parametría (3%) y Reforma (5%). Medido por este parámetro habría un empate virtual en la precisión entre las tres encuestas que acertaron ganador.

En general todas las encuestas sobrestimaron las tres principales fuerzas electorales, en particular las dos primeras. Este error es constante aún entre los que acertaron ganador. La mayor sobrestimación se observa con el PAN. Entre los que reportaron como ganador al PAN se observan sobreestimaciones en diferente magnitud: en 4% Alduncin y Asociados, El Universal y Demotecnia, en 7% GEA-ISA y en 9% ARCOP. Incluso entre los que declararon ganador al PRI la sobreestimación del PAN fue de uno (Reforma y Consulta) y dos puntos porcentuales (Parametría).

La estimación del PRI fue más precisa. Consulta y Demotécnia prácticamente no presentan error. Reforma presenta la mayor sobrestimación del PRI (3%) y la mayor subestimación la presenta GEA-ISA (4%). En general todas las encuestas estuvieron alrededor del 36% que obtuvo el PRI.

La medición del PRD

Los encuestadores situaron al PRD en las preelectorales alrededor de 19% considerando que incluso llegaría a 20% ó más. En tales encuestas quién tuvo la mayor sobreestimación fue Demotecnia y Consulta (21%). Quien mejor lo midió fue Arcop con 18% . El resto lo sobrerrepresentó en 2%.

Evaluación del PVEM

En las mediciones previas a la elección la mayor parte de los encuestadores decidieron fijar al PVEM en 5% dada la poca claridad en el acuerdo con el PRI. Sólo tres casas dieron un dato distinto. Alduncin y Asociados lo estimó en 4%, Consulta en 8% y ARCOP, quién lo estimó mejor (6%). Es pertinente hacer un comentario sobre las encuestas de salida. En ella casi todos los encuestadores lo estimaron adecuadamente, excepto Alduncin (8.2%), Consulta (8%) y Reforma (3.5%).

El error común, los partidos pequeños

Dados los tamaños de muestra utilizados en las preelectorales, prácticamente todas las mediciones subestimaron al PT y Convergencia, quienes finalmente consiguieron registro. En estricto sentido, el tamaño promedio de las muestras no permitía precisar esto, no obstante, sólo Reforma y El Universal, comunicaron adecuadamente qué partidos mantendrían dicho registro.

Conclusión

Observando los resultados de las encuestas de salida y las preelectorales así como el contexto de esta elección, es posible afirmar que en general el saldo del trabajo de los encuestadores es positivo. Con los criterios sugeridos de evaluación se puede afirmar que hay un empate de precisión entre las tres encuestas que acertaron el ganador: Consulta, Parametría y Reforma. Presentan el mismo error de sobrestimación y subestimación de las dos principales fuerzas electorales y el error entre primera y segunda fuerza electoral difiere de manera similar (1%). Sin embargo, haría falta una revisión sobre los métodos que utilizan los encuestadores para llegar a sus resultados, mientras tanto sólo podemos contrastar la información disponible con los resultados de la elección.