Obama or Romney?

Bonjour,
Thanks to  Huffington Post and Pollster.com, we have access to all the polls published during the presidential electoral campaign together with the relevant information on their methodology. The fact that there are lots of polls published in U.S. electoral campaigns allows for refined analyses.

I analyzed the polls published between January 1st, 2012 and this morning. I excluded only the polls for which there was no information on sample size. I estimated the evolution of vote intention, taking into account each poll's methodological features* . These analyses show that:
a) Estimation of vote intention for Obama is related to the number of days a poll is in the field. More days in the field mean lower voting intention for Obama and higher for Romney.
b) The larger the sample size, the higher the estimate of vote intention for Obama. Note that sample size is related to administration mode.
c) The undecided -- or non disclosers -- are distributed equally between Obama and Romney (at the aggregate level, at least).
d) Using a Likely voter model has a significant impact on estimates. Polls that use a Likely voter model give on average 1.3 points more to Obama. However, this effect varies with time. 

Finally, I computed two models each for Obama and Romney, one for polls using a Likely Voter Model (59% of the polls) and one for the others, i.e., with a population defined as "registered voters"(40%) or "adults" (1%). All the other variables have been put at the mean -- number of days (4.22), sample size (1268), proportion of non disclosers (7.77). Here is the illustration of evolution with time.

The solid lines show the evolution for polls using a Likely voter model, the dotted line for the other polls. Whatever the model, on average, I have -- like others -- Obama going towards a short majority. The difference is one point in favor of Obama for the polls using a likely voter model, two points for the others. Is it significant? For each poll, no, for the average estimation, not sure, since you have to take into account all the factors that can influence the estimation, i.e. bias related to non response or coverage, turnout, etc.

Eager to see if the vote will conform to the model !

Au plaisir

* For interested specialists, I run a multilevel model where polls are embedded within weeks. The effect of methods is estimated at level 1, the poll level; evolution with time is estimated at level 2. The evolution with time is significant at power 4 and there is an additional impact of quadratic time on the effect of the likely voter model.

Obama ou Romney?

Bonjour,

L'intérêt des élections américaines pour une spécialiste en méthodologie est le nombre de sondages réalisés à chaque semaine, ce qui permet de faire des analyses très raffinées. De plus, Huffington Post et Pollster.com rendent disponibles les données de tous les sondages de même que les informations méthodologiques de base, ce qui facilite grandement la tâche.

J'ai analysé tous les sondages publiés depuis le début janvier jusqu'à ce matin. J'ai exclus seulement les sondages pour lesquels il n'y avait pas d'information sur la taille de l'échantillon. J'estime l'évolution de l'intention de vote en prenant en compte la méthodologie des divers sondages*. Ces analyses montrent que que:
a) L'estimation des intentions de vote pour Obama dans les sondages diminue quand le nombre de jours de terrain du sondage augmente. En d'autres termes, plus le sondage dure longtemps, plus son estimation du vote d'Obama est faible.
b) Plus l'échantillon est important, plus l'estimation du vote pour Obama est élevé. Ceci est lié au mode d'administration des sondages.
c) Les indécis se distribuent à peu près également entre Obama et Romney.
d) Le fait que le sondeur utilise ou non un Likely voter model a un impact significatif sur l'intention de vote: L'utilisation d'un Likely voter model donne en moyenne 1,3 points de plus à Obama mais cet effet varie avec le temps.

Au final, j'ai fait pour Obama et pour Romney, deux modèles, un pour les sondages utilisant un Likely Voter Model (59% des sondages) et un pour les autres, dont la population est définie comme "registered voters"(40%) ou "adults" (1%). J'ai mis toutes les autres informations -- nombre de jours, taille de l'échantillon, proportion d'indécis -- à la moyenne. Voici ce que ça donne:

La ligne continue montre l'évolution pour les sondages utilisant un Likely voter model, la ligne pointillée pour les autres. Quelque soit le modèle, en moyenne, Obama semble aller vers une très courte majorité sur Romney. Cette différence est de un point pour les sondages avec Likely Voter Model, de deux points pour les autres. Est-elle significative? Sondage par sondage, non; sur l'ensemble, à peine, si on tient compte de tous les facteurs qui peuvent entrer en ligne de compte (comme à la dernière élection québécoise, par exemple): biais dans les sondages -- non réponse, couverture --, participation, etc.

Ne reste qu'à attendre le vote pour voir si l'élection sera conforme au modèle !

Au plaisir

* Pour les spécialistes intéressés, il s'agit d'un modèle multiniveau où les sondages sont nichés dans les semaines. L'impact de la méthodologie est estimé au niveau 1, le niveau des sondages, et l'évolution dans le temps est au niveau 2, soit par semaine.