Obama or Romney?

Bonjour,
Thanks to  Huffington Post and Pollster.com, we have access to all the polls published during the presidential electoral campaign together with the relevant information on their methodology. The fact that there are lots of polls published in U.S. electoral campaigns allows for refined analyses.

I analyzed the polls published between January 1st, 2012 and this morning. I excluded only the polls for which there was no information on sample size. I estimated the evolution of vote intention, taking into account each poll's methodological features* . These analyses show that:
a) Estimation of vote intention for Obama is related to the number of days a poll is in the field. More days in the field mean lower voting intention for Obama and higher for Romney.
b) The larger the sample size, the higher the estimate of vote intention for Obama. Note that sample size is related to administration mode.
c) The undecided -- or non disclosers -- are distributed equally between Obama and Romney (at the aggregate level, at least).
d) Using a Likely voter model has a significant impact on estimates. Polls that use a Likely voter model give on average 1.3 points more to Obama. However, this effect varies with time. 

Finally, I computed two models each for Obama and Romney, one for polls using a Likely Voter Model (59% of the polls) and one for the others, i.e., with a population defined as "registered voters"(40%) or "adults" (1%). All the other variables have been put at the mean -- number of days (4.22), sample size (1268), proportion of non disclosers (7.77). Here is the illustration of evolution with time.

The solid lines show the evolution for polls using a Likely voter model, the dotted line for the other polls. Whatever the model, on average, I have -- like others -- Obama going towards a short majority. The difference is one point in favor of Obama for the polls using a likely voter model, two points for the others. Is it significant? For each poll, no, for the average estimation, not sure, since you have to take into account all the factors that can influence the estimation, i.e. bias related to non response or coverage, turnout, etc.

Eager to see if the vote will conform to the model !

Au plaisir

* For interested specialists, I run a multilevel model where polls are embedded within weeks. The effect of methods is estimated at level 1, the poll level; evolution with time is estimated at level 2. The evolution with time is significant at power 4 and there is an additional impact of quadratic time on the effect of the likely voter model.

Obama ou Romney?

Bonjour,

L'intérêt des élections américaines pour une spécialiste en méthodologie est le nombre de sondages réalisés à chaque semaine, ce qui permet de faire des analyses très raffinées. De plus, Huffington Post et Pollster.com rendent disponibles les données de tous les sondages de même que les informations méthodologiques de base, ce qui facilite grandement la tâche.

J'ai analysé tous les sondages publiés depuis le début janvier jusqu'à ce matin. J'ai exclus seulement les sondages pour lesquels il n'y avait pas d'information sur la taille de l'échantillon. J'estime l'évolution de l'intention de vote en prenant en compte la méthodologie des divers sondages*. Ces analyses montrent que que:
a) L'estimation des intentions de vote pour Obama dans les sondages diminue quand le nombre de jours de terrain du sondage augmente. En d'autres termes, plus le sondage dure longtemps, plus son estimation du vote d'Obama est faible.
b) Plus l'échantillon est important, plus l'estimation du vote pour Obama est élevé. Ceci est lié au mode d'administration des sondages.
c) Les indécis se distribuent à peu près également entre Obama et Romney.
d) Le fait que le sondeur utilise ou non un Likely voter model a un impact significatif sur l'intention de vote: L'utilisation d'un Likely voter model donne en moyenne 1,3 points de plus à Obama mais cet effet varie avec le temps.

Au final, j'ai fait pour Obama et pour Romney, deux modèles, un pour les sondages utilisant un Likely Voter Model (59% des sondages) et un pour les autres, dont la population est définie comme "registered voters"(40%) ou "adults" (1%). J'ai mis toutes les autres informations -- nombre de jours, taille de l'échantillon, proportion d'indécis -- à la moyenne. Voici ce que ça donne:

La ligne continue montre l'évolution pour les sondages utilisant un Likely voter model, la ligne pointillée pour les autres. Quelque soit le modèle, en moyenne, Obama semble aller vers une très courte majorité sur Romney. Cette différence est de un point pour les sondages avec Likely Voter Model, de deux points pour les autres. Est-elle significative? Sondage par sondage, non; sur l'ensemble, à peine, si on tient compte de tous les facteurs qui peuvent entrer en ligne de compte (comme à la dernière élection québécoise, par exemple): biais dans les sondages -- non réponse, couverture --, participation, etc.

Ne reste qu'à attendre le vote pour voir si l'élection sera conforme au modèle !

Au plaisir

* Pour les spécialistes intéressés, il s'agit d'un modèle multiniveau où les sondages sont nichés dans les semaines. L'impact de la méthodologie est estimé au niveau 1, le niveau des sondages, et l'évolution dans le temps est au niveau 2, soit par semaine.

Que s'est-il passé: Prime de l'urne au PQ?

Bonjour,

Jeudi 27 septembre, j'ai présenté les résultats d'un panel post-électoral auprès des répondants au sondage pré-électoral de CROP dans le cadre d'une table ronde sur l'élection du 4 septembre.

Le fichier de la présentation se trouve ici
L'enregistrement video de ma présentation (incluant l'introduction à la table ronde et les présentations des autres panelistes) se trouve ici. Elle est au début du panel.

En résumé,

Le lendemain de l'élection, personne ne semble avoir pensé à attribuer l'écart entre les sondages et l'élection à un mouvement de dernière minute en faveur du PLQ. On a plutôt fait référence aux discrets et à la volatilité du vote. Il demeure qu'il est toujours préférable de vérifier plutôt que de spéculer.

J'ai fait faire un sondage post-électoral auprès des répondants au sondage pré-électoral de CROP publié l'avant-dernière semaine de la campagne. Ce sondage comportait 4 questions dont : "Avez-vous voté?" et  "Pour quel parti? (question ouverte)". Les deux autres questions avaient trait à l'indécision et à l'influence possible des sondages. Le taux de réponse a été de 84,4%.

Le graphique 1 rappelle les intentions de vote telles qu'estimées par CROP dans son sondage effectué entre le 24 et le 26 août, soit 33% PQ, 28% CAQ et 26% PLQ.

Voici maintenant les intentions de vote déclarées par les répondants à ce sondage: 37% pour le PQ, 26% pour le PLQ et 24% pour la CAQ. Le vote déclaré est donc encore moins près des résultats de l'élection que l'intention de vote estimée et laisse entrevoir qu'il y aurait eu un mouvement de la CAQ vers le PQ en fin de campagne.

C'est ce que j'ai analysé dans ma présentation. J'ai pondéré le sondage pour qu'il reflète les résultats de l'élection. Les faits saillants sont les suivants:

Parmi ceux qui révèlent leur vote (83% des répondants), 77% sont stables, c'est-à-dire qu'ils disent avoir voté pour le parti pour lequel ils avaient l'intention de voter. Près de 15% affirment avoir voté pour un parti différent de celui pour lequel ils avaient l'intention de voter.  Les autres (8%) sont des discrets qui révèlent une intention de vote.

Parmi ceux qui ont changé de parti entre la semaine du 24 août et le vote,
- Ceux qui ont changé ont voté pour le PQ (35,6%) de façon plus importante que pour le PLQ (22,4%) ou pour la CAQ (17%).
- Le PQ, outre de ne pas avoir perdu d'intention de vote au profit des autres partis, a surtout récolté des votes de la CAQ  et de QS.
- Le PLQ a perdu un peu au profit de la CAQ alors que la CAQ a perdu au profit des deux autres partis.
- Les discrets ont quant à eux voté deux fois plus pour le PLQ (46,5%) que pour le PQ (22,7%) ou pour la CAQ (19,6%).

Au final, les résultats sont compatibles avec les conclusions suivantes:

- Les intentions de vote durant la campagne étaient très stables mais il y a eu un ralliement au PQ en fin de campagne, provenant surtout de la CAQ et de QS.
- Le PQ a été surestimé pendant toute la campagne. Il était normalement entre 28% et 30% (plus ou moins la marge d'erreur), à égalité avec la CAQ.
- Le PLQ était sous-estimé et fort probablement en tête.

Est-ce que les biais des sondages ont eu une influence sur le résultat de l'élection? J'ai vérifié circonscription par circonscription et il apparaît que le seul siège supplémentaire où le PLQ aurait pu gagner semble être St-François. Dans toutes les autres élections serrées où le PLQ pouvait gagner, il l'a fait.

Des corrections à apporter dans la méthodologie des sondages?

Réduire la proportion des discrets et mieux estimer leur vote probable.

1. Le positionnement de la question d’intention de vote plus loin dans le questionnaire -- et non au début -- pourrait aider à réduire la proportion de discrets (voir Fournier et coll. 2011).
2. Il faudrait analyser les caractéristiques des discrets et ne plus les répartir proportionnellement.
3. Il faudrait améliorer la couverture (cellulaires, entre autres) et la collecte (taux de réponse, entre autres).

Publication des sondages dans les médias.

1. Publier l’intention de vote avant répartition et mieux expliquer aux lecteurs ce que signifie la marge d'erreur.
2. Publier 2 types de répartition des discrets (proportionnelle et non proportionnelle)?

Mieux estimer l’intention de vote des non-francophones et leur participation au vote.

A la prochaine!

Le PLQ est-il sous-estimé toujours et partout?

Bonjour,

Toujours dans ma tentative de comprendre la sous-estimation du vote libéral et d'être en mesure de mieux la prédire, je me suis demandé si le PLQ avait aussi été sous-représenté dans les sondages par circonscription faits pour la plupart dans des circonscriptions très francophones. J'ai donc comparé les résultats des derniers sondages faits dans 18 circonscriptions par la firme Segma aux résultats de l'élection. Voici les résultats:

Sur 18 élections, il y a eu sous-estimation d'au moins un parti dans 13 élections, 11 fois pour le PLQ, 2 fois pour la CAQ et une fois pour le PQ.

Saguenay-Lac St-Jean: 5 circonscriptions, toutes fortement majoritaires PQ (entre 42% et 53% du vote. Dans les 5 circonscriptions, il y a sous-estimation: le PLQ est sous-estimé dans 4, la CAQ dans une. Sous-estimation de 3 à 8 points.

Gaspésie: Deux circonscriptions: Le PLQ est sous-estimé de 8 points dans Gaspé, le PQ de 7 points dans Bonaventure. Il s'agit du seul cas de sous-estimation du PQ. C'est l'ancien fief de Nathalie Normandeau.

Région de Québec: Sur trois comtés, le PLQ est sous-estimé dans un seul, celui d'Agnès Maltais. Sous-estimation de près de 7 points.

Estrie: Dans Brome-Missisquoi et St-François, sous estimation du PLQ, 6 points et 10 points respectivement. Deux luttes très serrées où les sondages ont peut-être joué un rôle. Au final, un PLQ gagnant dans une lutte à trois (P. Paradis) et Réjean Hébert, PQ, gagnant de justesse. Les deux autres élections -- Sherbrooke (Cardin) et Granby (Bonnardel) -- sont bien prédites.

Mauricie :  Deux luttes serrées. Le PLQ et la CAQ sous-estimés de 5 points chacun dans Trois-Rivières (victoire PLQ), la CAQ de 6 points dans St-Maurice (victoire PQ).

Les deux derniers: Dans Papineau, une lutte serrée où le PLQ est sous-estimé de 7 points et où il a gagné par très peu. Dans Hull, les 3 partis très bien prédits, victoire PLQ.

En conclusion: 

La sous-estimation du PLQ est assez généralisée même si elle n'est pas toujours présente. Dans les cinq  luttes serrées où les sondages auraient pu amener des électeurs à voter pour la CAQ, le PLQ a remporté trois élections et le PQ, deux. Sur 11 élections où le PLQ était sous-estimé, sept sont des élections gagnées par le PQ. Pour ce qui est des 5 circonscriptions où les résultats sont bien prédits, aucune n'est une élection serrée. Deux ont été gagnées par le PLQ (Hull et Louis-Hébert), deux par la CAQ (Lévis et Granby) et une par le PQ, Sherbrooke.

A première vue, la sous-estimation du PLQ est plus probable lorsque le PQ est "bien en selle" comme au Saguenay, à Gaspé, par exemple. Mais ce n'est pas toujours le cas. Une chose est certaine, la sous-estimation du vote libéral ne provient pas au premier chef d'une sous-estimation du vote des non-francophones.

Au plaisir

En guise de post-mortem

Bonjour,

Comme on l'a vu, les sondages ont sous-estimé le vote pour le PLQ. Mon hypothèse 2 (voir dernier message de la campagne), soit une répartition non proportionnelle des discrets attribuant 50% au PLQ, 25% au PQ et 25% à la CAQ, était la meilleure. Elle estimait très bien le PQ (à 32,5%) et la CAQ (à 27,2%).  Toutefois, elle sous-estimait encore le PLQ en l'estimant à 28,9%.  Mon hypothèse 3 qui tentait une correction pour le vote non francophone surestimait le PLQ en l'estimant à 33,6%.

La sous-estimation du vote libéral dans les élections québécoises est un "vieux problème". Pour mémoire, j'ai publié un article dans Options politiques en 2002 intitulé "Are polls biased against Quebec Liberals?

D'autres hypothèses

Depuis l'élection, j'ai tenté de voir si je pouvais arriver plus près des résultats de l'élection en tentant a) de faire une répartition différente des discrets -- 60% au PLQ, par exemple -- ou en tenant compte de la participation moins forte des non francophones -- j'ai estimé que les non francophones constituaient 18% des électeurs qui votent alors qu'ils sont 20% de la population. J'ai donc émis des hypothèses plausibles mais a posteriori. Les analyses utilisant ces hypothèses améliorent la prédiction du vote de PLQ mais détériorent celle de la CAQ. Pour le moment donc, aucune découverte majeure! Je vais continuer mes recherches sur ces questions pour être prête pour une élection subséquente.

Les firmes de sondage

Depuis quelques années, je me concentre sur la performance de l'ensemble des firmes, collectivement, plutôt que sur celle de chaque firme, ceci pour une très bonne raison: Une firme peut avoir des résultats atypiques même si elle a utilisé une méthodologie très rigoureuse et à l'inverse, une firme pourrait avoir de très bons résultats malgré une méthodologie douteuse. C'est le hasard. Et le hasard ne fait pas toujours bien les choses. Je fais toutefois quelques observations sur les résultats obtenus par les diverses firmes/ méthodologies puisque, au-delà de la question des firmes, il faut souligner que chaque firme utilisait une méthodologie différente.

Pour ce qui est des biais systématiques, ceux qui se produisent pour toutes les firmes ou presque, le fait marquant est la sous-estimation du vote libéral, une sous-estimation qui était moins importante pour la firme Forum. Par contre, sauf pour un sondage, cette firme a eu tendance à surestimer le vote pour le PQ et à sous-estimer le vote pour la CAQ. On peut également noter que les résultats des deux firmes québécoises ont été plus constants que ceux de Forum. Les variations dans les sondages Forum peuvent être dues à plusieurs facteurs dont l'absence de pondération pour la langue maternelle, le moment des sondages -- dont un lundi de long week-end -- et le fait que les sondages sont faits sur une seule journée.

Comme l'a noté Jean-Marc Léger, son premier sondage était très proche des résultats de l'élection. De là à conclure qu'il n'y a pas eu de mouvement pendant la campagne électorale, il n'y a qu'un pas... Mais cela ne fait pas de belles premières pages!

Les sondages CROP, avec une méthodologie téléphonique classique, ne se sont pas beaucoup distingués de ceux de Léger, qui utilise un panel Internet. Les deux firmes ont mis les intentions de vote pour le parti Libéral à égalité avec celles de la CAQ dans leur trois derniers sondages. La tendance à la sous estimation du vote libéral est donc présente dans toutes les méthodologies et elle se fait au profit d'une surestimation du vote pour les petits partis. Ces derniers ont obtenu 9,8% du vote alors qu'ils sont estimés à 14% par Crop et 12% par Léger. Il semble évident qu'à tout le moins, il ne faut pas attribuer des discrets aux petits partis.

Au plaisir

Der de der, incluant Forum

Bonjour,

Un dernier sondage de Forum research aujourd'hui qui donne une lecture différente de celle des deux autres firmes. En effet, CROP et Léger n'ont perçu aucune évolution des intentions de vote au cours des deux dernière semaines alors que Forum perçoit une montée du PQ au détriment de la CAQ. Qui a raison? Notons que la méthodologie utilisée par Forum fait qu'il y a une proportion de discrets minime, soit 2,8%.
Je refais les analyses avec exactement les mêmes hypothèses que pour mon message précédent. Voici ce que ça donne.

Hypothèse 1 : Intentions de vote telles que publiées par les firmes

Cette première hypothèse utilise les estimations fournies par les firmes, sans aucune correction. Il faut noter ici que la répartition de la proportion de francophones -- qui devrait être à 20% -- varie entre 12% et 17% environ chez Forum et qu'elle n'est pas redressée. Lorsqu'on utilise les estimations des firmes, la seule tendance qui est significative est une tendance à la hausse d'environ 3 points depuis le 7 août pour la CAQ. Cette analyse donne le PQ à 33,3% alors que la CAQ et le PLQ seraient à égalité avec respectivement 27,6% et 27,1% des intentions de vote.

Pour les francophones, ces mêmes estimations donnent les résultats suivants: Aucune évolution depuis le 7 août, le dernier Forum annulant la tendance à la baisse pour le PQ et à la hausse pour la CAQ. Le PQ serait à 36,4%, la CAQ à 29,1% et le PLQ à 21,8%.

Hypothèse 2 : Intentions de vote avec répartition non proportionnelle des discrets

Cette hypothèse est la plus plausible, celle qui a, au cours des élections précédentes, donné les résultats les plus près du vote réel. En ajoutant le dernier Forum, les analyses montrent, pour l'ensemble du Québec, une baisse d'environ 3 points du PLQ depuis le 7 août et une hausse similaire de la CAQ. Ceci amène le PQ à 32,5%, le PLQ à 28,9% et la CAQ à 27,2%. On voit sur le graphique que les derniers points, ceux du sondage Forum, s'écartent de la tendance pour le PQ et la CAQ. Le sondage met le PQ plus haut que la tendance de l'ensemble des sondages et la CAQ plus bas.

Si on fait la même hypothèse de répartition non proportionnelle mais uniquement pour les francophones, on arrive à la situation suivante:Les trois partis seraient stationnaires (le dernier Forum annule la tendance à la baisse du PQ et à la hausse de la CAQ chez les francophones). Le PQ serait à 35,4%, la CAQ à 28,7% et le PLQ à 24,4%. On voit que le sondage Forum se distingue en donnant une plus forte proportion du vote au PLQ. Toutefois, il faut faire remarquer que, dans tous les sondages des deux dernières semaines, la différence entre le PLQ et la CAQ était non significative.

Hypothèse 3: Intentions de vote corrigées pour le vote des non francophones (CROP et Léger) , la proportion de non-francophones (Forum) et avec répartition non proportionnelle des discrets francophones.

Comme je l'ai expliqué dans mon dernier message, cette hypothèse est biaisée en faveur du PLQ. Ce n'est pas une hypothèse farfelue mais c'est une hypothèse moins plausible que l'hypothèse 2. Elle repose sur une répartition non proportionnelle des discrets francophones et une attribution du vote non francophone à 70% pour le PLQ, 14% pour la CAQ et 7% pour le PQ. Elle présume également que les non francophones participent au vote autant que les francophones. En intégrant le dernier sondage Forum, les analyses donnent un vote stationnaire pour les trois partis, ce qui rappelle un peu l'élection québécoise de 1998. Le PLQ serait à 33,6%, le PQ à 29,8% et la CAQ à 25,8%.

En conclusion

Dans cette élection, c'est vraiment le vote qui départagera dans les hypothèses que j'ai faites celle qui était la plus appropriée. J'aurais pu faire d'autres hypothèses.  Comme je l'ai mentionné dimanche, d'autres facteurs peuvent également intervenir, tels le vote pour les petits partis, la participation différenciée selon les partis, les groupes d'âge, des changements de dernière minute, etc.

À demain!

Si la tendance se maintient...

Bonjour,

J'intègre les données du sondage Léger d'aujourd'hui qui est très similaire dans l'ensemble à celui de la semaine dernière. L'ajout de ces données permet de confirmer les tendances déjà présentées vendredi. Je fais trois hypothèses.
1) répartition proportionnelle des discrets telle que publiée par les firmes
2) répartition non proportionnelle des discrets attribuant 50% au PLQ, 25% au PQ et 25% à la CAQ, ceci pour l'ensemble et pour les francophones seulement
3) je prends les intentions de vote pour les francophones avec les discrets répartis de façon non proportionnelle que je compte pour 80% des intentions de vote et j'ajoute 20% de non francophones avec une intention de vote à 70% pour le PLQ, 14% pour la CAQ et 7% pour le PQ. J'ai expliqué pourquoi j'avais fait cette hypothèse dans mon message de vendredi. NOTEZ que c'est une hypothèse biaisée en faveur du PLQ puisqu'elle met toutes les chances de leur côté.

Hypothèse 1 Intentions de vote telles que publiées

Si on prend les estimations des firmes, au total les intentions de vote pour le PQ seraient à 32,5%, stationnaires, celles pour la CAQ à 28% en hausse de près de 5 points depuis le 7 août et le PLQ à 27%, soit à égalité avec la CAQ, en baisse -- à peine significative -- de 3,5 points depuis le 7 août. Le graphique suivant illustre la progression.

Si on prend les chiffres publiés pour les francophones, on a le PQ à 36,3%, la CAQ à près de 30% et le PLQ à 20,6%. Statistiquement, seul le PQ est en baisse. Il aurait perdu près de trois points depuis le 7 août.

Hypothèse 2 Intentions de vote avec répartition non proportionnelle des discrets

La répartition des discrets se fait depuis longtemps au Québec et elle est basée sur des observations empiriques. Je donne 50% des discrets au PLQ, 25% au PQ et 25% à la CAQ. Je présente deux analyses, une où l'attribution se fait pour tous et l'autre où je la fais pour les francophones. Cette dernière aurait tendance à être plus favorable au PLQ.

Le graphique montre que, pour l'ensemble de la population, si on fait une attribution non proportionnelle des discrets, les trois partis seraient virtuellement à égalité: 31,4% au PQ, 29,2% au PLQ et 27,5%  à la CAQ. On voit une hausse des intentions de vote pour la CAQ èa l'identique de la baisse du PLQ, soit environ 3,5 points depuis le 7 août.

Pour les francophones, les mêmes analyses amènent le Pq à 35,1%, la CAQ à 29,4 et le PLQ à 23,9%. Dans cette analyse chez les francophones, les gains de la CAQ, soit 2,5 points environ se font au détriment du PQ, le PLQ demeurant stationnaire.

Hypothèse 3 Intentions de vote avec répartition non proportionnelle des discrets francophones et une correction pour les allophones

Cette analyse, quoique possible, est un peu biaisée en faveur du PLQ en ce sens qu'elle prend pour acquis à la fois que les discrets francophones sont à 50% favorables au PLQ et que les non francophones sont à 70% favorables au PLQ.  Ceci fait hausser d'environ deux points les intentions de vote pour le PLQ au détriment des deux autres partis. Ces analyses donnent le PLQ en tête à 33,1%, le PQ à 29,5% et la CAQ à 26,3%.  Cette analyse donne une faible hausse d'environ 2 points de la CAQ aux dépens du PQ,

En conclusion

D'autres facteurs que ceux dont j'ai tenté de tenir compte peuvent également influencer les résultats: 1) L'effondrement possible du vote pour les petits partis, une situation habituelle, pourrait aider le PQ. 2) La participation pourrait être différente selon les partis. Ceci avantage habituellement le PQ.  Les non francophones vont moins voter que les francophones 3) Les discrets pourraient être encore plus proches du PLQ ou de la CAQ. 4) Il pourrait y avoir des changements de dernière minute puisque, habituellement, de 10% à 15% des répondants aux sondages déclarent avoir voté pour un parti différent de celui pour lequel ils avaient dit vouloir voter. Il ne faut pas oublier que répondre à un sondages n'a aucune conséquence alors que voter a des conséquences. Enfin, pour ce qui est du transfert en sièges, il ne faut pas oublier que les concentrations de vote peuvent nuire à certains partis et traditionnellement plus  au PLQ qu'aux autres.


Tout ça pour dire qu'il est possible que la combinaison de tous ces facteurs donnent raison, en moyenne, aux sondeurs et aux chiffres publiés. Si ce n'est pas le cas, les résultats devraient aller dans la direction des analyses des chiffres corrigés présentées ici.

Au plaisir

Et à Montréal, pendant ce temps

Bonjour,

Encore là, j'utilise les chiffres publiés par les firmes, sans me préoccuper de la répartition des discrets ni du vote des non francophones. Ceci sous estime probablement sérieusement le vote pour le PLQ et surestime le vote pour les deux autres partis puisque les non francophones sont concentrés dans la grande région de Montréal.

Dans la grande région de Montréal

Les estimations des firmes donnent le PLQ et le PQ statistiquement à égalité aux alentours de 30% (moyenne de 30,8% pour le PLQ et de 31,6% pour le PQ. La CAQ serait en hausse mais à 23,5% sur l'ensemble, 25% pour les trois derniers sondages. Les deux derniers Léger mettent le PLQ et le PQ en avance sur la CAQ. Pour les autres, c'est moins clair, les différences sont souvent non significatives. Ceci cache évidemment des différences entre l'île de Montréal et la banlieue. Ces données sont disponibles uniquement pour les deux sondeurs québécois et sont présentées dans le deuxième tableau.

Évolution de l'intention de vote dans la région métropolitaine de Montréal

date de publication	firme	discrets	N Mtlrmr	PLQ Mtlrmr	PQ Mtlrmr	CAQ Mtlrmr
31.08.2012	Crop	18,46	413	26	32	27
28.08.2012	Crop	17,27	417	27	31	27
16.08.2012	Crop	18,91	418	28	33	23
09.08.2012	Crop	11,12	384	31	29	20
30.08.2012	Forum	2,90	1123	28	33	25
21.08.2012	Forum	3,87	715	36	30	22
14.08.2012	Forum	5,84	698	33	35	21
07.08.2012	Forum	6,03	671	33	34	22
25.08.2012	Léger	8,09	817	32	32	23
17.08.2012	Léger	10,87	1127	31	31	25
09.08.2012	Léger	9,94	705	34	28	24
N		11	11	11	11	11
Moyenne		10,3	680,7	30,8	31,64	23,55
Médiane		9,9	698,0	31,0	32,00	23,00

Dans l'île et en dehors

Sur l'île de Montréal, en moyenne le PLQ est en avance avec 36,4% des intentions de vote. Cette avance est très probablement sous estimée. Le PQ serait deuxième avec une moyenne de 26,4% et la CAQ ferme la marche avec 17,6%, des estimations normalement surestimées. On sait toutefois que les votes pour les divers partis sont concentrés dans les diverses régions de l'île et qu'il faut compter également avec Québec solidaire.
En banlieue de Montréal, en moyenne c'est le PQ qui est en avance avec 35,4% suivi par la CAQ à 30,7% et le PLQ à 23,6. Toutefois, encore là, il y a des concentrations et certains comtés accueillent des proportions assez importantes de non francophones. Si le vote pour le PLQ chez les non francophones est sous estimé, ceci peut fausser les estimations. Mais l'impact est normalement faible par rapport à l'impact sur l'île de Montréal.

Évolution de l'intention de vote - île de Montréal et banlieue

date de publication	firme	discrets	N ile	PLQ ile	PQ ile	CAQ ile	N banlieue	PLQ banlieue	PQ banlieue	CAQ banlieue
31.08.2012	Crop	18,46	206	32	28	20	207	20	35	33
28.08.2012	Crop	17,27	206	35	25	18	211	21	37	35
16.08.2012	Crop	18,91	197	32	31	19	221	25	36	27
09.08.2012	Crop	11,12	205	37	24	15	179	24	35	26
25.08.2012	Léger	8,09	374	45	25	15	443	18	39	31
17.08.2012	Léger	10,87	593	34	27	22	534	28	34	29
09.08.2012	Léger	9,94	417	40	25	14	288	29	32	34
N		11	7	7	7	7	7	7	7	7
Moyenne		10,3	314,0	36,4	26,4	17,6	297,6	23,6	35,4	30,7
Médiane		9,9	206,0	35,0	25,0	18,0	221,0	24,0	35,0	31,0

En conclusion

Comme mentionné dans mes deux blogues précédents, je ne parierais pas ma blouse sur ce qui va arriver mardi. En tout cas, je ne suis dans aucun pool pour ce qui est d'estimer le nombre de circonscriptions qu'obtiendra chaque parti.

Et à Montréal, pendant ce temps

Bonjour,

Encore là, j'utilise les chiffres publiés par les firmes, sans me préoccuper de la répartition des discrets ni du vote des non francophones. Ceci sous estime probablement sérieusement le vote pour le PLQ et surestime le vote pour les deux autres partis puisque les non francophones sont concentrés dans la grande région de Montréal.

Dans la grande région de Montréal

Les estimations des firmes donnent le PLQ et le PQ statistiquement à égalité aux alentours de 30% (moyenne de 30,8% pour le PLQ et de 31,6% pour le PQ. La CAQ serait en hausse mais à 23,5% sur l'ensemble, 25% pour les trois derniers sondages. Les deux derniers Léger mettent le PLQ et le PQ en avance sur la CAQ. Pour les autres, c'est moins clair, les différences sont souvent non significatives. Ceci cache évidemment des différences entre l'île de Montréal et la banlieue. Ces données sont disponibles uniquement pour les deux sondeurs québécois et sont présentées dans le deuxième tableau.

Évolution de l'intention de vote dans la région métropolitaine de Montréal

date de publication	firme	discrets	N Mtlrmr	PLQ Mtlrmr	PQ Mtlrmr	CAQ Mtlrmr
31.08.2012	Crop	18,46	413	26	32	27
28.08.2012	Crop	17,27	417	27	31	27
16.08.2012	Crop	18,91	418	28	33	23
09.08.2012	Crop	11,12	384	31	29	20
30.08.2012	Forum	2,90	1123	28	33	25
21.08.2012	Forum	3,87	715	36	30	22
14.08.2012	Forum	5,84	698	33	35	21
07.08.2012	Forum	6,03	671	33	34	22
25.08.2012	Léger	8,09	817	32	32	23
17.08.2012	Léger	10,87	1127	31	31	25
09.08.2012	Léger	9,94	705	34	28	24
N		11	11	11	11	11
Moyenne		10,3	680,7	30,8	31,64	23,55
Médiane		9,9	698,0	31,0	32,00	23,00

Dans l'île et en dehors

Sur l'île de Montréal, en moyenne le PLQ est en avance avec 36,4% des intentions de vote. Cette avance est très probablement sous estimée. Le PQ serait deuxième avec une moyenne de 26,4% et la CAQ ferme la marche avec 17,6%, des estimations normalement surestimées. On sait toutefois que les votes pour les divers partis sont concentrés dans les diverses régions de l'île et qu'il faut compter également avec Québec solidaire.
En banlieue de Montréal, en moyenne c'est le PQ qui est en avance avec 35,4% suivi par la CAQ à 30,7% et le PLQ à 23,6. Toutefois, encore là, il y a des concentrations et certains comtés accueillent des proportions assez importantes de non francophones. Si le vote pour le PLQ chez les non francophones est sous estimé, ceci peut fausser les estimations. Mais l'impact est normalement faible par rapport à l'impact sur l'île de Montréal.

Évolution de l'intention de vote - île de Montréal et banlieue

date de publication	firme	discrets	N ile	PLQ ile	PQ ile	CAQ ile	N banlieue	PLQ banlieue	PQ banlieue	CAQ banlieue
31.08.2012	Crop	18,46	206	32	28	20	207	20	35	33
28.08.2012	Crop	17,27	206	35	25	18	211	21	37	35
16.08.2012	Crop	18,91	197	32	31	19	221	25	36	27
09.08.2012	Crop	11,12	205	37	24	15	179	24	35	26
25.08.2012	Léger	8,09	374	45	25	15	443	18	39	31
17.08.2012	Léger	10,87	593	34	27	22	534	28	34	29
09.08.2012	Léger	9,94	417	40	25	14	288	29	32	34
N		11	7	7	7	7	7	7	7	7
Moyenne		10,3	314,0	36,4	26,4	17,6	297,6	23,6	35,4	30,7
Médiane		9,9	206,0	35,0	25,0	18,0	221,0	24,0	35,0	31,0

En conclusion

Comme mentionné dans mes deux blogues précédents, je ne parierais pas ma blouse sur ce qui va arriver mardi. En tout cas, je ne suis dans aucun pool pour ce qui est d'estimer le nombre de circonscriptions qu'obtiendra chaque parti.

Hors Montréal,... que pasa?

Bonjour,

Je pensais voir un sondage Léger aujourd'hui, il n'est pas venu. Ceci me laisse un peu de temps pour analyser les résultats par région. Ce premier message porte sur la région de Québec et le reste du Québec.

Je présente les chiffres tels que publiés sans faire une répartition non proportionnelle des discrets ou corriger les chiffres pour les non francophones, peu nombreux par ailleurs, hors Montréal, et donc peu susceptibles d'influencer le portrait d'ensemble. Notons ici que j'analyse les sondages depuis 1998 au Québec et ailleurs et je n'ai jamais vu des proportions aussi élevées de discrets que ce que l'on a pu constater dans les derniers CROP téléphoniques. Les discrets sont peut-être vraiment indécis, cette fois-ci!

Le tableau plus bas présente l'évolution des intentions de vote pour chaque firme. On note que les échantillons pour la région de Québec varient entre 165 et 470, ce qui est très peu. La marge d'erreur pour une proportion de 30% et un échantillon de 200 répondants est de 6,2%, ce qui signifie qu'il faudrait une différence de 12,4% entre deux partis pour que l'on soit certain qu'il y a réellement une différence. Les différences inférieures à 12% peuvent être dues au hasard. Pour les échantillons de 400 répondants, on parle d'une marge d'erreur de 4,4% et donc, toujours pour une proportion d'intention de vote de 30%, il faudrait une différence de 8,8% entre deux pourcentages pour que l'on soit certain que la différence n'est pas due au hasard. Pour le reste du Québec, les échantillons sont plus importants. À 600 répondants, la marge d'erreur est de 3,4% et à 1000, de 2,8%.

Pour la région de Québec

Les sondages Léger donnent de façon constante le PQ à égalité avec le PLQ. Pour les autres sondeurs, c'est moins constant. Le Forum du 21 août donne le PLQ en avance sur le PQ alors que le dernier met les deux partis à égalité. Les sondages de la dernière semaine de Léger et Forum mettent la CAQ au premier rang, avec un écart significatif par rapport aux deux autres partis mais le dernier CROP donne un écart CAQ-PLQ de 8 points, non significatif. Dans ce sondage, l'écart entre la CAQ et le PQ, de 15 points, est significatif.
 En moyenne, la CAQ serait à 34,8%, le PLQ à 30,1% et le PQ à 23,9%. La bataille serait donc serrée entre le PLQ et la CAQ. Si on effectuait une répartition non proportionnelle des discrets, les deux partis seraient pratiquement à égalité.

Pour le reste du Québec

Il y a une bonne concordance entre les sondeurs malgré des méthodologies différentes. On remarque qu'il y a moins de variation dans les pourcentages dû à la taille plus importante des échantillons. Le PQ serait en avance hors Montréal et Québec alors que les deux autres partis sont à égalité avec le quart des répondants. En moyenne, le PQ aurait 36,4% des intentions de vote, le PLQ 26,8% et la CAQ, 26,2%. Évidemment, ces votes se répartissent de façon très diverse selon les régions. Toute concentration peut être dommageable au parti dont le vote est concentré mais l'éparpillement parfait pourrait également être mortel.

En conclusion

Je ne suis pas une spécialiste de l'estimation du nombre de circonscriptions attendues en fonction des intentions de vote mais je me garde personnellement d'enterrer qui que ce soit avant mardi soir étant donné les analyses que j'ai faites et les résultats présentés.

Au plaisir

Évolution des intentions de vote pour la région de Québec et le reste du Québec
date de publication	firme	N total non discrets	discrets	N Québec RMR	PLQ Qc	PQ Qc	CAQ Qc	N Reste du Québec	PLQ roq	PQ roq	CAQ roq
31.08.2012	Crop	817	18,46	172	27	20	35	232	25	35	27
28.08.2012	Crop	829	17,27	165	25	24	35	247	23	37	29
16.08.2012	Crop	815	18,91	169	32	30	26	228	25	36	26
09.08.2012	Crop	943	11,12	267	33	23	28	292	26	36	22
30.08.2012	Forum	2542	2,90	318	29	27	38	1101	28	36	27
21.08.2012	Forum	1540	3,87	231	40	22	30	594	33	31	23
14.08.2012	Forum	1563	5,84	209	35	22	36	656	28	42	26
07.08.2012	Forum	1542	6,03	188	35	22	37	683	31	38	23
25.08.2012	Léger	1773	8,09	470	23	24	43	486	23	36	30
17.08.2012	Léger	3019	10,87	456	25	25	38	1436	25	36	28
09.08.2012	Léger	1431	9,94	307	27	24	37	419	28	38	27
Moyenne			10,3	268,4	30,1	23,9	34,8	579,5	26,8	36,5	26,2
Médiane			9,9	231,0	29,0	24,0	36,0	486,0	26,0	36,0	27,0

Un sondage par jour...

Bonjour,

Un CROP aujourd'hui, que j'intègre et qui confirme mes analyses d'hier, soit qu'il y aurait eu hausse significative de la CAQ d'environ 3 points depuis le 7 août dans l'ensemble de la population et une baisse significative du PQ, du même ordre, seulement chez les francophones toutefois. Pour le PLQ, calme plat chez les francophones, une baisse encore non significative de près de 3 points au total mais qui est en partie due au sondage Forum dont la répartition selon la langue est fautive.

Dans mes analyses, j'ai intégré les sondages de Forum puisque, après moult vérifications, je n'ai pas de raison scientifique d'exclure ces sondages. Ils donnent la plupart du temps des résultats similaires à ceux de CROP chez les francophones. Ils doivent toutefois être corrigés pour la proportion de francophones, ce que j'ai fait dans ma dernière estimation.Comme vous le verrez plus loin, j'ai intégré un "exercice de style", inspiré des pratiques de Michel Lepage, dont beaucoup se rappellent comme "le sondeur du PQ" (jusqu'en 2003 environ).

Pour l'ensemble de la population

D'abord, l'évolution pour l'ensemble, après répartition non proportionnelle des discrets. J'ai encore vérifié dernièrement et il semble évident que les discrets ont un profil qui se rapproche plus du PLQ, d'où attribution de 50% des discrets au PLQ, 25% au PQ et 25% à la CAQ. Vous remarquerez que je n'attribue pas de discrets aux petits partis puisque, traditionnellement, le vote pour ces partis est surestimé. Les PQ et le PLQ sont à égalité et la CAQ s'approche des deux autres, ce qui rappelle 2007, à l'exception du fait qu'à l'époque le PLQ était un peu en avance sur le PQ dans les sondages.

 Et les francophones?

 Chez les francophones, seule la baisse du PQ est significative. Les deux autres partis seraient pratiquement à égalité. Différence avec 2007, à cette époque, le PQ et l'ADQ étaient plus proches l'un de l'autre; le PLQ était à peu près au même niveau.

Exercice de style plausible...

Comme je l'ai montré dans mon billet sur le vote des non francophones, il existe des différences entre les firmes tant en ce qui a trait à la proportion de non francophones (non corrigée dans le cas de Forum Research) que des intentions de vote estimées. J'ai donc fait l'exercice suivant: J'ai maintenu l'attribution non proportionnelle des discrets chez les francophones mais, pour les non francophones,d'une part j'ai corrigé pour qu'il y ait toujours 20% de non francophones dans l'échantillon et d'autre part, j'ai attribué les intentions de vote suivantes: pour le PLQ 70%, tel que justifié dans mon billet précédent (Le paradoxe de l'anglo péquiste). Pour le PQ et la CAQ, j'ai attribué la médiane des estimations des firmes depuis le 7 août, ce qui donne 7% au PQ et 14% à la CAQ. Voici l'estimation que j'obtiens. Elle produit un seul résultat significatif, soit une baisse du PQ de 0,11 points par jour.  

Ma première prédiction...

Si l'estimation avec répartition proportionnelle des discrets pratiquée par les firmes donne de bons résultats,   les sondeurs seront soulagés. Et tout le monde va vouloir me crucifier!

Si l'estimation des sondeurs est infirmée, on se questionnera sans doute et on reviendra peut-être à une répartition non proportionnelle des discrets OU, plus vraisemblablement, on dira que les électeurs ont changé d'idée au cours des derniers jours (sourire!). Ceci dit, les mouvements de dernière minute dans cette élection sont plausibles. Dans mes recherches antérieures, j'ai pu constater que de 10% à 15% des répondants aux sondages pré-électoraux affirment après l'élection avoir voté pour un parti différent de celui pour lequel ils avaient dit vouloir voter.

Si la tendance se maintient..revisitée

Bonjour,

Mise à jour: Le sondage Forum était là mais personne n'avait tweeté l'information, j'ai donc refait les analyses en intégrant le dernier sondage Forum.

Si la tendance se maintient,... y en aura pas de tendance... ou si peu! Toutes mes analyses montrent que c'est le calme plat, sauf pour une montée faible mais significative de la CAQ au total et une baisse équivalente mais significative du PQ chez les francophones. Et donc, calme plat seulement pour le PLQ.

Voici le portrait de l'évolution des intentions de vote pour l'ensemble de la population. Ces estimations sont faites à partir de tous les sondages effectués par les trois firmes à partir du 7 août 2012. Les sondages de Forum research n'ont pas été corrigés pour qu'ils reflètent la bonne proportion de francophones. Si tel était le cas, cela aurait pour effet d'augmenter l'intention de vote pour le PLQ et de faire baisser celle des deux autres partis. Notons que, comme il n'y a que 12,6% de non francophones dans le dernier sondage de Forum et que la firme ne pondère toujours pas en fonction de la langue, ceci explique la différence entre leur dernier sondage et le précédent. Si la firme tenait compte de la langue, l'estimation de l'intention de vote pour le PLQ serait à 34,8 comme pour trois des 4 derniers sondages (le dernier aurait donné 36,4).

Le graphique montre que les intentions de vote pour le PLQ et le PQ sont à égalité, après répartition non proportionnelle des discrets. Il montre aussi une tendance à la hausse pour la CAQ (+0,14 par jour), qui serait passée de 24,1% à 26,9% en trois semaines. Le PLQ serait à 28,6 et le PQ à 32,7%, une différence presque significative mais qui est influencée par le dernier Forum qui est, comme on l'a vu, biaisé par un pourcentage trop faible de non francophones. Avant l'entrée du Forum, on a le PLQ à 29,6 et le PQ à 31,3.

 

Et les francophones?

Comme beaucoup rappellent l'importance du vote chez les francophones, j'ai estimé les intentions de vote chez les francophones en faisant une répartition non proportionnelle des discrets, soit 50% au PLQ, 25% au PQ et 25% à la CAQ en présumant que la proportion de discrets était la même que pour l'ensemble de la population. Selon les informations qui m'ont été fournies, cela surestime un petit peu la proportion de discrets puisqu'il y a un peu plus de discrets chez les non-francophones mais l'impact est minime au total.

Les estimations des firmes diffèrent. Après répartition non proportionnelle des discrets,  Léger donne 4 points de moins au PLQ que Crop et 6 points de moins que Forum dans son dernier sondage. Léger donne également 3 points de plus au PQ que les deux autres firmes. Ces différences peuvent provenir des méthodologies. Je fais des analyses en ce moment pour voir ce qui distingue les firmes à un niveau plus fin. Je devrais revenir sur cette question dans un prochain message.

Il y a une baisse significative du PQ chez les francophones (-0,14 par jour), à peu près équivalente à la hausse de la CAQ au total. Il n'y a pas d'évolution significative des intentions de vote pour le PLQ et la CAQ. L'estimation actuelle serait que le PQ est à environ 35%, la CAQ à environ 28% et le PLQ à 27%.

Commentaire:

Si les élections qui se suivent se ressemblaient, cette élection pourrait ressembler à celle de l'Alberta en 2012 ou à celle du Québec en 1998, des élections où les sondages ne montraient pas une forte évolution  des intentions de vote pendant la campagne et où, au final, les résultats ont fait mentir les sondeurs. Elle pourrait toutefois ressembler aussi à celle de 2007, où l'ADQ avait fini par rattraper le PQ permettant l'élection d'un gouvernement libéral minoritaire mais il semble qu'il manque de temps pour ce faire. Elle pourrait tout autant sinon plus mener à un gouvernement péquiste minoritaire.

Une chose est certaine, cette campagne ne ressemble pas à celles de 2003 au Québec où les intentions de vote pour le PLQ s'étaient "envolées" à partir de la mi-campagne ni aux élections fédérales de 2011 au Québec où la même chose s'était produite pour le NPD.

Au plaisir!