Post-Mortem Ontario: Who's right?

Hi,

How did the pollsters fare in this election? There are a number of different ways to look at the situation. The first is to see whether the prediction that I made using all the polls' estimates was accurate.  Here is the graph with the election results:

 It is clear from this graph that the Liberals were globally well predicted by the polls but that, contrary to usual, the PC was overestimated and the NDP underestimated. This a rather rare situation. In the last federal election of 2011, the polls had underestimated the PC by more than 4 points in Ontario.

Who's right? 

There is a debate around methods and pollsters. Who fared better? There are known ways to deal with this. One is to calculate the difference between the results and the estimates from the polls. The relative error (results minus estimates) tells us whether a party tended to be over or underestimated by the polls. A positive result means that the party was underestimated by the polls. The absolute error infoorms on the level of the difference between the results and the estimates. The total absolute error gives the synthetic information on the global level of error. It is computed as the sum of the absolute error for the three main parties. I present the results grouped by method (IVR vs Web) for the polls conducted from June 5 in the table at the end of the message.

What the table and my analyses show is:

• IVR polls got the Liberals right (mean error of -0.34) but they overestimated the PC by 3.6 points and underestimated the NDP by 5.1 points on average.
• Web polls underestimated the Liberal party by 3.7 points on average and overestimated both the PC (2 points) and the NDP (2.3 points).
• The difference between the estimates of IVR polls and Web polls is significant for the Liberals and the NDP. We are still in a situation where Web polls tend to overestimate the NDP.
• As for the absolute difference, it is rather large -- between 2 and 5 points on average. There is no significant difference between the IVR and the WEB polls.
• If we look at the total absolute error, it is 10.8 points on average for the IVR polls and 9.6 for the WEB polls. Again, there is no significant difference between these two averages.

A total absolute error of 10.8 is rather high. It is however lower than what has been seen in BC2013 and Alberta 2012.

In conclusion,

The surprise with this election is the global underestimation of the NDP and the overestimation of the PC. I do not see how to explain this. The only expected bias, i.e. an overestimation of the NDP vote and an underestimation of the PC vote by the WEB surveys indeed happened. The huge underestimation for the NDP vote by the IVR polls will have to be analyzed by the pollsters. In addition, the "likely voter models" did not seem to perform adequately. It is good that pollsters who used these models indeed published also their figures for eligible voters. Analyst and voters could see that polls allowed for different estimates according to different hypotheses about who is participating in the election. However, the likely voter models do not seem to be "the solution" to bias in polls' estimates. Pollsters who use IVR should perhaps think about introducing cell phone numbers in their samples and see whether it improves their estimates.

The final point to notice -- it has been noticed by many analysts -- is the substantial variation between estimates. This means that the methods right now are not at the level of reliability that we would like to see them.

Error of the polls - 2014 Ontario Election
Method	Pollster	mid-date of field period	error LIB	error PC	error NPD	Abs. error LIB	Abs. error PC	Abs. error NDP	Total absolute error
IVR	Forum	06-JUN-2014	-0.3	-5.8	6.7	0.3	5.8	6.7	12.8
	Ekos	07-JUN-2014	2.8	-4.7	6.1	2.8	4.7	6.1	13.6
	Forum	10-JUN-2014	-3.3	-3.8	4.7	3.3	3.8	4.7	11.8
	Ekos	11-JUN-2014	1.4	-0.1	4.5	1.4	0.1	4.5	6.0
	Forum	11-JUN-2014	-2.3	-3.8	3.7	2.3	3.8	3.7	9.8
	Mean		-0.34	-3.64	5.14	2.02	3.64	5.14	10.80
	Median		-0.30	-3.80	4.70	2.30	3.80	4.70	11.80
	Std. error of mean		1.13	0.96	0.55	0.53	0.96	0.55	1.36
WEB	Ipsos	05-JUN-2014	3.7	-3.8	-2.3	3.7	3.8	2.3	9.8
	Abacus	06-JUN-2014	4.7	0.2	-4.3	4.7	0.2	4.3	9.2
	Angus Reid	09-JUN-2014	2.7	-0.8	-2.3	2.7	0.8	2.3	5.8
	Ipsos	09-JUN-2014	5.7	0.2	-6.3	5.7	0.2	6.3	12.2
	Leger	09-JUN-2014	1.7	-5.8	3.7	1.7	5.8	3.7	11.2
	Mean		3.70	-2.00	-2.30	3.70	2.16	3.78	9.64
	Median		3.70	-0.80	-2.30	3.70	0.80	3.70	9.80
	Std. error of mean		0.71	1.20	1.67	0.71	1.13	0.74	1.09
Total
	Mean		1.68	-2.82	1.42	2.86	2.9	4.46	10.22
	Median		2.20	-3.80	3.70	2.75	3.80	4.40	10.50
	Std. error of mean		0.92	0.77	1.49	0.50	0.74	0.49	0.84

Pendant ce temps, en Ontario

Bonjour,

Je ai suivi les sondages en Ontario entre autres pour voir si la même méthode que j'ai utilisée pour l'élection québécoise de 2014 pouvait donner de bons résultats. De plus, comme j'ai analysé les sondages de la campagne de l'Alberta en 2012 et celle de la Colombie Britannique en 2013, je me suis intéressée à la comparaison entre les campagnes.

Mes remerciements à Bryan Breguet (Too close to call) qui m'a fourni les informations qu'il avait récoltées et avec qui j'ai pu échanger pendant la campagne.

Voici ce que donne l'évolution des intentions de vote:

Les derniers sondages tendent à montrer une remontée du parti Libéral qui le situerait aux alentours de 37,5% des voix alors que le PC serait plutôt à 34% environ. La tendance serait également à une baisse des intentions de vote pour le NPD qui se situerait à un peu plus de 20%. Toutefois, ces évolutions ne sont pas significatives. En clair, les trois lignes pourraient être simplement des lignes droites et il  ne reste plus de temps pour voir la suite. Ce sera donc l'élection qui dira si la tendance est réelle.

Quelle fiabilité accorder à ces résultats? On a en mémoire les "catastrophes" de l'Alberta en 2012 et de la Colombie-Britannique en 2013 de même que la sous-estimation du PLQ au Québec en 2012. Ces élections ont en commun de s'être déroulées dans des circonstances où il y avait un parti qui était au pouvoir depuis longtemps, une certaine insatisfaction par rapport à ce parti et une volonté de changement. Par contre, l'alternative au parti au pouvoir était loin de faire l'unanimité. Il me semble que la situation est similaire en Ontario et les conséquences peuvent également être similaires, soit que le parti au pouvoir fait finalement mieux que prévu.

Du côté des sondages, mes analyses montrent qu'en Ontario, tout comme pour l'élection de Colombie Britannique en 2013, les sondages Web surestiment le NPD au détriment du parti Libéral si on les comparent aux sondages fait par téléphone. De plus, lorsque les sondages se trompent, ils le font à peu près toujours dans la même direction: ils sousestiment le parti le plus à droite, ici le PC, et surestiment le parti le plus à gauche, soit le NPD. Enfin, les partis qui n'ont pas de chances de prendre le pouvoir, dans ce cas-ci le NPD et les Verts, sont généralement surestimés. Ceci semble dû en partie au fait que les électeurs de ces partis sont moins enclins à aller voter.

En conclusion, si les sondages se trompent, le NPD est le plus susceptible d'être surestimé et le PC, le plus susceptible d'être sousestimé. Les Libéraux pourraient également être un peu sousestimés. Je n'ai malheureusement pas pour l'Ontario un historique de la performance des sondages qui me permettrait de corriger les estimations en conséquence.

Au plaisir

Générations, souveraineté, Parti Québécois,

Bonjour,

Dans La Presse aujourd'hui, un article de Katia Gagnon  Souveraineté du Québec: le projet de deux générations basé entre autres sur une analyse que j'ai faite de 125 sondages réalisés par CROP depuis 1976, disponibles entre autres sur CORA (Archives canadiennes des sondages d'opinion publique).

Comme tous les graphiques ne sont pas disponibles dans La Presse "ordinaire" ou sur Cyberpresse, je les mets à la suite.

Pourquoi dire qu'il s'agit du projet de deux générations? Parce que, en 1980, seuls les moins de 35 ans sont plus souverainistes que les autres groupes d'âge. En 1995, malgré que le Parti Québécois avait "abandonné" la souveraineté au profit du beau risque et de l'affirmation nationale pendant quelques années avant le retour de Jacques Parizeau, deux groupes d'âge deviennent "porteurs" de la souveraineté. D'une part, les moins de 35 ans de 1980 -- devenus les 35-54 ans -- qui sont demeurés souverainistes dans une large proportion ou qui le sont redevenus à la faveur de la campagne référendaire. D'autre part, les nouveaux jeunes, les moins de 35 ans de 1995, qui eux aussi sont convaincus par la campagne de 1995. Il s'agit donc de deux générations, ceux qui sont nés entre 1945 et 1962 -- les baby-boomers -- et ceux qui sont nés entre 1962 et 1977. On peut voir les graphiques sur l'appui à la souveraineté selon l'âge plus précisément entre 1995 et 2000 ici.

Les graphiques montrent que les générations suivantes n'ont pas pris le bateau. Est-ce qu'elles auraient pu le prendre à la faveur d'une campagne référendaire? Il s'agit d'une question hypothétique et deux hypothèses peuvent être posées. Certains postulent que "les jeunes d'aujourd'hui sont rendus ailleurs" et donc que, quels que soient les arguments amenés lors d'une campagne référendaire, ils ne seront pas convaincus. D'autres postulent que les jeunes sont plus "mobiles" politiquement et peuvent être convaincus à la faveur d'une campagne référendaire. C'est ce qui s'est passé pendant la campagne de 1995 au Québec. Je tenterai de tester ces hypothèses dans le cadre du référendum sur l'indépendance de l'Écosse.

Évolution de l'appui à la souveraineté 1977-2014:

Évolution de l'appui à la souveraineté 1996-2014 (Zoom du graphique précédent).

Évolution de l'appui à l'intention de vote pour le Parti Québécois 1977-2014:

Évolution de l'appui à l'intention de vote pour le Parti Québécois 1996-2014 (Zoom du graphique précédent:

La Charte, le vote, nous et "les autres"

Bonjour,

Voici le lien à l'article publié dans La Presse de samedi dernier le 19 avril, portant sur le vote des non-francophones et son impact dans la région de Montréal.


Le vote, la Charte, nous et "les autres"

Les estimations sont basées sur les relations entre la proportion de francophones dans les circonscriptions et le vote enregistré. Ce n'est pas l'idéal mais c'est la seule information disponible et elle donne des estimations similaires à celles obtenues par les sondages.

Au plaisir

Lendemain de veille - vive la moyenne des sondages

Bonjour,

Vient le temps de faire le bilan de la performance des sondages de la dernière élection, une performance tout à fait acceptable en général mais qui ne doit pas nous empêcher de chercher plus loin. Est-elle acceptable pour tous, pour toutes les régions? C'est ce que je regarde dans ce billet. Dans mon prochain billet, j'analyserai la performance pour ce qui est de l'estimation du vote des francophones.

La performance générale

Voici le graphique que j'ai publié le 7 avril incluant tous les sondages publiés, à l'exception du sondage Angus-Reid puisque celui-ci ne comprenait pas les informations de base me permettant de faire une répartition non proportionnelle des discrets. Pour mémoire, j'attribue 50% des discrets au PLQ, 25% au PQ et 25% à la CAQ. Je n'attribue aucun discrets aux petits partis. Cette répartition donne une prédiction très proche des résultats finaux, surtout si on tient compte que les derniers sondages représentés datent de jeudi dernier, soit trois jours avant le vote et que les intentions de vote continuaient sans doute à évoluer. Elle donne environ 41,5% au PLQ et montre la CAQ et le PQ en train de se rejoindre. On note que certains sondages ont tendance à estimer le vote pour le PLQ plus élevé que d'autres mais ils se situent à l'intérieur de la marge d'erreur (après répartition non-proportionnelle des discrets).

Si j'utilise les estimations des sondages tels que publiés, la prédiction est moins bonne comme on peut le voir sur le graphique suivant. C'est surtout l'estimation de l'intention de vote pour le PLQ qui est un peu trop basse (à 40%).  De plus, la variation de l'estimation des intentions de vote est un peu élevée: Le dernier Forum place le PLQ à 44% alors que le dernier Léger le place à 38% et place le PQ à 29%. Ces trois estimations se situent en dehors de la marge d'erreur mais, dans le cas du PQ, on peut penser qu'au moment où le sondage a été fait, ce dernier était à un  niveau plus élevé qu'au moment de l'élection. De plus, comme les courbes se situent plus ou moins à la moyenne des sondages, cette moyenne est proche de la réalité.

 

Et les résultats par région?
Peut-on mieux comprendre comment améliorer les sondages en analysant leur performance sur le plan régional. J'ai souligné dans un message précédent que les sous-échantillons régionaux étaient assez variables, ce qui est "normal" étant donné la taille des échantillons. Il faut noter que nous n'avons pas les estimations par région pour EKOS et Angus Reid parce que leur découpage régional est différent et non comparable avec celui des autres firmes.

La région de Montréal concentre les Québécois de langue autre que française. Ces personnes peuvent être plus difficiles à rejoindre pour les sondeurs. Par ailleurs, elles peuvent également être moins portées à aller voter, ne serait-ce que parce qu'elles résident plus fréquemment dans des circonscriptions acquises au PLQ. Bien estimer le vote dans la région de Montréal constitue donc un défi pour les sondeurs. Voici ce que donne l'estimation de l'évolution des intentions de vote. On peut noter que l'estimation du vote pour le PLQ est très variable, variant de 36% (IPSOS) à 51% (Forum)  selon les sondeurs. Pour ce qui est du PQ, on trouve trois estimations à 28% et une à 21% (dernier Forum); pour la CAQ, les estimations varient de 14% à 22%. Les résultats de l'élection donnent 44,7% au PLQ, 24,5% au PQ, 19,3% à la CAQ et 8,9% à Québec solidaire. On n'est donc pas très loin du compte, en moyenne, avec une légère surestimation du PQ, toutefois. Comme il y a une variation nettement plus forte des estimations pour le PLQ, on peut penser qu'il y aurait du travail à faire pour constituer des échantillons plus représentatifs. Le graphique donne également l'estimation du vote de l'ensemble des petits partis et le situe à 11%, ce qui est tout à fait dans la marge d'erreur.

Pour ce qui est de la région de Québec, les échantillons sont habituellement très petits et donc la variation des estimations est naturellement forte. Toutefois, on arrive à une très bonne prédiction moyenne, les résultats de l'élection ayant donné 39,2% au PLQ, 17,6% au PQ et 34,8% à la CAQ.  Les deux derniers sondages donnaient 36% à la CAQ dans cette région. L'estimation du vote PLQ allait de 35% (Léger) à 39% (Forum). Québec solidaire est surestimée. Ce parti a obtenu 5,6% des voix alors qu'il constitue la majeure partie du vote aux autres partis, estimé par les sondages à 10%. Il est possible toutefois qu'il y ait eu des mouvements de dernière minute.

Enfin, pour ce qui est du reste du Québec, les résultats sont de 37,9% pour le PLQ, 29,8% pour le PQ, 23,7% pour la CAQ et 6,6% pour Québec solidaire. Le graphique montre encore là une estimation moyenne qui est très bonne. On constate une légère surestimation du PQ et de Québec solidaire et une sous-estimation du PLQ et de la CAQ, comme c'est un peu la norme lorsque les sondages ont des biais (sous-estimation de la droite, surestimation de la gauche).

En conclusion,

La performance des sondages a été bonne en moyenne. Cela souligne l'intérêt qu'il y ait plusieurs sondages en même temps, utilisant des méthodologies différentes et que l'on analyse leurs estimations conjointement. Ainsi les biais des uns compensent ceux des autres et on obtient des estimations moyennes respectables. À titre d'illustration, alors que le dernier Léger donnait 12 points d'avance au PLQ, Forum lui en donnait 20. Les résultats -- 16 points de différence -- se situent presque à la moyenne entre les deux.

Enfin, cette campagne a été marquée par l'absence de sondages pendant 10 jours à la mi-campagne, entre les deux débats, au moment où il est possible que les intentions de vote étaient en train de changer. C'est une situation à éviter si on veut donner aux électeurs une image fidèle de ce qui se passe.

Dernière mise à jour c Forum

Bonjour,

Un dernier message pour mettre à jour l'évolution générale en incluant le dernier sondage Forum. Notons que le dernier jour de terrain dans les sondages publiés est le jeudi 3 avril sauf pour Angus Reid (terminé le 4 avril). Toutefois, Angus Reid n'est pas inclus dans le graphique parce qu'il n'a pas donné les informations de base nécessaires (nombre de répondants ayant révélé une intention de vote) pour que je puisse faire une répartition non proportionnelle des discrets. De plus, Angus Reid dit qu'il utilise un modèle de probabilité d'aller voter -- Likely voter model -- sans donner la moindre information sur la manière dont il s'y prend. Bref, il ne respecte pas les normes de la profession.

Voici donc le graphique avec une répartition non-proportionnelle des discrets. Cette répartition ne change à peu près rien aux résultats récents mais elle atténue les variations entre les firmes et entre le début et la fin de la campagne.

Avec l'addition du dernier Forum, on confirme la stabilité des intentions de vote pour le PLQ après le premier débat de même que la forte remontée de la CAQ et la baisse concurrente du PQ. Si on projetait ces courbes au jour du vote, on verrait la CAQ à égalité avec le PQ. Il y aurait également une baisse des intentions de vote pour QS, susceptible toutefois de se produire surtout hors de l'île de Montréal et là où les luttes sont serrées.

Au plaisir

Au final - trois Q&R et une prédiction

Bonjour,

Un aveu pour commencer. Autant j'étais à peu près certaine que les sondages sousestimaient le PLQ en 2012, autant je suis peu sûre de moi en ce moment. Trois questions dans ce message de blogue, sur l'évolution de la campagne, sur la participation et sur l'avenir.

Première question: Que s'est-il passé? Cette campagne ressemble beaucoup à celle de 2003, à une exception près, soit le plafonnement du PLQ et la remontée de la CAQ en fin de campagne. Notons que cette remontée se fait après que le vote anticipé a eu lieu pour près de 20% des électeurs. J'ai ajouté les événements de la campagne sur le graphique de l'évolution des intentions de vote, ce qui donne une meilleure idée de ce qui s'est passé. Les points représentent les sondages réalisés positionnés au milieu de la période pendant laquelle le sondage a été réalisé. J'ai fait une répartition non proportionnelle des discrets.

Quelques constatations:

• D'abord, la remontée du PLQ s'amorçait avant la sortie de PKP (première ligne verticale). En fait, on peut penser que le positionnement du PQ en avance sur le PLQ en février était conjoncturelle et ne relevait pas d'un mouvement de fond. 
• Ensuite, le plafonnement du PLQ s'amorce dès le premier débat (deuxième ligne verticale). Depuis, aucun nouveau gain mais aucune perte significative non plus.
• Enfin, la remontée de la CAQ s'amorce après le deuxième débat (troisième ligne verticale) et se fait essentiellement aux dépens du PQ.
• Québec solidaire est stable mais ceci cache probablement une meilleure performance dans les comtés où le parti a des chances de l'emporter, soit sur l'île de Montréal. Ces données ne sont pas disponibles, du moins pas avec suffisamment de fiabilité pour que l'on puisse les analyser.

Deuxième question: La participation avantage-t-elle un parti?

J'ai analysé les résultats des quatre dernières élections pour avoir une idée de la relation entre participation et vote. Vous pouvez trouver ma dernière analyse ici. En gros, j'avais montré que, dans l'éventualité d'une élection du PQ, les électeurs libéraux étaient mobilisés et votaient proportionnellement plus que dans les élections où ils étaient assurés que le PLQ prendrait le pouvoir. Ceci est lié au fait qu'une plus grande proportion d'entre eux résident dans des comtés acquis au PLQ et voient moins la nécessité d'aller voter lorsqu'ils sont certains que leur parti préféré sera élu.

Plusieurs éléments font penser que le taux de participation sera élevé. D'une part, le référendum est un enjeu mobilisateur pour les électeurs du PLQ et le débat sur la Charte a constitué un élément supplémentaire de motivation pour ces mêmes électeurs. D'autre part, la remontée de la CAQ fait que plusieurs comtés considérés comme acquis à un parti ne le sont plus et les partis mobiliseront donc davantage dans ces comtés. Par ailleurs, le vote par anticipation a battu des records, ce qui atteste normalement d'un intérêt à la campagne. Enfin, le fait que les media soulignent que la bataille est serrée devrait également être mobilisateur.

Mon hypothèse est que cela avantagera le PLQ pour les raisons mentionnées plus haut et que par conséquent, le PLQ sera sous-estimé par les sondages. C'est une hypothèse. :)

Troisième question: Les sondages peuvent-ils se tromper fortement comme en Alberta en 2012 et en Colombie-Britannique en 2013? Vous trouverez ici une présentation que j'ai faite concernant les sondages de l'élection canadienne de 2011, des élections d'Alberta et du Québec en 2012 ainsi que de l'élection de Colombie Britannique en 2013.  

Quatre observations:

• La première est que les sondages québécois ont déjà fait des erreurs mais jamais de l'ampleur de ce que nous avons vu dans les campagnes d'Alberta et de Colombie-Britannique. On parle de 17 points d'erreur au total en Alberta et 10 en Colombie-Britannique. La sous-estimation du PLQ au Québec donne au maximum une erreur totale de 4 à 6 points.
• La deuxième est que les sondages ne sous-estiment pratiquement jamais l'électorat à gauche. C'est également le cas généralement dans d'autres pays européens et aux États-Unis. L'exception à la règle est l'Alberta où la gauche a été sous-estimée mais dans ce cas, la gauche était... le parti Conservateur (comparé au Wild Rose). Et donc, au Québec, le PQ et Québec solidaire peuvent être surestimées, le PLQ et la CAQ, sous-estimés.
• La troisième est que dans les trois élections provinciales, il y avait un parti qui avait été longtemps au pouvoir (Libéraux au Québec et en Colombie-Britannique, Parti conservateur en Alberta) dont les électeurs étaient majoritairement insatisfaits et les sondages montraient une volonté de changement. Et dans les trois élections, c'est le parti au pouvoir depuis longtemps qui a été sous-estimé. Nous ne sommes pas dans cette situation actuellement.
• La dernière est que les sondages WEB se différencient habituellement par une plus forte surestimation de la gauche. Toutefois, cette situation ne s'est pas produite au Québec dans les élections fédérales de 2011 et québécoise de 2012.

L'inconnue est la possibilité réelle que les mouvements dans les intentions de vote se poursuivent. Toutefois, si c'est le cas, cela peut toucher seulement 80% des électeurs puisque près de 20% ont déjà voté. Donc, l'effet est atténué.

Bref, si on se fie à l'histoire, aux recherches et aux analyses empiriques, les sondages devraient être assez fiables. Ils peuvent sous-estimer certains partis mais ça devrait rester à l'intérieur de la marge d'erreur.

En conclusion, une prédiction

Ma meilleure prédiction est probablement celle que j'ai fait en début de campagne "Tout peut arriver", à laquelle je rajoute quand même "ou presque". Je viens de regarder les Coulisses du Pouvoir et j'ai constaté que mes prédictions sont tout à fait en ligne avec celles des analystes réputés :). Je peux peut-être prédire ce qui ne peut pas arriver, comme une remontée de Québec solidaire -- demeurée stable pendant toute la campagne.

Par contre, dans les deux élections québécoises où j'ai fait un sondage post-électoral (2007 et 2012), j'ai constaté un mouvement de fin de campagne vers le PQ. S'agit-il d'une tendance de certains électeurs de dire qu'ils ont voté pour le PQ même si ce n'est pas le cas? Difficile à dire. Toutefois, si ce mouvement est avéré, cela signifie que le PQ est encore plus surestimé que l'on croit par les sondages pré-électoraux. Au final, il est toujours possible que le PLQ soit sous-estimé mais cette fois-ci, il pourrait être accompagné de la CAQ étant donné les mouvements de fin de campagne.