Post-Mortem Ontario: Who's right?

Hi,

How did the pollsters fare in this election? There are a number of different ways to look at the situation. The first is to see whether the prediction that I made using all the polls' estimates was accurate.  Here is the graph with the election results:

 It is clear from this graph that the Liberals were globally well predicted by the polls but that, contrary to usual, the PC was overestimated and the NDP underestimated. This a rather rare situation. In the last federal election of 2011, the polls had underestimated the PC by more than 4 points in Ontario.

Who's right? 

There is a debate around methods and pollsters. Who fared better? There are known ways to deal with this. One is to calculate the difference between the results and the estimates from the polls. The relative error (results minus estimates) tells us whether a party tended to be over or underestimated by the polls. A positive result means that the party was underestimated by the polls. The absolute error infoorms on the level of the difference between the results and the estimates. The total absolute error gives the synthetic information on the global level of error. It is computed as the sum of the absolute error for the three main parties. I present the results grouped by method (IVR vs Web) for the polls conducted from June 5 in the table at the end of the message.

What the table and my analyses show is:

• IVR polls got the Liberals right (mean error of -0.34) but they overestimated the PC by 3.6 points and underestimated the NDP by 5.1 points on average.
• Web polls underestimated the Liberal party by 3.7 points on average and overestimated both the PC (2 points) and the NDP (2.3 points).
• The difference between the estimates of IVR polls and Web polls is significant for the Liberals and the NDP. We are still in a situation where Web polls tend to overestimate the NDP.
• As for the absolute difference, it is rather large -- between 2 and 5 points on average. There is no significant difference between the IVR and the WEB polls.
• If we look at the total absolute error, it is 10.8 points on average for the IVR polls and 9.6 for the WEB polls. Again, there is no significant difference between these two averages.

A total absolute error of 10.8 is rather high. It is however lower than what has been seen in BC2013 and Alberta 2012.

In conclusion,

The surprise with this election is the global underestimation of the NDP and the overestimation of the PC. I do not see how to explain this. The only expected bias, i.e. an overestimation of the NDP vote and an underestimation of the PC vote by the WEB surveys indeed happened. The huge underestimation for the NDP vote by the IVR polls will have to be analyzed by the pollsters. In addition, the "likely voter models" did not seem to perform adequately. It is good that pollsters who used these models indeed published also their figures for eligible voters. Analyst and voters could see that polls allowed for different estimates according to different hypotheses about who is participating in the election. However, the likely voter models do not seem to be "the solution" to bias in polls' estimates. Pollsters who use IVR should perhaps think about introducing cell phone numbers in their samples and see whether it improves their estimates.

The final point to notice -- it has been noticed by many analysts -- is the substantial variation between estimates. This means that the methods right now are not at the level of reliability that we would like to see them.

Error of the polls - 2014 Ontario Election
Method	Pollster	mid-date of field period	error LIB	error PC	error NPD	Abs. error LIB	Abs. error PC	Abs. error NDP	Total absolute error
IVR	Forum	06-JUN-2014	-0.3	-5.8	6.7	0.3	5.8	6.7	12.8
	Ekos	07-JUN-2014	2.8	-4.7	6.1	2.8	4.7	6.1	13.6
	Forum	10-JUN-2014	-3.3	-3.8	4.7	3.3	3.8	4.7	11.8
	Ekos	11-JUN-2014	1.4	-0.1	4.5	1.4	0.1	4.5	6.0
	Forum	11-JUN-2014	-2.3	-3.8	3.7	2.3	3.8	3.7	9.8
	Mean		-0.34	-3.64	5.14	2.02	3.64	5.14	10.80
	Median		-0.30	-3.80	4.70	2.30	3.80	4.70	11.80
	Std. error of mean		1.13	0.96	0.55	0.53	0.96	0.55	1.36
WEB	Ipsos	05-JUN-2014	3.7	-3.8	-2.3	3.7	3.8	2.3	9.8
	Abacus	06-JUN-2014	4.7	0.2	-4.3	4.7	0.2	4.3	9.2
	Angus Reid	09-JUN-2014	2.7	-0.8	-2.3	2.7	0.8	2.3	5.8
	Ipsos	09-JUN-2014	5.7	0.2	-6.3	5.7	0.2	6.3	12.2
	Leger	09-JUN-2014	1.7	-5.8	3.7	1.7	5.8	3.7	11.2
	Mean		3.70	-2.00	-2.30	3.70	2.16	3.78	9.64
	Median		3.70	-0.80	-2.30	3.70	0.80	3.70	9.80
	Std. error of mean		0.71	1.20	1.67	0.71	1.13	0.74	1.09
Total
	Mean		1.68	-2.82	1.42	2.86	2.9	4.46	10.22
	Median		2.20	-3.80	3.70	2.75	3.80	4.40	10.50
	Std. error of mean		0.92	0.77	1.49	0.50	0.74	0.49	0.84

Pendant ce temps, en Ontario

Bonjour,

Je ai suivi les sondages en Ontario entre autres pour voir si la même méthode que j'ai utilisée pour l'élection québécoise de 2014 pouvait donner de bons résultats. De plus, comme j'ai analysé les sondages de la campagne de l'Alberta en 2012 et celle de la Colombie Britannique en 2013, je me suis intéressée à la comparaison entre les campagnes.

Mes remerciements à Bryan Breguet (Too close to call) qui m'a fourni les informations qu'il avait récoltées et avec qui j'ai pu échanger pendant la campagne.

Voici ce que donne l'évolution des intentions de vote:

Les derniers sondages tendent à montrer une remontée du parti Libéral qui le situerait aux alentours de 37,5% des voix alors que le PC serait plutôt à 34% environ. La tendance serait également à une baisse des intentions de vote pour le NPD qui se situerait à un peu plus de 20%. Toutefois, ces évolutions ne sont pas significatives. En clair, les trois lignes pourraient être simplement des lignes droites et il  ne reste plus de temps pour voir la suite. Ce sera donc l'élection qui dira si la tendance est réelle.

Quelle fiabilité accorder à ces résultats? On a en mémoire les "catastrophes" de l'Alberta en 2012 et de la Colombie-Britannique en 2013 de même que la sous-estimation du PLQ au Québec en 2012. Ces élections ont en commun de s'être déroulées dans des circonstances où il y avait un parti qui était au pouvoir depuis longtemps, une certaine insatisfaction par rapport à ce parti et une volonté de changement. Par contre, l'alternative au parti au pouvoir était loin de faire l'unanimité. Il me semble que la situation est similaire en Ontario et les conséquences peuvent également être similaires, soit que le parti au pouvoir fait finalement mieux que prévu.

Du côté des sondages, mes analyses montrent qu'en Ontario, tout comme pour l'élection de Colombie Britannique en 2013, les sondages Web surestiment le NPD au détriment du parti Libéral si on les comparent aux sondages fait par téléphone. De plus, lorsque les sondages se trompent, ils le font à peu près toujours dans la même direction: ils sousestiment le parti le plus à droite, ici le PC, et surestiment le parti le plus à gauche, soit le NPD. Enfin, les partis qui n'ont pas de chances de prendre le pouvoir, dans ce cas-ci le NPD et les Verts, sont généralement surestimés. Ceci semble dû en partie au fait que les électeurs de ces partis sont moins enclins à aller voter.

En conclusion, si les sondages se trompent, le NPD est le plus susceptible d'être surestimé et le PC, le plus susceptible d'être sousestimé. Les Libéraux pourraient également être un peu sousestimés. Je n'ai malheureusement pas pour l'Ontario un historique de la performance des sondages qui me permettrait de corriger les estimations en conséquence.

Au plaisir

Générations, souveraineté, Parti Québécois,

Bonjour,

Dans La Presse aujourd'hui, un article de Katia Gagnon  Souveraineté du Québec: le projet de deux générations basé entre autres sur une analyse que j'ai faite de 125 sondages réalisés par CROP depuis 1976, disponibles entre autres sur CORA (Archives canadiennes des sondages d'opinion publique).

Comme tous les graphiques ne sont pas disponibles dans La Presse "ordinaire" ou sur Cyberpresse, je les mets à la suite.

Pourquoi dire qu'il s'agit du projet de deux générations? Parce que, en 1980, seuls les moins de 35 ans sont plus souverainistes que les autres groupes d'âge. En 1995, malgré que le Parti Québécois avait "abandonné" la souveraineté au profit du beau risque et de l'affirmation nationale pendant quelques années avant le retour de Jacques Parizeau, deux groupes d'âge deviennent "porteurs" de la souveraineté. D'une part, les moins de 35 ans de 1980 -- devenus les 35-54 ans -- qui sont demeurés souverainistes dans une large proportion ou qui le sont redevenus à la faveur de la campagne référendaire. D'autre part, les nouveaux jeunes, les moins de 35 ans de 1995, qui eux aussi sont convaincus par la campagne de 1995. Il s'agit donc de deux générations, ceux qui sont nés entre 1945 et 1962 -- les baby-boomers -- et ceux qui sont nés entre 1962 et 1977. On peut voir les graphiques sur l'appui à la souveraineté selon l'âge plus précisément entre 1995 et 2000 ici.

Les graphiques montrent que les générations suivantes n'ont pas pris le bateau. Est-ce qu'elles auraient pu le prendre à la faveur d'une campagne référendaire? Il s'agit d'une question hypothétique et deux hypothèses peuvent être posées. Certains postulent que "les jeunes d'aujourd'hui sont rendus ailleurs" et donc que, quels que soient les arguments amenés lors d'une campagne référendaire, ils ne seront pas convaincus. D'autres postulent que les jeunes sont plus "mobiles" politiquement et peuvent être convaincus à la faveur d'une campagne référendaire. C'est ce qui s'est passé pendant la campagne de 1995 au Québec. Je tenterai de tester ces hypothèses dans le cadre du référendum sur l'indépendance de l'Écosse.

Évolution de l'appui à la souveraineté 1977-2014:

Évolution de l'appui à la souveraineté 1996-2014 (Zoom du graphique précédent).

Évolution de l'appui à l'intention de vote pour le Parti Québécois 1977-2014:

Évolution de l'appui à l'intention de vote pour le Parti Québécois 1996-2014 (Zoom du graphique précédent: