Canada2015: Le lendemain/ the day after

Bonjour,

Je commence ce message en offrant mes excuses à ceux à qui j'ai fait peur en parlant d'une possible sous-estimation des Conservateurs. Il n'y a pas eu de sous-estimation des Conservateurs au total. Il reste à tenter de comprendre pourquoi il n'y en a pas eu cette fois-ci. L'explication se trouve partiellement dans le fait que le Parti Conservateur a été de fait sous-estimé à certains endroits, dont l'Ontario et l'Alberta, mais qu'il a été surestimé ailleurs, entre autres au Québec.


Les prochains graphiques présentent simplement les dernières courbes qui incluent les sondages EKOS et FORUM publiés en fin de soirée dimanche. Pour chacun, les résultats de l'élection sont indiqués, ce qui permet de voir jusqu'à quel point l'appui à chaque parti a été bien estimé par les sondages.
Je ferai un court message bientôt sur la performance des sondages en fonction du mode d'administration utilisé.

Hi,
I start this message  with apologies to all those who were stressed because I alluded to a possible -- and even probable -- underestimation of the Conservative party in my last post before the election. No underestimation of the Conservatives this time. I still have to figure out why.Part of the explanation comes from the fact that while the Conservative Party was indeed underestimated in some regions -- Ontario and Alberta, namely -- it was overestimated elsewhere, particularly in Quebec. 
  
The following graphs give an idea of the performance of the polls. It includes two polls, from EKOS and FORUM, published late on Sunday night (they were not included in my last post before the election). Election results are included in each graph so that we can compare them with the polls. English Translation is in red, after each graph.
I will have a final message soon on the performance of the different methods.

  
La performance des sondages

Pour ce qui est du Canada dans l'ensemble, les analyses des sondages donnent une très bonne estimation des résultats de l'élection. On note une minime sous-estimation du PLC aux dépens du NPD mais il faut reconnaître que les derniers sondages pointaient vers cette possibilité.

In Canada as a whole, the forecast is rather good as one can easily see. There is a thin underestimation of the LPC -- and overestimation of the NDP -- but the last FORUM tends to show that there were still movement towards the LPC on Sunday.
 

Pour ce qui est de l'Ontario, la prédiction est parfaite pour le PLC. On note une sous-estimation du Parti Conservateur de près de deux points et une surestimation du même ordre pour le NPD.

In Ontario, the forecast for the LPC is perfect. There is a two points underestimation of the Conservative Party and an overestimation at a similar level for the NDP.

Le Québec est un cas différent. Il est clair que le PLC a été sous-estimé globalement par les sondages. On ne peut toutefois écarter la possibilité de mouvements de dernière minute, puisque le dernier Forum donnait exactement 35% au PLC, un résultat  très proche du résultat final. Toutefois, les sondages ont bien prédit le 25% obtenu par le NPD alors que Forum lui donnait 21%. Enfin, les sondages ont bien prédit l'appui au Bloc (20%) mais ils ont surestimé l'appui au Parti Conservateur de trois points.

Quebec is a different case altogether. It is clear that, overall, the LPC has been underestimated by at least five points by the polls. FORUM did well in forecasting a 35% support for the LPC. Both the NDP and the Bloc have been correctly estimated. FORUM however, underestimated the final score of the NDP by giving it 21%. Finally, the Conservative Party has been overestimated by three points.


En Colombie Britannique, s'il y a eu des mouvements de dernière minute, ce serait plutôt entre le parti Vert et le Parti Libéral. En effet, l'appui au parti Vert est surestimé d'environ deux points à l'inverse de l'appui au Parti Libéral, projeté à 33% alors qu'il a obtenu 35%. Les appuis aux deux autres partis sont prédits parfaitement.

In British Columbia, if there were last minute moves, they occurred between the Green Party and the Liberal Party. This latter is underestimated by two points and the Greens are overestimated by the same amount.

Chose surprenante, l'appui au parti Conservateur a été sous-estimé de près de cinq points en Alberta. Il atteint 59,5% alors qu'il était estimé à 55%. A l'inverse, tant l'appui au PLC que l'appui au NPD ont été surestimés de deux à trois points.

It is surprising to observe that the Conservative Party has been underestimated by close to five points in Alberta. Consequently, the support for both the LPC and the NDP is overestimated by two to three points.

Dans les Prairies, peu de choses à dire sinon que la prédiction obtenue à partir des sondages publiés est parfaite.

In the Prairies, the forecast of the election results is perfect.

Dans les provinces Atlantiques finalement, le Parti Libéral est un peu sous-estimé et le NPD, un peu surestimé. Toutefois, les derniers sondages montrent que cela peut provenir de mouvements de dernière minute.

Finally, in the Atlantic provinces, there is a very small underestimation of the LPC  and overestimation of the NDP. However, the last polls show that there were last minute trends that can explain this situation.


En conclusion
J'ai eu peur que la méthodologie que j'utilisais ne soit pas adequate pour détecter des plafonnements de dernière minute. Ça n'a pas été le cas. La méthodologie, très simple et facile à produire, donne des résultats tout à fait fiables à partir des estimations faites par les sondeurs.

Je me suis demandé s'il était justifié de postuler que les biais des divers sondages, et particulièrement des divers modes d'administration, allaient s'équilibrer pour donner un portrait juste. Encore là, pari tenu. Est-ce que ce serait la même chose s'il n'y avait pas une répartition assez équilibré des sondages selon les modes? À voir dans une prochaine élection.

Comme d'autres chercheurs, je me suis basée sur l'ensemble des sondages en faisant bien attention de ne pas me mettre l'accent sur un sondage en particulier. Il s'agit d'une pratique essentielle, particulièrement lorsque l'on regarde les estimations des sondages faites au niveau provincial ou régional. Les variations d'un sondage à l'autre sont très importantes, comme je l'ai montré dans mes messages précédents.

Conclusion:
I was afraid that the method of analysis that I used -- local regression smoothing -- would not perform well if a plateau seems to be reached during the last days. In fact, the method performed well all the way. Good news since it is very easy and simple to perform. 

I asked myself whether it was justified to suppose that the bias of each poll and each mode of administration would cancel each other out. It worked fine. Would it be the same if there weren't a similar share of the different modes? We will see next time.

Like the other researchers, I based my estimates on all the polls and I was careful not to focus on one poll in particular. I think it is essential to do that, particularly when we look at poll estumates at the provincial or regional level. Given the samples, these estimates vary much, a problem that I pointed out in previous posts.


Remerciements: Je tiens à remercier Luis Pena Ibarra, mon assistant de recherche, pour son travail assidu, méticuleux et compétent tout le long de la campagne. Ces travaux ont été menés grâce à la subvention du CRSH no 430-2015-01208 "Pour une analyse historique des données d'enquête".

Aknowledgements: I wish to thank Luis Pena Ibarra, my research assistant, for his diligent, meticulous and competent work during all the campaign. This work benefitted from the SSHRC grant 430-2015-01208 "For an historical analysis of survey data".