Canada 2015: Bilan: Ah les modes/ It's all about modes

Bonjour,
Hi,  (see english text in red)

Dans ce dernier message de la campagne 2015, je regarde si certains modes d'administration ont fait mieux que d'autres selon les contextes et les partis en cause.

Si les estimations produites par une méthode sont trop variables, il est plus difficile de se fier à chaque sondage publié. Il s'agit d'un biais aléatoire ce qui veut dire qu'on n'est pas certain d'une fois à l'autre de la qualité de l'estimation. Si les estimations faites par un mode donnent toujours un parti politique plus haut ou plus bas que les autres, il s'agit d'un biais systématique. Dans ce cas, il faut corriger à chaque sondage les estimations qui sont produites.

In this last message of the Canada 2015 campaign, I examine whether different modes of administration performed better than others. 
If the estimates produced by a particulat method vary too much, then it is difficult to rely on each poll. It is a random bias, which means that we are not sure of the quality of each estimate. If estimates produced by a particular mode always give a higher or lower number for a given party than other modes, it is a systematic bias. In that case, we have to adjust each estimate to take this into account.

Est-ce que certaines méthodes produisent des estimations plus variables ou différentes?

Je postule que les divers modes d'administration se sont distribués de la même manière tout au long de la campagne. Par ailleurs, il faut noter que, pour ce qui est des sondages téléphoniques, ils sont presque tous faits par une seule firme, Nanos, qui utilise une méthodologie particulière. Donc, il peut être "normal" que ses estimations soient moins variables étant donné l'absence de variation dans la méthodologie.
I suppose that the polls are distributed in the same way over the campaign, whatever the mode. I have to stress that most of the telephone polls are conducted by only one pollster Nanos, with a specific and constant methodology, which may explain at least partly why the estimates from telephone polls vary less.

Voici la situation pour le Canada:

Comme le montre le tableau suivant, il n'y a pas de différences de moyenne importantes selon les modes d'administration.

La principale différence réside dans le fait que les sondages de type IVR (téléphonique automatisé) donnent des estimations plus variables que les deux autres modes -- ce qui est illustré par la variance -- et ceci pour tous les partis politiques.

As shown in the preceding table, the different modes do not differ in their average estimates. However, they differ much according to variation. As is illustrated by the variance, the estimates produced by IVR polls vary systematically more than those produced by the two other modes. 

Le graphique suivant, appelé boîte à moustache, présente pour chaque méthode, la variation entre les estimations pour chaque parti. La boîte elle-même représente 50% des estimations qui ont été faites. Plus elle est haute, plus les estimations ont varié. La ligne noire au milieu de chaque boîte donne la médiane et permet de constater qu'il y a des différences sur ce plan entre les modes d'administration. Le graphique permet de constater que, pour les sondages IVR, les boîtes sont plus importantes  que pour les autres modes, ce qui signifie que les estimations varient plus. D'autre part, la médiane des sondages IVR est moins élevée pour le NPD et le Parti Libéral que pour les autres modes, ce qui signifie que ces sondages ont produit plus d'estimés inférieurs aux autres..

The box-and whiskers plot illustrated the variation between estimates. Each box representes 50% of the estimates. The black line in the middle of the boxes show the median, i.e., the point where 50% of the estimates are higher and 50% lower. The graph illustrates that, the IVR polls produced estimates that were more variable for the Liberal Party and the NDP than the other modes. It also shows that, since the median for those party is also lower, the IVR polls produced more estimates that were lower.

D'où viennent les différences entre les modes? Sont-elles les mêmes partout?
Where do the differences come from? Are they similar everywhere?

Pour répondre à cette question, j'ai examiné les mêmes données pour les deux plus grandes provinces, soit l'Ontario et le Québec.

L'Ontario

L'Ontario d'abord. Comme le montre le tableau suivant, la différence entre les modes est encore plus importante en Ontario que pour l'ensemble du Canada. On s'attend à plus de variation puisque les échantillons sont plus petits. Mais, en général les échantillons IVR sont plus importants que les échantillons téléphoniques classiques et donc ils devraient présenter moins de variation. Ce n'est pas le cas. La variance est nettement plus élevée pour les sondages IVR quelque soit le parti et encore plus pour le NPD.

Il y a également des différences de moyenne et donc des biais systématiques. Les sondages téléphoniques ont eu tendance à donner un plus fort appui pour le parti Conservateur. Comme celui-ci a été sous-estimé de deux points en Ontario, ils ont donc donné un portrait plus adéquat de la situation. Pour ce qui est du PLC, la différence entre les modes n'est pas suffisamment importante pour s'y attarder. Pour ce qui est du NPD, les sondages WEB ont contribué à la surestimation de son appui, lui donnant trois points de plus que les sondages téléphoniques.




As shown in the preceding table, the main difference according to modes of administration in Ontario is the variability of IVR polls. This happens in spite of the fact that the samples are generally larger than those of telephone polls. And it is present for all parties and even more for the NDP.

There are also differences in mean estimation. Telephone polls gave higher estimates for the Conservatives and therefore, since the Conservatives were underesetimated in Ontario, they were better in estimating that party. On the opposite, WEB polls tended to estimate the support for the NDP higher than the other modes and contributed to the bias in favor of that party.

Le graphique suivant illustre la situation. On peut aisément noter que la mediane des sondages IVR était moins élevée pour le parti Libéral et que la médiane des sondages WEB était plus élevée pour le NPD et celle des sondages téléphoniques moins élevée.

The preceding graph illustrates the difference between modes. In particular, it shows that the median of the estimates of IVR polls was clearly lower for le Liberal Party. It also shows that WEB polls tended to have a higher median for the NDP.

Et le Québec?

De façon surprenante, au Québec, on ne retrouve pas les mêmes problèmes qu'en Ontario. comme le montre le tableau suivant, la différence de variance selon les modes d'administration est minime, sauf pour le parti Libéral.

Par contre, les différences de moyennes sont plus importantes. Les sondages IVR donnent près de cinq points de plus au parti Conservateur et ont donc contribué à sa surestimation générale. Les sondages téléphoniques ont eu tendance à estimer l'appui au Parti Libéral plus élevé alors qu'il a été sous-estimé. Ils ont donc mieux estimé l'appui à ce parti.  Par contre, ils ont eu tendance à surestimer l'appui au NPD. Enfin, les sondages WEB comportaient un biais systématique d'environ trois points en faveur du Bloc Québecois et ont donc contribué à sa surestimation.




It is surprising to see that the problems are not the same in Quebec. There is not much difference according to  mode in the variance of the different estimates, except for the Liberal party. 

However, there is a somewhat substantial difference in averages. The IVR polls give as much as five points more to the Conservative party therefore contributing to the overestimation of this party in Quebec. On the opposite, telephone polls performed better in their estimation of the Liberal party, which was overall underestimated. However, they tended to underestimate the support for the NDP. Finally, WEB polls systematically overestimated the support for Bloc Québécois, by as much as three points and therefore contributed to the bias in favor of this party.

Finalement, les constatations faites plus haut se reflètent dans le graphique suivant. On y constate l'absence de différences notables dans la variation des estimations en fonction des modes. Par contre, les médianes se différencient comme les moyennes. La médiane pour les Conservateurs est plus élevée pour les sondages IVR, celle des Libéraux et du NPD, plus élevée pour les sondages téléphoniques, et enfin, celle du Bloc Québécois, plus élevée pour les sondages WEB.

As the preceding graph illustrates, there is not much differences in variance according to mode. However, the median for the Conservatives is higher for IVR polls, the median for both the Liberals and NDP is higher for telephone polls and finally, the median for WEB polls is higher for the Bloc Québecois.

Que conclure? Comment expliquer? Comment corriger?

En résumé, les sondages se sont différenciés tant pour ce qui est de la variation des estimés que pour l'estimation du niveau d'appui. Les différences dans la variation toutefois sont surtout dues à la situation en Ontario alors que les différences dans l'estimation du niveau d'appui sont présentes tant au Québec qu'en Ontario.

Comme les sondages IVR donnent des résultats plus variables en Ontario qu'au Québec, on peut émettre l'hypothèse que la cause réside peut-être dans la manière de constituer les échantillons. Est-ce que les sondeurs mettent la même proportion de numéros de cellulaire dans les deux provinces? Les résultats sont-ils plus variables dans les échantillons rejoints par téléphone cellulaire? Ce sont des questions auxquelles les sondeurs utilisant cette méthode doivent s'attaquer. Par ailleurs, un sondeur a combiné deux modes - IVR et téléphonique classique mais il l'a fait seulement à la fin de la campagne tout en modifiant d'autres aspects de sa méthodologie (utilisant de moyennes mobiles sur trois jours). Il est difficile de savoir si ces modifications ont amélioré la performance.

Pour ce qui est des sondages WEB, le problème réside surtout dans un biais systématique, en faveur du NPD en Ontario et du Bloc au Québec. Il est possible que la progression de l'accès au WEB réduise ce biais mais, encore ici, il serait approprié pour les sondeurs de tenter de voir d'où viennent ces biais pour pouvoir éventuellement les corriger.

Au plaisir, à la prochaine élection

In summary, polls differed according to mode both in variance and in estimates of the level of support for each party. The differences in variances come mainly from Ontario while the differences in average and median estimates are present in both provinces.

Since IVR polls have more variable results in Ontario than in Quebec, one may hypothesize that the cause is to be found in the way samples are set up. Is there the same proportion of cell phones in the samples in the two provinces? Are there differences between respondents joined by cell phone and by landline? Those are questions for the pollsters. One pollster combined IVR and classical telephone modes but it changed other features of its methodology at the same time and used this combination only at the end. Therefore, we cannot evaluate if it improved the estimates.

As for WEB polls, the problem is mostly one of systematic bias in favor of NDP in Ontario and Bloc in Quebec. It is possible that the progression of WEB access will eventually reduce this bias but, it would nonetheless be appropriate for pollsters to try to tackle the origin of the bias in order to adjust what needs to be adjusted.

Best, see you next election!

Remerciements: Je tiens à remercier Luis Pena Ibarra, mon assistant de recherche, pour son travail assidu, méticuleux et compétent tout le long de la campagne. Ces travaux ont été menés grâce à la subvention du CRSH no 430-2015-01208 "Pour une analyse historique des données d'enquête".

Aknowledgements: I wish to thank Luis Pena Ibarra, my research assistant, for his diligent, meticulous and competent work during all the campaign. This work benefitted from the SSHRC grant 430-2015-01208 "For an historical analysis of survey data". 

Canada2015: Le lendemain/ the day after

Bonjour,

Je commence ce message en offrant mes excuses à ceux à qui j'ai fait peur en parlant d'une possible sous-estimation des Conservateurs. Il n'y a pas eu de sous-estimation des Conservateurs au total. Il reste à tenter de comprendre pourquoi il n'y en a pas eu cette fois-ci. L'explication se trouve partiellement dans le fait que le Parti Conservateur a été de fait sous-estimé à certains endroits, dont l'Ontario et l'Alberta, mais qu'il a été surestimé ailleurs, entre autres au Québec.


Les prochains graphiques présentent simplement les dernières courbes qui incluent les sondages EKOS et FORUM publiés en fin de soirée dimanche. Pour chacun, les résultats de l'élection sont indiqués, ce qui permet de voir jusqu'à quel point l'appui à chaque parti a été bien estimé par les sondages.
Je ferai un court message bientôt sur la performance des sondages en fonction du mode d'administration utilisé.

Hi,
I start this message  with apologies to all those who were stressed because I alluded to a possible -- and even probable -- underestimation of the Conservative party in my last post before the election. No underestimation of the Conservatives this time. I still have to figure out why.Part of the explanation comes from the fact that while the Conservative Party was indeed underestimated in some regions -- Ontario and Alberta, namely -- it was overestimated elsewhere, particularly in Quebec. 
  
The following graphs give an idea of the performance of the polls. It includes two polls, from EKOS and FORUM, published late on Sunday night (they were not included in my last post before the election). Election results are included in each graph so that we can compare them with the polls. English Translation is in red, after each graph.
I will have a final message soon on the performance of the different methods.

  
La performance des sondages

Pour ce qui est du Canada dans l'ensemble, les analyses des sondages donnent une très bonne estimation des résultats de l'élection. On note une minime sous-estimation du PLC aux dépens du NPD mais il faut reconnaître que les derniers sondages pointaient vers cette possibilité.

In Canada as a whole, the forecast is rather good as one can easily see. There is a thin underestimation of the LPC -- and overestimation of the NDP -- but the last FORUM tends to show that there were still movement towards the LPC on Sunday.
 

Pour ce qui est de l'Ontario, la prédiction est parfaite pour le PLC. On note une sous-estimation du Parti Conservateur de près de deux points et une surestimation du même ordre pour le NPD.

In Ontario, the forecast for the LPC is perfect. There is a two points underestimation of the Conservative Party and an overestimation at a similar level for the NDP.

Le Québec est un cas différent. Il est clair que le PLC a été sous-estimé globalement par les sondages. On ne peut toutefois écarter la possibilité de mouvements de dernière minute, puisque le dernier Forum donnait exactement 35% au PLC, un résultat  très proche du résultat final. Toutefois, les sondages ont bien prédit le 25% obtenu par le NPD alors que Forum lui donnait 21%. Enfin, les sondages ont bien prédit l'appui au Bloc (20%) mais ils ont surestimé l'appui au Parti Conservateur de trois points.

Quebec is a different case altogether. It is clear that, overall, the LPC has been underestimated by at least five points by the polls. FORUM did well in forecasting a 35% support for the LPC. Both the NDP and the Bloc have been correctly estimated. FORUM however, underestimated the final score of the NDP by giving it 21%. Finally, the Conservative Party has been overestimated by three points.


En Colombie Britannique, s'il y a eu des mouvements de dernière minute, ce serait plutôt entre le parti Vert et le Parti Libéral. En effet, l'appui au parti Vert est surestimé d'environ deux points à l'inverse de l'appui au Parti Libéral, projeté à 33% alors qu'il a obtenu 35%. Les appuis aux deux autres partis sont prédits parfaitement.

In British Columbia, if there were last minute moves, they occurred between the Green Party and the Liberal Party. This latter is underestimated by two points and the Greens are overestimated by the same amount.

Chose surprenante, l'appui au parti Conservateur a été sous-estimé de près de cinq points en Alberta. Il atteint 59,5% alors qu'il était estimé à 55%. A l'inverse, tant l'appui au PLC que l'appui au NPD ont été surestimés de deux à trois points.

It is surprising to observe that the Conservative Party has been underestimated by close to five points in Alberta. Consequently, the support for both the LPC and the NDP is overestimated by two to three points.

Dans les Prairies, peu de choses à dire sinon que la prédiction obtenue à partir des sondages publiés est parfaite.

In the Prairies, the forecast of the election results is perfect.

Dans les provinces Atlantiques finalement, le Parti Libéral est un peu sous-estimé et le NPD, un peu surestimé. Toutefois, les derniers sondages montrent que cela peut provenir de mouvements de dernière minute.

Finally, in the Atlantic provinces, there is a very small underestimation of the LPC  and overestimation of the NDP. However, the last polls show that there were last minute trends that can explain this situation.


En conclusion
J'ai eu peur que la méthodologie que j'utilisais ne soit pas adequate pour détecter des plafonnements de dernière minute. Ça n'a pas été le cas. La méthodologie, très simple et facile à produire, donne des résultats tout à fait fiables à partir des estimations faites par les sondeurs.

Je me suis demandé s'il était justifié de postuler que les biais des divers sondages, et particulièrement des divers modes d'administration, allaient s'équilibrer pour donner un portrait juste. Encore là, pari tenu. Est-ce que ce serait la même chose s'il n'y avait pas une répartition assez équilibré des sondages selon les modes? À voir dans une prochaine élection.

Comme d'autres chercheurs, je me suis basée sur l'ensemble des sondages en faisant bien attention de ne pas me mettre l'accent sur un sondage en particulier. Il s'agit d'une pratique essentielle, particulièrement lorsque l'on regarde les estimations des sondages faites au niveau provincial ou régional. Les variations d'un sondage à l'autre sont très importantes, comme je l'ai montré dans mes messages précédents.

Conclusion:
I was afraid that the method of analysis that I used -- local regression smoothing -- would not perform well if a plateau seems to be reached during the last days. In fact, the method performed well all the way. Good news since it is very easy and simple to perform. 

I asked myself whether it was justified to suppose that the bias of each poll and each mode of administration would cancel each other out. It worked fine. Would it be the same if there weren't a similar share of the different modes? We will see next time.

Like the other researchers, I based my estimates on all the polls and I was careful not to focus on one poll in particular. I think it is essential to do that, particularly when we look at poll estumates at the provincial or regional level. Given the samples, these estimates vary much, a problem that I pointed out in previous posts.


Remerciements: Je tiens à remercier Luis Pena Ibarra, mon assistant de recherche, pour son travail assidu, méticuleux et compétent tout le long de la campagne. Ces travaux ont été menés grâce à la subvention du CRSH no 430-2015-01208 "Pour une analyse historique des données d'enquête".

Aknowledgements: I wish to thank Luis Pena Ibarra, my research assistant, for his diligent, meticulous and competent work during all the campaign. This work benefitted from the SSHRC grant 430-2015-01208 "For an historical analysis of survey data". 

Canada 2015: Juste avant / The day before

Bonjour, Hi,


For English readers, this time, I have inserted an English text after each paragraph and graph, in red.

Dans ce dernier message, tous les sondages publié en date de dimanche soir sont inclus. De plus, je vais faire un "focus spécial" sur le Canada dans son ensemble et l'Ontario en particulier pour examiner ce qui se passerait si le Parti Conservateur était sous-estimé au même niveau qu'il l'a été en 2011.

For this last post before the election, I have added all the polls published until Sunday night. I focus on Canada as a whole and Ontario to examine what would happen if the underestimation of the Conservative party that was noticed in previous federal elections is present this time also.

Le Canada

Comme l'illustre le graphique, les Libéraux (PLC) ont pris les devants selon tous les derniers sondages. Il est clair que les appuis au parti Conservateur ont plafonné depuis au moins trois semaines. Il est moins clair toutefois que les appuis au PLC continuent à monter et ceux du NPD à descendre. Il suffit de modifier certains paramètres ou d'utiliser une autre méthode d'analyse pour conclure plutôt à une stabilisation des appuis au PLC et au NPD au cours des derniers jours.

The graph shows that the Liberal Party (LPC) has taken the lead, that the Conservatives' support has stabilitzed during the last three weeks and that the NDP is third. What is not clear is whether the LPC is still going up (and the NDP going down). When I modify some parameters -- or with different types of analyses used by other researchers -- the situation is more likely a stabilization of support for both parties during the last few days.
 
Et si les Conservateurs étaient sous-estimés 

Le parti Conservateur a été sous-estimé de plus de trois points -- et même près de quatre points -- par les sondages lors des deux dernières élections fédérales. Qu'arrive-t-il si on fait l'hypothèse "conservatrice" d'une sous-estimation de l'appui au parti Conservateur de trois points pour l'ensemble du Canada pour la présente élection? Dans le graphique suivant, j'ai accordé trois points de plus au PCC, 1,25 points de moins au PLC et au NPD et 0,5 points de moins au parti Vert. Le portrait du niveau d'appui aux divers partis amènent à conclure que le PCC et le PLC sont pratiquement à égalité. 

Since the Conservatives have been underestimated by the polls in the last two federal elections, I added 3 points to that party's support and I withdraw those points from the other parties. The portrait is quite different. The LPC and CPC are at par.



L'Ontario

Le graphique suivant montre l'évolution des intentions de vote en Ontario. Dans cette province, le PCC serait même légèrement en baisse. Le PLC a retiré des appuis tant au PCC qu'au NPD mais les appuis à ce dernier parti semblent s'être stabilisés récemment. Les estimations donneraient près de 45% au PLC, 33% au PCC et 20% au NPD.

The graph shows the likely change that happened in Ontario during the campaign.  It is rather clear that the Liberal Party has taken from both the CPC and the NDP and is now clearly leading. If you look at the different points -- that show the estimates from the different polls -- the situation is more likely one in which support for the Liberals and the NDP have stabilized in the recent days.

Et si les Conservateurs étaient sous-estimés 

Comme les sondages avaient sous-estimé l'appui au PCC de quatre points en Ontario en 2011, j'ai fait pour cette province une estimation conservatrice de ce qui arriverait si la même situation se produisait à cette élection-ci. J'ai accordé 3,5 points de plus au parti Conservateur, 1,5 points de moins chacun au PLC et au NPD et 0,5 points de moins au Parti Vert. Le graphique montre que le PCC était probablement légèrement en avance pendant la majeure partie de la campagne. Il montre également que le PLC est en avance en ce moment mais que la marge est moins importante.

This graph shows what has been the likely change over time in Ontario and what is the possible current situation if, as in preceding federal elections, the Conservative party is underestimated. I added 3.5 points to the Conservatives and withdraw them from the LPC, NDP (1.5 points each) and the Green Party (0.5 point). The Liberal Party is still ahead but it is recent. For most of the campaign, the CPC was ahead of the two other parties.

Le Québec

Le graphique pour le Québec montre deux regroupements de partis. D'une part, plusieurs sondages montrent une remontée du PLC qui amène ce parti pratiquement à égalité avec le NPD entre 25% et 30%. D'autre part, la remontée du PCC et du Bloc a plafonné depuis la troisième semaine de septembre, ce qui amène les deux partis à 20%. Notons les écarts très importants dans les évaluations des appuis, particulièrement pour ces deux partis, soit entre 13-14% et 27% dans les deux cas. Les estimations pour le PLC et le NPD varient entre 24% et 32%. Au Québec également, il n'est pas certain que la montée du PLC s'est poursuivie au cours des derniers jours. En 2011, les sondages avaient en gros prédit le résultat de l'élection, sans biais, selon les analyses de séries temporelles que j'avais faites à ce moment-là.

In Quebec, there are two groups of parties. The Liberal Party and the New Democrats are together ahead, with a small advantage to the LPC. On the other hand, the come back of the Conservartives and the Bloc Québécois have stopped since about the third week of September. One has to notice however that the estimates for the parties are varying way  more than expected, particularly for the smaller parties. The estimates for the Bloc and the Conservatives vary between 13-14% and 27% recently while the estimates for the NDP and the LPC vary between 24% and 32%. Here also, it is not clear whether the LPC is still going up. In 2011 in Quebec, the polls gave an almost perfect prediction of the vote.

Les autres régions: Ça bouge?

En Colombie-Britannique, les trois partis sont toujours pratiquement à égalité, entre 28% et 32%,  même s'il est possible qu'il y ait un léger avantage au PLC.

In British Columbia, the three parties are still practically at par, between 28% and 32%, with perhaps, a small advantage to the LPC.
 
En Alberta, la remontée du Parti Conservateur semble stoppée. Par contre, le PLC et le NPD se sont échangés la deuxième place. Les courbes ne donnent toutefois pas nécessairement une bonne idée de l'évolution récente de la situation. Si on regarde les divers points, qui indiquent les estimations des sondages réalisés, on conclut plutôt à une stabilisation des intentions de vote pour le PLC et le NPD.  Il est clair toutefois que le PLC est deuxième.

In Alberta, the increase in support for the Conservative party has stopped and the LPC has risen to second place. However, there seems to be stabilization of the support for LPC and NDP if you examine the different estimates from the polls.


L'évolution des appuis au Manitoba et en Saskatchewan est similaire à celle de l'Alberta. On parle d'un plafonnement de la remontée du PCC. Toutefois, cette remontée l'a amené au niveau où il était en début de campagne. Le PLC a effectué une remontée récente aux dépens du NPD.

Change over time in the Prairies is similar to what happened in Alberta but the advantage of the Conservative party is less substantial. The LPC has risen to the second place after being at par with the NPD during most of the campaign.

Dans les provinces Atlantiques, le PLC est maître de la situation et recueille autour de 50% des intentions de vote selon les derniers sondages. Il y a eu une baisse du NPD et une remontée du PCC mais il n'est pas clair que le PCC a plus d'appuis que le NPD en ce moment. Les échantillons sont très petits. Certains sondages donnent un appui plus important au NPD, d'autres au PCC.

In the Atlantic Provinces, the LPC clearly has the lead. It is not clear however whether the CPC or the NDP is second.


Conclusion

Ce qui arrivera demain sera intéressant pour plusieurs raisons. Pour ma part, toute mon attention ira à la performance des sondages et de mes analyses. D'une part, je me demanderai si le Parti Conservateur sera sous-estimé, particulièrement en Ontario. D'autre part, je me demanderai si les différences entre les sondages selon les modes d'administration donnent "raison" à une méthodologie plus qu'à une autre ou si on se retrouve avec simplement des biais opposés, qui s'annulent. Enfin, je me demanderai si le type d'analyse que j'ai privilégié avec les paramètres que j'ai utilisés donnent de bons résultats ou si je dois la modifier à l'avenir. Pour le moment, elle me semble mal estimer les plafonnements des intentions de vote.

What will happen tomorrow will be interesting for a number of reasons. Personally, I will focus on the performance of the polls and of my analyses. I will check whether the Conservative Party is underestimated, particularly in Ontario. I will also check on the performance of the polls according to the modes of administration. Finally, I will see whether the type of analysis and the parameters that I used have performed adequately. For now, I realize that my analyses fail to estimate rapidly enough the stabilization in support.

Remerciements: Je tiens à remercier Luis Pena Ibarra, mon assistant de recherche, pour son travail assidu, méticuleux et compétent tout le long de la campagne. Ces travaux ont été menés grâce à la subvention du CRSH no 430-2015-01208 "Pour une analyse historique des données d'enquête".

Aknowledgements: I wish to thank Luis Pena Ibarra, my research assistant, for his diligent, meticulous and competent work during all the campaign. This work benefitted from the SSHRC grant 430-2015-01208 "For an historical analysis of survey data". 

Canada 2015: Peut-on se fier aux sondages/ Can we rely on polls?

Hi,

Here is my presentation in a panel at McGill on the Canada 2015 electoral campaign.
Can we rely on polls?

My last post will be on Sunday.

Et voici le lien à l'article dans La Presse sur la même question: Peut-on se fier aux sondages?

Mon dernier message avant l'élection sera publié dimanche.

Au plaisir 

Canada 2015: Chacun son tour/ take your turn!

Bonjour,


See at the end for an English summary but please check the graphs before going there!

Je renoue aujourd'hui avec une analyse des tendances des sondages. Étant donné la publication de sondages contradictoires au cours des 10 derniers jours, j'avais de la difficulté à y voir clair. Avec la publication de plusieurs nouveaux sondages cette semaine, certaines tendances commencent à apparaître plus clairement. Notez que contrairement à d'autres, je positionne les sondages au milieu de la période de terrain, ce qui entraîne des différences, particulièrement quand les sondages se déroulent sur plusieurs jours. Notez que Ekos a publié trois sondages au cours des trois derniers jours mais il ne s'agit d'échantillons indépendants. Nous devons donc, comme pour Nanos, les entrer dans la base seulement une fois à tous les quatre jours.

Le Canada

Cette campagne a commencé avec le NPD en tête. Après une période où les trois partis se sont retrouvés nez à nez, le Parti Conservateur (PCC) a presque pris la tête pour une courte période. Par contre, pour le moment, si on tient compte de l'ensemble des sondages publiés, le PCC et le PLC seraient à égalité. Quelques sondages placent le PLC devant, d'autres le PCC, mais ces différences sont généralement à l'intérieur de la marge d'erreur.

Pour ce qui est du NPD, la tendance à la baisse est avérée.  Il se situerait autour de 24%. Toutefois, il y a une différence entre les sondeurs. Certains sondages le placent encore autour de 25% (Léger, Forum, Abacus, Nanos) alors que  EKOS et Mainstreet le placent un peu en haut de 20%.

L'Ontario, le coeur de la bataille

J'ai noté dans mon message d'hier sur les méthodes qu'il y avait de fortes variations, préoccupantes en Ontario, particulièrement pour ce qui est des estimations de l'appui au NPD fait par les sondages IVR. La situation demeure. Les estimations de l'appui au PLC et au PCC ont été relativement similaires entre les sondeurs au cours des derniers jours. Tous les sondages faits depuis le début octobre ont placé le PLC en tête, devant le PCC. Pour ce qui est du NPD, des différences importantes apparaissent dans l'estimation du niveau d'appui, puisque celui-ci a varié de 14% (Mainstreeet) à 24% (Léger) au cours des derniers jours. Encore là, le sondage EKOS (17%) tout comme le Mainstreet placent le NPD plus bas que les autres. Ces sondages sont faits par IVR. Forum, qui utilise aussi la méthode IVR, publie des estimations similaires à celles des sondages faits avec d'autres méthodes.
 

Le Québec, terre de tous les dangers

Comme on peut le voir, la situation se corse très sérieusement au Québec. Même si la chute du NPD est indéniable, le niveau actuel de ses appuis est plus sujet à débat. Le sondage Mainstreet place le NPD plus bas (25%) alors que les autres sondages le placent plutôt autour de 28-29%, ce qui voudrait dire qu'il y a eu une certaine stabilisation au cours de la dernière semaine. Forum va jusqu'à 34%. La hausse des Libéraux est tout aussi indéniable mais récente. La plupart des sondages donnent encore le NPD en avance sur le PLC, alors que deux donnent soit une légère avance au PLC (Mainstreet) ou les deux partis nez à nez (Léger). Cette hausse ramène le PLC à son niveau du début de la campagne.

Les estimations de l'appui aux Conservateurs varient également fortement, entre 17% (Nanos) et 28% (Ekos), soit un écart de 11 points. La même chose se produit pour le Bloc Québécois - de 17% pour Mainstreet à 23% pour Léger. La moitié des estimations récentes situent le Bloc sous la barre de 20% (de 17% à 18%), les autres en haut (20,4%-23%).

Si on compare au début de la campagne, tous les partis ont profité de la chute du NPD mais c'est le parti Conservateur pour lequel la hausse a été la plus importante. Le Bloc, parti troisième, est maintenant quatrième, de retour à son niveau de début de campagne. Il n'y a que le Parti Conservateur qui se retrouve à environ cinq points de plus en hausse par rapport au début de la campagne. 

La Colombie-Britannique, au coude à coude

Un peu comme au Québec, le PCC et le PLC ont augmenté leurs appuis aux dépens du NPD de telle sorte que, en Colombie Britannique, les trois partis sont maintenant pratiquement à égalité. Étant données les très petites tailles d'échantillon, les estimations des divers sondages sont très variables. Notons que même l'estimation de l'appui au parti Vert varie fortement, soit de 5% à 18%. Les  estimations des appuis au PCC varient de 24% (Léger) à 37% (Abacus), celles du NPD, de
25% (Abacus) à 34% (Ipsos) et celles du PLC de 21% (Ekos) à 37% (Léger).

 

Les Prairies: Manitoba et Saskatchewan

Le centre du Canada est plus ou moins le "territoire" du Parti Conservateur fédéral. Toutefois, dans les Prairies, le PCC ne domine pas aussi clairement qu'en Alberta. Ici aussi, le PLC semble augmenter ses appuis aux dépens du NPD. Toutefois, les appuis au PCC ont aussi augmenté. Notons les fortes variations dans les estimations, particulièrement pour le PLC, soit de 24% (Ekos) à 40% (Forum).

L'Alberta: Les Conservateurs s'envolent

La situation est réglée depuis longtemps en Alberta.  Le PCC domine avec des appuis allant de 49% à 67%. Il faut toutefois noter que ce sont là des appuis "inutiles" pour ce qui est de gagner plus de sièges. Les appuis au NPD sont en baisse et varient de 12% à 19%; ceux du PLC sont en hausse et varient de 18% à 28%.

Les provinces Atlantiques: Les Libéraux s'envolent

Dans les provinces atlantiques, le PLC a consolidé ses appuis mais les estimations sont très variables selon les sondages allant de 42% (Mainstreet) à 62% (Forum), soit un écart de 20% pour des sondages faits durant la même période. Ces écarts importants ne peuvent qu'avoir un impact sur les autres estimations. Les estimations du vote NPD varient de 17% (Forum et Nanos) à 29% (Abacus) et celles du vote PCC de 18% (Léger) à 29% (Nanos). L'augmentation des appuis au PLC est accompagnée d'une légère hausse, récente, des appuis au PCC, ces deux hausses se faisant aux dépens du NPD. Ce parti se retrouve maintenant pratiquement à égalité avec le PCC. Il faut toutefois être prudent puisque seuls les sondages Nanos et Innovative placent le PCC en avance sur le NPD. Tous les autres sondages mettent le NPD en avance ou à égalité avec le PCC.

En conclusion

Comme on a pu le voir, malgré que les estimations sont parfois très variables, l'histoire des deux dernières semaines est celle d'une remontée des Libéraux et des Conservateurs presque partout aux dépens du NPD, ce qui amènent ces deux partis à égalité pour l'ensemble du Canada. Par contre, les mouvements varient d'une région à l'autre et certaines hausses risquent d'être plus "payantes" que d'autres.

English summary

In Canada, the Conservative party (CPC) and the Liberal Party (LPC) are at par while the New Democratic Party (NDP) lost support to both these parties. The situation varies somewhat between regions. However, the story is quite similar. The NPD is usually the only one to lose, the other parties make gains. One has to be careful however because there are major differences in estimates between the different polls/pollsters.

In Ontario, the analyses show the LPC slightly ahead of the CPC and almost all the pollsters have this same estimation. However, estimations for the NPD varied widely, from 14% to 24% during the last 10 days.

In Quebec, the gains made by the LPC and the Bloc Québécois brings them back to where they were at the beginning of the campaign, i.e., 25% for the LPC and 20% for the Bloc. The CPC gained about five points recently. All these gains were made at the expense of the NPD while all these parties had lost to the NDP at the beginning of the campaign. This brings the NDP lower than at the beginning however, at around 28-29%. There are discrepancies between pollsters on all these numbers. The NPD for example is estimated as high as 34% (Forum) and as low as 25% (Mainstreet).

In British Columbia, the CPC and LPC also made gains at the expense of the NDP. The three parties now seems at par. Estimates for the Green party vary widely, between 5% and 18%.

Elsewhere, the main parties make gains in their strongholds, usually at the expense of the NDP. The CPC makes gains in the Praires and is estimated as high as 67% in Alberta while the LPC is estimated as high as 62% in the Atlantic provinces. However, those are small regions with small samples and estimates vary much. The LPC has been estimated between 42% and 62% in the last days, a range of 20 points). The CPC has been estimated between 36% and 46% in the Prairies and between 49% and 67% in Alberta.

The polls show what has happened. What will happen is quite another matter. One thing is sure, stability in voting intentions  during an electoral campaign seems something of the past. And a very long campaign like this one has shown that with similar voting intentions at the beginning of the campaign, much can happen.