mardi 29 septembre 2020

It's all about modes - US 2020 edition

 Hi everybody,

As many researchers, I am following the polls for this election. I will personnally focus on aspects of the polls that are not that much covered, that is the possible impact of the methodological features of the polls. In this blog post, I focus on whether there is a difference in the trends portrayed by different modes of administration. 

On average

As the first figure shows, the polls conducted since the beginning of August tend to portray an estimated difference of eigth points in support between Joe Biden and Donald Trump. We use a common scale for all the polls, that is, support for each candidate on the sum of the support for the two of them. The portrait traced here is not different from the portrait traced by well-known agregators and news media.



 By mode of administration

However, as in 2016, the trends traced by the different modes of administration tend to differ. IVR polls, that use a combination of automated phone calls to landline phones and web polls to cell-only users, estimate the proportional support for Donald Trump two points higher than the other polls. This was also the case in 2016 just before the first debate between Donald Trump and Hillary Clinton as shown in the AAPOR Report on the polls of the 2016 election

As in 2016, the web polls tend to trace a more stable portrait of the trends. They do not seem to detect movement when other modes do detect some. Finally, the polls that use live interviewers show an increase in support for Donald Trump in August, an increase that is also detected by IVR polls.Whatever the mode used however, trends in support for Donald Trump appear stable since the end of August.


Web polls account for more than 70 percent of the polls. Therefore, the portrait that we get if we do not take mode into account is heavily determined by web polls estimates. In 2016 however, the IVR polls had a slightly better estimate of the support for Donald Trump than the two other modes. We need to take this into account.

Of course, there are slso differences within modes. Web pollsters do not use the same sources of potential respondents. These sources may be more or less probabilistic and some combine different sources. This may have an impact. IVR polls also differ according to the pollster who use them, particularly in terms of the proportion of the sample coming from automated calls to landline phones. Finally, the polls conducted using live interviewers differ in the proportion of cell phones in their samples. In 2016, this proportion varied from 25 to 75 percent. I presented here an average impact of modes but there may be differences within modes, a question that I will try to cover in future posts.

A final note to pollsters and journalists. Mode of administration is an essential methodological information. It should be presented with the main information regarding the dates of fieldwork and the sample size. Sometimes, it is hidden somewhere in the pollster report. It shouldn't be.

vendredi 18 octobre 2019

Are you sure? Êtes-vous certain?


Bonjour, la version française suit la versions anglaise, en rouge.

In this post, I concentrate on those respondents that are called the "Undecideds" or the "Discreet". I also add the possible shifters. I ask whether we can better measure who is really undecided and who may change his/her mind. One may think that the proportion of undecideds should decrease during the campaign. However, it can also increase when events lead people to reconsider their position. Therefore, this information may give a hint of what is happening in a campaign and what may happen on election day.

The usual measure of undecidedness is the fact that a respondent states being undecided. However, as I will show, this measure is not that reliable. Therefore, I look at two other measures; the first is the part of voting intentions for each party that is due to "leaners". The second is whether the respondent says that she may change her mind or is not certain of her vote.

Dans ce message, je me concentre sur les répondants que l'on appelle les indécis ou les "discrets". J'ajoute également les possibles transfuges. Je me demande si on peut mieux mesurer qui est vraiment indécis et qui peut changer d'idée. On peut penser que la proportion d'indécis devrait normalement diminuer pendant les campagnes électorales. Toutefois, cette proportion peut aussi augmenter suite à des événements qui peuvent amener l'électeur à questionner ses choix. Par conséquent, cette information peut nous donner des indications sur ce qui se passe et ce qui peut arriver le jour de l'élection. 
La mesure habituelle de l'indécision est la déclaration du répondant qui se dit indécis. Toutefois, cette mesure n'est pas très fiable comme je le montre plus loin. Par conséquent, j'analyse deux autres mesures soit la proportion des appuis à chaque parti qui est due aux répondants qui révèlent leur préférence uniquement à la question de relance et le fait de révéler pouvoir changer d'avis ou être incertain de son vote.


One problem with using stated undecidedness is that it varies much between modes of administration and even between pollsters using the same mode of administration. As we can see in the following graph, IVR (Interactive Voice Response) polls tend to have much lower proportions of undecideds. On the opposite, both Web and telephone polls have a higher proportion but this proportion has  decreased on average since the beginning of the campaign. However, among the IVR pollsters, EKOS has a much higher proportion of undecideds, and among web pollsters, Angus Reid has a proportion of undecideds similar to IVR polls. Therefore, we may conclude that this measure in more an indication of the methodology used by the pollster than of the real proportion of undecideds.


Le principal problème avec la mesure traditionnelle de l'indécision est le fait qu'elle varie beaucoup selon les modes d'administration et même entre les sondeurs utilisant le même mode d'administration. Comme on le voit dans le graphique, les sondages faits par téléphone automatisé (IVR) ont généralement des taux d'indécis plus bas que les sondages Web ou téléphoniques. Par  ailleurs, la firme EKOS a des taux d'indécis plus élevés que les autres sondages IVR alors que Angus Reid a des taux plus bas que les autres sondages WEB. On peut donc conclure que la mesure traditionnelle de l'indécision donne moins une indication de la proportion réelle d'indécis que de la méthodologie utilisée par le sondeur. 

In view of this situation, we turn to another possible indicator of undecidedness. Ipsos, like most other pollsters, ask the vote intention question in "two parts".  It asks all respondents who say they don't know which party they will vote for whether they are leaning towards a specific party. Around 35% to 45% of undecideds to the first question give a preference when asked this second question. Ipsos provided us with their tables for the two questions. We computed the proportion of the vote intention that comes from leaners for each party and each poll since the beginning of September. The following table shows the results.

Devant cette situation, nous nous tournons vers un autre indicateur de l'indécision. Ipsos, comme la plupart des sondeurs, demande la question d'intention de vote en "deux parties". On demande aux personnes qui disent ne pas savoir pour qui elles vont voter si elles "penchent vers un parti". Cette question est appelée la question de relance. De 35% à 45% des indécis à la première question révèlent une intention de vote à la question de relance. Ipsos nous a  gracieusement fourni ses tableaux détaillés. Nous avons calculé la proportion des électeurs de chaque parti qui provenait de personnes ayant répondu à la question de relance.

The graph shows that the proportion of leaners is lower for Conservatives, who tend to state their preference outright. On the opposite, both the LPC and the BQ had higher proportions of leaners at the beginning of the campaign. The proportion of LPC leaners went down to even lower than Conservatives while the proportion of BQ leaners increased and then decreased to the same level as the Conservatives. Meanwhile, the proportion of NDP leaners increased. The difference between parties is not large but this information may say something about what will happen on Election day.  Will the polls overestimate parties with a higher proportion of leaners? Or is the proportion of leaners an indication of a move towards a party that will show on Election Day?

Le graphique montre que la proportion de répondants provenant de la question de relance est moins élevée chez les partisans du PCC. Ces derniers tendent à révéler leur intention de vote dès le départ. À l'opposé, une plus grande proportion des partisans du PLC et du Bloc provenait de répondants à la question de relance au début de la campagne. Cette proportion a diminué chez les partisans du PLC alors que du côté du Bloc, elle a d'abord augmenté pour ensuite diminuer. Enfin, la proportion des répondants provenant de la question de relance a augmenté chez les partisans du NPD. Les proportions selon les partis ne sont pas très différentes mais ceci peut donner des indications sur ce qui peut se passer le jour de l'élection. Est-ce que les sondages surestimeront les partis dont une plus grande proportion des appuis vient de la question de relance? Ou au contraire, cette proportion indique-t-elle qu'il y a un mouvement vers un parti qui se matérialisera le jour de l'élection?

And what about possible shifters?

Both my research with André Blais for the Quebec 2018 election and the CES 2004 data show that polling misses may sometimes be explained by people changing minds disproportionately towards one party. Ipsos asks respondents who state a preference whether they are very certain, fairly certain, not very certain or not at all certain of their choice. Léger has a different question. The pollster asks whether the respondent's choice is final or whether it may change (a don't know option is also presented).

Qu'en est -il des possibles transfuges?
Tant ma recherche avec André Blais sur les sondages de l'élection québécoise de 2018 que les données de l'Enquête électorale canadienne de 2004 montrent que les erreurs des sondages peuvent parfois s'expliquer par le fait que des électeurs changent d'avis de façon disproportionnée en faveur d'un parti. Ipsos demande aux répondants jusqu'à quel point ils sont certains de leur choix. Léger quant à lui demande si le choix est définitif ou s'il peut changer. La possibilité de dire qu'on ne sait pas est également offerte. 
Are you certain?

The following graph shows the proportion of respondents who were not very or not at all certain of their choice for the polls in which the question was asked, by party, since mid-August. It shows that first, the proportion of not certain respondents has decreased since August and second, this proportion is lower for Conservative voters and higher for the Greens. However, like the proportion of leaners, it decreased for Liberal voters and it increased and then decreased among Bloc supporters. For the NDP, the proportion has decreased, in this case unlike the proportion of leaners.

Êtes-vous certain?
Le graphique suivant montre la proportion de répondants qui ont dit ne pas être beaucoup ou pas du tout certains de leur choix, par parti politique depuis la mi-août. Il montre d'abord que la proportion de répondants "non certains" a diminué depuis août, surtout plus récemment. Cette proportion est par ailleurs plus basse pour les Conservateurs et plus élevée pour les Verts. Toutefois, tout comme la proportion de répondants provenant de la question de relance, cette proportion a diminué chez les supporteurs du PLC  et elle a augmenté puis diminué chez les partisans du Bloc. Pour le NPD, la proportion a diminué, contrairement dans ce cas à la proportion provenant de la relance.

May you change?
We can compare these results with Léger's answers to the question about the possibility of changing minds. We group together those who say they may change and those who say they do not know because these two proportions tend to be related. The proportion of "may change and don't know" is higher than the proportion of "not certain" but the conclusions are quite similar. The proportion of possible shifters has slightly decreased during the campaign and it is generally lower for the partisans of the main parties. The proportion of possible shifters amond NPDers has slightly decreased. The proportion of possible shifters among Bloc supporters has been lower than that of the NDP from the beginning and it has increased and then decreased to reach a level similar to the main national parties. This result is confirmed by the last Léger conducted in Quebec only.

Pouvez-vous changer?
Nous pouvons comparer les résultats précédents à ceux fournis par Léger à la question relative à la possibilité de changer d'idée. Nous avons regroupé les répondants qui disaient pouvoir changer et ceux qui disaient ne pas savoir si leur choix était définitif. La proportion de ces deux catégories groupées est plus élevée que celle des "non certains" de IPSOS mais les conclusions sont similaires. La proportion de possibles transfuges a légèrement diminué au cours de la campagne et elle est généralement plus basse chez les partisans des deux principaux partis. La proportion de possibles transfuges a légèrement diminué chez les partisans du NPD. Chez les partisans du Bloc, cette proportion était plus basse que pour le NPD au départ et elle a augmenté puis diminué pour se retrouver au même niveau que celle des partis principaux, ce qui est confirmé par le dernier sondage Léger réalisé au Québec seulement.

Does it tell us something about Election day results? We have the same data from Léger in 2015. The proprotion at that time was higher than in 2019. The following graph helps us interpret what this question means. In short, in 2015,  an election characterized by movement between the NDP and the LPC until the end of the campaign.
the following graph shows that the proportion of possible shifters is similar for the LPC and NDP supporters during the whole campaign. We may tentatively conclude that this proportion is indicative of possible movements between parties. 

Est-ce que ces informations nous donnent une idée sur ce qui risque de se passer le jour des élections? Le graphique suivant aide à interpréter ce que signifie cette question. En 2015, la proportion était plus élevée qu'en 2019. En résumé, en 2015, une élection caractérisée par des mouvements entre le NPD et le PLC jusqu'à la fin de la campagne, le graphique suivant montre que la proportion de possibles transfuges est demeurée similaire pour les partisans du PLC et du NPD tout au long de la campagne. On pourrait conclure que cette proportion de possibles transfuges est un bon indicateur des mouvements possibles entre les partis.


We cannot know whether these measures of undecidedness and possible shifts are really informative of what may happen on Election day. However, it is a complement to the usual information about the proportion of "undecideds" to the vote intention question. One conclusion is that Conservatives are more likely to be decided and seem to have nowhere to go. This is confirmed by the question on the second choice asked by Leger in its October 7-8 poll. The CPC supporters are the less likely to say they have a second choice. Liberals' second choice is clearly the NDP. NPD supporters' second choice is split between the LPC and the Greens. The Greens' second choice is the NDP and almost nobody has the Bloc as a second choice. Unfortunately, this question is not present in the last Léger poll conducted only in Quebec. It stays that at the national level, the Léger poll shows that the NDP is the most important "second party" (25%) followed by the Greens (16%) and the LPC (13%).

I wish to thank Luis Peña Ibarra for his assistance with all the analyses and compilation of results in this election. I also wish to thank IPSOS (Sébastien Dallaire) who provided me with tables that are not normally public. I also thank Léger (Christian Bourque) for providing me with the 2015 Léger reports.

En conclusion, nous ne pouvons pas encore dire si ces nouvelles mesures d'indécision et de possibles mouvements nous informent de ce qui se passera le jour de l'élection. Toutefois, ces mesures sont  un bon complément à l'information sur la traditionnelle proportion d'indécis.  Une conclusion à tirer est que les Conservateurs sont plus souvent décidés mais semblent avoir nulle part où aller. Ceci est confirmé par les résultats de la question sur le deuxième choix posée par Léger dans son sondage du 7-8 octobre. Les partisans du PCC sont les moins susceptibles d'avoir un deuxième choix. Le deuxième choix des Libéraux est clairement le NPD. Les partisans du NPD privilégient les Libéraux et les Verts dans la même proportion. Presque personne n'a le Bloc comme second choix. Malheureusement, le dernier sondage Léger réalisé au Québec seulement ne présente pas cette question. Il demeure qu'au niveau national, le NPD est le plus important deuxième choix (25%) suivi des Verts (16%) et du PLC (9%).

Je tiens à remercier Luis Peña Ibarra pour son assistance dans l'ensemble des analyses portant sur cette campagne électorale. Je tiens également à remercier Ipsos (Sébastien Dallaire) pour leur précieuse collaboration et entre autres pour m'avoir fourni des tableaux qui n'étaient pas normalement publiés. Enfin, je tiens également à remercier la firme Léger (Christian Bourque) qui m'a fourni les rapports Léger de 2015.

mardi 1 octobre 2019


Hi (English in red following French)

La campagne est maintenant bien entamée. Dans ce message pré-débat, j'aborde d'abord l'évolution des intentions de vote depuis janvier 2019 puis, depuis le début août. J'aborde d'abord les intentions de vote pour l'ensemble du Canada, puis séparément pour le Québec, l'Ontario et  la Colombie Britannique (depuis août seulement), question de voir comment les tendances globales au Canada se décomposent au niveau local. Les analyses portent sur les sondages publiés en date du 30 septembre et n'inclut donc pas les sondages publiés aujourd'hui.

La procédure utilisée pour estimer l'évolution des intentions de vote -- la régression locale -- donne moins de poids aux sondages dont les estimations sont éloignés de la moyenne des autres. Bref, les cas aberrants ont peu d'influence sur l'estimation des grandes tendances. Les bandes autour de chaque évolution donnent la marge d'erreur de cette évolution. Quand ces bandes se chevauchent, les partis sont statistiquement à égalité.

The campaign is now underway. In this message before the debates, I analyse first change over time since January and then, since the beginning of August. I present trends in support for Canada as a whole and then for Quebec, Ontario and BC (only since August) in order to assess how the national trends break down at the local level. The analyses use all the published polls positioned at the median of the data collection period. They include the polls published before October 1st.

The procedure used to estimate the trends in support -- local regression -- gives less less weight to poll estimates that are further from average estimates. This means that outiers do not influence the trends that much. The margin of error is given by the band around the trend line. When the bands overlap, there is no difference in support for the parties.

L'année 2019 d'abord, les tendances à long terme

Le Canada 
Comme le montre le graphique, l'année est caractérisée par une montée du Parti conservateur (CPC) en début d'année, aux dépens du Parti Libéral (PLC). Toutefois, ce mouvement s'est arrêté puis les intentions de vote se sont stabilisées, à égalité pour ces deux partis. L'année 2019 se caractérise également par une légère hausse des appuis au Parti Vert et une relative stabilité du Nouveau parti démocratique (NPD) et du Bloc.

As the graph shows,  support for the Conservative Party of Canada (CPC) increased at the beginning of 2019, at the expense of the Liberal Party of Canada (LPC). However, the movement stopped since then and support for the two parties stabilitzed at par. 2019 is also characterized by a small increase in support for the Green Party and a relative stability of the New Democratic Party (NDP) and of the Bloc at the national level.

Le Québec

Comment ces mouvements se sont-ils traduits au Québec? Le graphique montre une situation spécifique au Québec. Le PLC est demeuré largement en tête même s'il a perdu quelques points en début d'année et en a récupéré quelques-uns récemment. Le PCC et le Bloc ont gagné des points depuis le début de l'année. Toutefois, récemment, le Bloc a fait des gains au détriment du PCC. Enfin, on note une hausse des appuis au NPD si on compare avec janvier dernier et une légère baisse des appuis au parti Vert.

What is the contribution of what happened in Quebec in the movements at the national level? The curbe of the change over time for LPC is quite similar as what we saw in Canada as a whole, and at a similar level. However, the CPC and the Bloc both increased their share since the beginning of the year and the Bloc made gains recently mostly at the expense of CPC. Finally, support for the NDP has increased and then stabilized and support for the Greens has decreased slightly.


En Ontario, les deux principaux partis se sont échangé la tête en début d'année. Toutefois, par la suite le PLC a effectué une remontée de sorte que le PCC se retrouve à près de sept points derrière. Le NPD a effectué une remontée de courte durée. Il se retrouve presque au même niveau qu'en début d'année aux alentours de 14 pour cent. Les Verts ont effectué une remontée mais se retrouvent à moins de 10 pour cent.

In Ontario, the two major parties exchanged the lead at the beginning of the year. However, after the spring, the LPC gained momentum and the CPC is now seven points behind. The NDP started the year with a small increase in share but has since declined. It is now almost at the same level as at the beginning of 2019. The Greens have increased their share in the first part of the year but it have since stopped rising. In Ontario, the Greens' share is significantly lower than that of the NDP.

In short

Au cours de l'année, le PCC a effectué une légère remontée mais tant en Ontario qu'au Québec, cette remontée a été de courte durée et n'amène pas ce parti à approcher les appuis au PLC dans ces provinces.Ceci explique que les nombreux agrégateurs donnent, à intention de vote égale, moins de sièges au PCC. Si les appuis au parti se maintiennent surtout dans ses châteaux forts, cela ne donne pas beaucoup plus de sièges. Pour ce qui est du NPD, il est en avance sur le Parti Vert dans l'ensemble du Canada et l'est nettement également en Ontario. De plus, au Québec, ses appuis ont augmenté depuis le début de l'année. Pour ce qui est du Bloc, sa remontée dans les sondages a eu lieu en début d'année, puis de nouveau récemment. Pour le parti Vert, voir la conclusion.

In short, during the year, support for the CPC rose but in Ontario as well as in Quebec, the rise in support did not last long and it did not bring support for the CPC at the level of the LPC. This explains why, with equal support for both parties, agregators give more ridings to the LPC. Support for the CPC seems to maintain itself mostly in its strongholds, which does not bring many new ridings. As for the NDP, it is ahead of the Greens in Canada as a whole, and even more in Ontario. In addition, in Quebec, support has increased since the beginning of the year. Increase in support for the Bloc happened both at the beginning of the year and, again, more recently. For the Greens, see my conclusion.

Focus sur l'évolution des appuis depuis le début août
Since the beginning of August
Le Canada 

Comme le montre le graphique ci-haut, depuis le début août, les deux principaux partis sont clairement à égalité.  Après une descente de près de cinq points, le NPD a pris du mieux au cours des derniers jours et tant le PLC que le PCC ont vus leurs appuis diminuer légèrement. Les Verts plafonnent. Je vais parler du Bloc en parlant du Québec.

As shown in the graph above, support for the two main parties are clearly at the same level since the beginning of August. After a drop of almost five points, the NDP has improved its share in the last days and both the CPC and the LPC have lost a few points. The Greens have reached a plateau. I will speak about the Bloc when I speak about the Quebec situation.

Le Québec

Le graphique montre la stabilité des appuis au PLC au Québec. Les mouvements se passent ailleurs. Il semble que le Bloc et le PCC s'échangent des appuis depuis le début de la campagne. Le Bloc est en  hausse, le PCC en baisse. Enfin, les appuis au NPD et au Parti Vert apparaissent exactement au même niveau, et en légère hausse.

The graph shows how stable support for the LPC is in Quebec. Movement is elsewhere. It seems that the Bloc and the CPC exchange support since the beginning of the campaign. The Bloc is going up, the CPC is going down. Finally, support for the NDP and the Green party seem to be at the exact same level and increasing slightly.


 En Ontario, la situation est très différente de celle du Québec. Le PLC est en hausse, d'abord et avant tout au détriment du NPD. Toutefois, l'appui au NPD a cessé de baisser. Le PCC et le Parti vert sont stationnaires.

In Ontario, the situation is quite different from Quebec. Support for the LPC is increasing, mostly at the expense of the NDP. However support for the NDP has stopped declining. Support for the CPC and the Greens is stable.

La Colombie Britannique

 En Colombie Britannique, en ce moment, les appuis au PLC et au PCC sont strictement similaires tout comme ceux au NPD et au Parti Vert. L'évolution de PLC et du PCC n'ont toutefois pas suivi du tout le même trajet. Le PCC avait fait des gains au détriment du PLC. Ils les a complètement reperdus.

En conclusion

Le PLC et le PCC ne sont pas au même niveau et n'ont pas évolué de la même manière dans les trois provinces. Ceci dit, comme je l'ai montré dans mon précédent message, les dernières élections montrent que les tendances peuvent changer de façon importante, et même jusqu'à la dernière minute. A titre d'exemple, à la même période en 2015, voici de quoi avaient l'air les intentions de vote. Les trois principaux partis étaient presque à égalité et le NPD avait à peine amorcé sa descente.

Mes recherches en ce moment portent sur les "indécis" et les "transfuges". Comment savoir qui est vraiment indécis, s'il y aura des mouvements de dernière minute et qui va se rallier à quel parti? J'y reviendrai dans un prochain message.

Finalement, un mot sur le Parti Vert. Ipsos a fait une expérimentation passée largement inaperçue. La firme a divisé son échantillon en deux (et continue de le faire). Pour la moitié de l'échantillon, elle mentionnait le Parti Vert et pour l'autre moitié, elle ne mentionnait pas nommément le parti. Elle demandait simplement le nom du parti aux personnes qui disaient vouloir voter pour un autre parti. Lorsque le parti Vert était mentionné dans la question, les appuis s'approchaient de 11 pour cent. Lorsqu'il ne l'était pas, les appuis étaient à 4 pour cent. La vérité se situe sans doute entre les deux. Voir Ipsos Green Party Experiment. Ceci semble accrédité l'hypothèse que le Parti Vert est surestimé, du moins en ce moment.

Support for the LPC and the CPC are not at the same level and did not change in the same way in the three main provinces. this being said, as I mentioned in my preceding message, the last federal elections show that trends may change substantially in the last weeks and even in the last days of electoral campaigns. For example, here is what support for the different parties looked like in 2015, just before the debates. Support for the three main parties was almost at the same level and support for the NDP had just started declining.

My research these days deal with the "undecideds" and the "shifters". How can we know who is really undecided, if there will be last minute movement and who is going to rally to which party? I will come back on this in a coming message.

Finally, a word on the Green Party. Ipsos did what they call the "Green experiment". The firm divided its sample in two parts. For half of the sample, the Green party was mentioned; for the other half, it was not. People who answered "another party" were simply asked which party they would vote for. When the Green party was mentioned, it received 11 per cent of voting intentions, when it was not, 4 per cent. The truth is probably somewhere between these two proportions. See Ipsos Green Party Experiment. This seems to validate the hypothesis that the Green Party is overestimated by the polls, at least at the present time.

samedi 24 août 2019

Les campagnes se suivent


Ce message de blogue complète l'article paru dans La Presse + ici.

Pour ce message, j'ai récupéré tous les graphiques que j'ai produits à partir des sondages réalisés pendant les campagnes électorales fédérales depuis celle de juin 2000, question de pouvoir se rappeler facilement ce qui s'est passé dans ces campagnes. J'inclus les informations pour le Canada et pour le Québec, et lorsque disponible, pour l'Ontario. Les procédures d'analyse ont varié avec le temps tout comme le type de graphique que je produisais mais les résultats de ces analyses sont sensiblement les mêmes quelle que soit la procédure. Les graphiques permettent de voir quelle a été l'évolution des intentions de vote et si les sondages ont bien prédit l'élection. Voir ma synthèse à la fin.

Je présente des élections des plus récentes aux plus anciennes.

For English speaking readers, here are the graphs that I produced for all the federal elections since the 2000 election. I do not translate everything as the graphs are usually evident enough in terms of what happened during each election and whether the polls predicted the results accurately. See my synthesis in English at the end of this message.

Élection canadienne du 19 octobre 2015

Canada: Un peu plus d'un mois avant l'élection, les trois partis sont à égalité.
Les appuis s'échangent surtout entre le PLC et le NPD. Les appuis au PCC sont pratiquement stables.
La prédiction des intentions de vote utilisant tous les sondages publiés est parfaite.

Québec: Ce n'est qu'en toute fin de campagne que le PLC dépasse le NPD dans les intentions de vote.
La prédiction finale sous-estime le PLC et surestime le PCC.

En Ontario, l'échange des appuis entre le NPD et le PLC commence dès le début de la campagne.
La prédiction est parfaite.

  Élections canadienne du 2 mai 2011

Canada: Tout comme en 2015, l'échange dans les appuis s'est fait entre le PLC et le NPD. Le PCC est demeuré presque stable.
Le PCC a été sous-estimé de près de 4 points par les sondages.

Au Québec, le NPD "rafle tout" dans les deux dernières semaines. La hausse de 23 points de ses appuis se fait au détriment de tous les autres partis.
Malgré ces mouvements importants, la prédiction des sondages est parfaite.

En Ontario, l'échange d'appuis se fait entre le PLC et le NPD. Le PCC est pratiquement stable.
Il est sous-estimé de quatre points par les sondages.

 Élection canadienne du 14 octobre 2008

Canada: Résultats:
PCC: 37,6%
PLC: 26,3%
NPD: 18,2%
BQ: 10%
Le PCC et le PLC partent à égalité puis le PCC prend de l'avance et en fin de campagne, l'écart se resserre.
Le PCC est sous-estimé d'environ quatre points.

Québec: Résultats:

BQ: 38,1%
PLC: 23,8%
PCC: 21,7%
NPD: 12,2%
En début de campagne officielle, en septembre, le Bloc et le PCC sont très proche, puis le Bloc se détache, surtout aux dépens du PCC.
Le Bloc est surestimé, le PCC sous-estimé.

Ontario: Résultats:
PCC: 39,2%
PLC: 33,8%
NPD: 18,2%
Beaucoup de mouvement avant le début officiel de la campagne, avec des échanges entre le PLC et le PCC mais intentions de vote plus stables pour ces deux partis pendant la campagne. Ils apparaissent presque à égalité dans les sondages alors qu'au final le PCC finit avec cinq points d'avance.
Le NPD est surestimé.

Élection canadienne du 23 janvier 2006

Canada: Résultats
PCC: 36,3%
PLC: 30,2%
NPD: 17,5%
Il s'agit de la seule élection avec celle de 2015 où le parti en tête en début de campagne ne termine pas en tête.
Les intentions de vote sont bien estimées.

Québec: Résultats
BQ: 42,1%
PCC: 24,6%
PLC: 20,8%
Contrairement à ce qui se passe en Ontario, les intentions de vote sont relativement stables avant  les Fêtes de fin d'année et tous les mouvements se situent en janvier. Le Bloc et le PLC perdent près de 10 points après les Fêtes, gagnés par le PCC.
Le PLC est sous-estimé, le Bloc surestimé.

Ontario: Résultats
PCC: 35,1%
PLC: 39,9%
NPD: 19,4%
En Ontario, le mouvement se fait avant les Fêtes de fin d'année. Les intentions de vote sont relativement stables après.
Le PCC est légèrement sous-estimé.

Élection canadienne du 28 juin 2004

Canada: Résultats: 
PLC: 36,7%
PCC: 29,6%
Important mouvement surtout en début de campagne.
Les sondages prédisent une lutte serrée. Le PLC termine avec sept points d'avance sur le PCC. 
Les données de l'Étude électorale canadienne montrent que les électeurs discrets et ceux qui ont changé d'avis ont voté nettement plus pour le PLC.

Québec: Résultat
BQ: 48,9%
PLC: 33,9%
Légère hausse du Bloc. Relative stabilité du PLC.
Les sondages sous-estiment un peu le PLC.

 Élection canadienne du 27 novembre 2000

 La campagne électorale pour l'ensemble du Canada montre une évolution presque stable entre le début et la fin de la campagne. Le PLC commence et termine en tête. L'Alliance Canadienne termine deuxième et le parti progressiste conservateur termine troisième. Les estimations sont dans la marge d'erreur des résultats de l'élection.



Depuis l'élection de 2000, toutes les campagnes fédérales montrent des mouvements habituellement assez importants durant les campagnes électorales. Dans deux campagnes, celles de 2006 et 2015, le parti politique qui commence en tête ne finit pas en tête. Dans les autres campagnes, les échanges se font plutôt entre le deuxième et le troisième parti, et généralement entre le PLC et le NPD.Dans les deux élections qui se tiennent en octobre, les sondages du mois d'août ne sont pas de bons indicateurs des résultats finaux de l'élection. Les sondages de fin de campagne donnent généralement une bonne indication des résultats, sauf en 2004 (voir les commentaires à côté de chaque graphique).

Since the 2000 election, movements -- rather substantial ones --have been the norm in all the federal elections. In two campaigns, 2006 and 2015, the party who started the campaign ahead in the polls did not finish first. In the other campaigns, movements occur mostly between the LPC and the NDP. In the two elections that were held in October, the polls conducted in August are not a good indication of the final results. The polls conducted at the end of the campaigns usually give a rather good estimation of the results except for some underestimation of the CPC and sometimes of the LPC (but never of the NDP or the Bloc). There is one major exception: In 2004 the polls predicted a close race between the LPC and the CPC. The LPC finished seven points ahead of the CPC. Analyses performed on the Canadian Electoral Study data show that non-disclosers and those who changed their minds tended to vote much more for the LPC than for any other party.

mardi 2 octobre 2018

Lendemain de veille


Pas possible de se mettre la tête dans le sable ce matin. Les sondages se sont trompés gravement. Le Parti Libéral du Québec (PLQ) a obtenu 25% des votes alors que les sondages lui prévoyaient un appui de 30% en moyenne.  La Coalition Avenir Québec (CAQ) a obtenu 38% soit cinq points de plus que ce que lui était prédit. Au final, la somme des erreurs pour les deux principaux partis est de 10 points, soit le même niveau que l'erreur historique des sondages en Colombie Britannique en 2013 mais quand même moins pire que l'erreur des sondages en Alberta en 2012 (17 points). Notons que dans les trois cas, les deux partis de tête sont du même côté du spectre politique ou relativement proches (Wild Rose et Parti Conservateur en Alberta, NPD et Parti Libéral en Colombie Britannique).

Le graphique montre les prédictions des sondages comparées aux résultats de l'élection. Il montre l'écart important entre les sondages et les résultats pour les deux partis de tête. Par contre, pour ce qui est du Parti Québécois (PQ) et de Québec Solidaire (QS), la prédiction est tout à fait dans la marge d'erreur.

Et les discrets?

Cette élection est sans doute la dernière où l'on aura pu parler de la sous-estimation du PLQ et de la nécessité de faire une répartition non-proportionnelle des discrets. D'une part, le PLQ n'a pas été sous-estimé. D'autre part, pour QS, en se basant sur les élections précédentes, ma répartition prédisait une surestimation et corrigeait en conséquence. Or QS n'a pas été surestimée. Ma répartition avait aussi pour effet d'accorder un plus fort appui au PQ. Là encore, ce n'était pas nécessaire. Ceci dit, comme les sondages faits par IVR (téléphone automatisé) ont très peu d'indécis, la répartition changeait surtout les résultats des sondages WEB ou WEB combiné avec téléphone.

Que penser? L'absence de surreprésentation de Québec Solidaire pointe peut-être vers une mobilisation différente de l'électorat (comme dans l'élection de Obama en 2008). Il faut se rappeler que chaque élection peut mobiliser des électeurs différents. En 2014, ce sont les non-francophones qui avaient été mobilisés par la Charte des valeurs proposée par le PQ. Cette fois-ci, on peut penser que les jeunes ont été plus mobilisés. Les analyses du DGEQ nous permettront de voir si cette hypothèse est validée. Toutefois, ces explications ne sont pas suffisantes pour expliquer l'ampleur de l'écart entre les sondages et le vote.

En conclusion

Historiquement, chaque erreur des sondages a permis de les améliorer, ceci évidemment à condition que l'on se retrousse les manches pour tenter de comprendre les raisons de l'échec, sur le plan technique et possiblement sur le plan politique. Y a-t-il eu des changements dans l'électorat dont les firmes n'ont pas pu tenir compte? Les erreurs sont-elles plus susceptibles de se produire quand deux partis sont proches? Les échantillons sont-ils représentatifs de la population socio-politiquement? Une enquête indépendante à laquelle les sondeurs collaboreraient serait certainement une bonne chose dans les circonstances. A défaut d'une telle enquête, on s'attend à ce que les sondeurs analysent la situation et nous reviennent avec leurs conclusions.

samedi 29 septembre 2018

A quoi s'attendre


Ce billet complète l'article paru aujourd'hui dans La Presse + Je présente d'abord l'évolution des intentions de vote pour l'ensemble du Québec, avec ou sans répartition non-proportionnelle des discrets, et chez les francophones. Enfin, j'aborde l'évolution par groupe d'âge.

L'évolution des intentions de vote

Même si j'utilise une méthodologie différente de celles des aggrégateurs, il y a évidemment convergence dans l'estimation de l'évolution des intentions de vote puisqu'elles sont basées sur les mêmes données de sondage.

Le graphique suivant montre l'évolution depuis le début août 2018. Il montre que les appuis à la CAQ ont chuté légèrement mais cette baisse s'est arrêtée au cours de la dernière semaine. Au final, on se retrouve avec la CAQ et le PLQ à égalité statistique.

Toutefois, nous savons depuis très longtemps que les sondages ont tendance à sous-estimer le PLQ. Depuis 2003, j'utilise une répartition non-proportionnelle des discrets où j'accorde 50% des discrets au PLQ et 25% au PQ et à la CAQ. Cette répartition a pour effet d'augmenter un peu les appuis au PLQ et au PQ et de faire diminuer les appuis à la CAQ et à QS. Depuis 2003, elle a toujours donné une meilleure estimation du vote (Je ne l'ai pas fait en 2008). Cette élection est peut-être différente mais je n'ai aucune base pour modifier la répartition que j'ai utilisée depuis 2003. Notons que cette répartition ne postule pas que les discrets se distribuent comme proposé mais qu'elle permet de compenser pour un ensemble de biais, entre autres dans l'estimation du vote des non-francophones.

Le graphique produit avec cette répartition met le PLQ très légèrement en avance sur la CAQ, tout autant à égalité statistique qu'avec une répartition proportionelle. Il sépare plus toutefois les intentions de vote pour le PQ et celle de QS, en donnant une avance plus conséquente au PQ.

Plusieurs sondeurs et commentateurs ont relevé l'importance du vote francophone. De fait, le graphique suivant montre la forte avance de la CAQ chez les francophones. Pendant la campagne, les appuis à la CAQ et au PLQ ont diminué un peu au profit du PQ et de QS.

Qui vote pour qui?

L'examen des intentions de vote par groupe d'âge est très instructif. Notons d'abord que, comme Mainstreet n'utilise pas les mêmes catégories d'âge que les autres sondeurs, il est nécessaire de faire des estimations. Je remercie Philippe J. Fournier de Qc125 pour le partage de ses estimations pour les 35 ans et +,

Les graphiques sont présentés par parti politique. D'abord, regardons les "vieux partis", le PQ d'abord puis le PLQ. On note qu'il y a peu de différences entre les groupes d'âge dans l'appui au PQ, à peine cinq points entre l'appui des plus jeunes et des plus vieux, et une évolution similaire, soit une stabilisation des appuis au cours des deux dernières semaines.

Pour ce qui est du PLQ, la situation est un peu différente. En début de campagne,  tout comme pour le PQ, il y a peu de différence dans l'appui selon les groupes d'âge. Puis le PLQ perd l'appui des jeunes et éventuellement en regagne une partie en fin de campagne. Ce qui est le plus frappant toutefois est la hausse des intentions de vote chez les 55 ans et plus au cours des derniers jours.

La situation est très différente pour les deux autres partis. D'abord la CAQ. Le graphique montre que la CAQ recueille des appuis également chez les 35-54 ans et chez les 55 ans et plus. Toutefoir, elle recueille nettement moins d'appui des 18-34 ans. Dans ce groupe d'âge, l'appui à la CAQ est de 10 à 12 points inférieure à celle des autres groupes d'âge.

La situation est à l'inverse pour QS. Les jeunes sont presque les seuls responsables de la montée des appuis à ce parti. Le parti est presque absent chez les 55 ans et plus. Chez les 35-54 ans, il a connu une légère remontée.

En conclusion

Bref, chez ceux qui ne veulent pas voter pour un des partis "traditionnels", il y a une forte séparation selon l'âge. Quel impact sur les résultats des élections? Comme je l'avais indiqué dans un tweet, sur les douze comtés qui comptent la plus forte proportion de jeunes, trois ont déjà un député de QS et quatre sont visés par ce parti (Hochelaga Maisonneuve, Laurier- Dorion, Taschereau et Sherbrooke. Il demeure toutefois que la force de la CAQ chez les francophones et chez deux des trois groupes d'âge lui donne un avantage hors centres urbains et particulièrement hors Montréal. Par contre, la remontée de l'appui au PLQ chez les 55 ans et plus et son appui chez les non-francophones peut réserver des surprises.

Toutefois, dans cette élection, les deux principaux partis sont à égalité et donc les sondages ne permettent pas de prédire les résultats de lundi. Il faut éviter de répéter l'erreur de l'élection présidentielle de 2016 où l'on avait prédit la victoire de Hillary Clinton alors qu'il y avait égalité statistique entre les deux candidats dans la très grande majorité des sondages de la dernière semaine.

Remerciements: A Luis Patricio Peña Ibarra pour une entrée des données minutieuse et constante.

vendredi 21 septembre 2018

D'ou vient le vent?


Ce blogue sera surtout consacré à une analyse des sources des changements dans les intentions de vote centrée sur le vote des jeunes et le vote des francophones. Il sera précédé d'un aperçu général.

J'attendais d'avoir au moins trois sources de données différentes pour faire d'autres analyses, question de valider sérieusement ce qui se passe. C'est fait. Nous avons maintenant des Mainstreet (que j'entre dans ma base de données une fois tous les trois jours seulement pour ne pas entrer trois fois la même information), un Léger et un CROP. Que disent-ils? Certaines contradictions entre les firmes se maintiennent et il suffit de deux nouveaux sondages pour changer l'allure des courbes mais on peut néammoins se fier au portrait des évolutions jusqu'à hier (tout en gardant en mémoire que les sondages ont été réalisés avant).

Un aperçu général

Le graphique suivant montre l'évolution des intentions de vote telles que publiées par les firmes. Les firmes font toutes une répartition proportionnelle des discrets, sauf pour ce qui est du dernier sondage CROP. Tel qu'expliqué par Monsieur Giguère, CROP a estimé les intentions de vote des discrets en se basant sur les intentions de vote des répondants non discrets similaires. Les informations que nous avons sur la manière de procéder ne sont pas encore très précises mais il s'agit d'une procédure statistique connue.

Le graphique montre clairement une baisse des appuis à la CAQ au cours des derniers jours, une légère remontée du PLQ et du PQ et une certaine stagnation de QS après une bonne remontée en début de campagne. Les points représentent les estimations de chaque sondage. Le point rouge à 37% et le point bleu tout près de la courbe de QS représentent les estimations récentes de CROP pour le PLQ et le PQ. Elles présentent des valeurs atypiques par rapport aux autres firmes mais seulement pour ces deux partis. Notez que ces points n'influencent pas beaucoup les courbes étant donnée la procédure utilisée qui donne moins de poids aux valeurs extrêmes.

On note que les courbes de la CAQ et du PLQ se croise. C'est encore plus évident si on utilise une répartition non proportionnelle des discrets (que je ne présente pas dans ce message de blogue).

D'où viennent les changements?

Je présente d'abord le graphique pour Québec solidaire parce qu'il est très parlant. Le graphique montre les intentions de vote pour QS pour l'ensemble de la population (ligne orange), pour les francophones seulement (ligne rouge) et pour les 18-34 ans (ligne bourgogne), telles que mesurées par les firmes de sondage. Il montre que la hausse des appuis à Québec solidaire vient presque exclusivement du groupe des 18-34 ans. Il y a eu une forte hausse en début de campagne mais elle semble s'être essouflée depuis. Qui a perdu au profit de Québec solidaire?

On a beaucoup parlé de l'appui des jeunes au PLQ. On s'attend à ce que l'adhésion d'une partie d'entre eux à QS se soit faite au détriment du PLQ. Voici donc le graphique pour le PLQ. La ligne orange montre que, dans la première moitié de la campagne, l'appui des jeunes au PLQ a dminué substantiellement. Toutefois, il semble y avoir eu une remontée dans les deux dernières semaines, ce qui explique en partie le plafonnement de QS. Il faut également noter sur cette courbe l'absence de mouvement dans les intentions de vote pour le PLQ chez les francophones jusqu'à date, l'estimation de CROP (29%) demeurant pour le moment une valeur extrême à moins qu'elle ne soit éventuellement validée.

Voyons maintenant ce qui s'est passé pour les deux autres partis. La CAQ d'abord. Les appuis à la CAQ sont en baisse depuis le début septembre selon les sondages publiés. Les jeunes sont nettement moins nombreux à voter pour la CAQ (près de 10 points de moins que l'ensemble de la population) et il y a eu une plus forte baisse de l'appui à la CAQ dans ce groupe. Au total, la baisse des appuis à la CAQ est présente également chez les francophones, une perte d'un peu plus de cinq points en moyenne.

Pour ce qui est du Parti Québecois, il a marqué des points (5-6 points de hausse) au cours des deux dernières semaines et ceci de façon à peu près équivalente chez les francophones et chez les jeunes. Les 18-34 ans sont moins enclins à voter pour le PQ que l'ensemble de la population ou des francophones mais l'écart (2-3 points) n'est pas aussi important que pour la CAQ.

Et les jeunes, donc?

Étant donné ce que nous venons de voir, j'ai pensé faire un graphique résumant l'évolution des appuis chez les 18-34 ans. Le graphique montre bien les divers mouvements mesurés chez les jeunes. Il faut évidemment être prudents parce que les marges d'erreur sont plus importantes que pour l'ensemble de la population (de 4 à 7 points selon les sondages). Il montre nettement plus de mouvement chez les jeunes, avec en début de campagne une hausse des appuis à QS qui se fait aux dépens du PLQ, puis une baisse des appuis à la CAQ qui profitent aux trois autres partis.

Quel est l'impact? Les 18-34 ans ne représentent que le quart de l'électorat potentiel et il est réparti relativement également dans l'ensemble des comtés. L'impact de leur vote est donc restreint. Toutefois, comme je l'ai indiqué dans un tweet hier, sur les 12 comtés comprenant le plus de jeunes, trois ont déjà des députés de QS (Gouin, Mercier et Sainte-Marie-Saint-Jacques) et trois sont dans la mire de QS, soit Laurier-Dorion, Hochelaga-Maisonneuve et Taschereau).

En conclusion
Les changements dans les appuis aux divers partis ne se répartissent pas également dans les divers groupes de la population et nos analyses doivent en tenir compte. Quel impact peut avoir le vote des jeunes? Celui des non-francophones? Cela dépend de la plus ou moins grande concentration des groupes dans les comtés et de la concentration des appuis au sein des groupes.