Translate

mercredi 1 août 2018

Québec 2018, la ligne de départ

Bonjour,

Juste avant de partir en vacances et alors qu'il n'y aura probablement pas de nouveaux sondages avant la troisième semaine d'août (pour éviter les échantillons biaisés), il m'a semblé intéressant de déterminer la "ligne de départ", l'état des intentions de vote avant le début officieux de la campagne.

J'en profite pour rappeler que ce qui m'intéresse est d'essayer d'estimer si les sondages seront fiables ou s'ils auront tendance à sous-estimer ou sur-estimer un parti. Pour ce faire, je m'intéresserai à la proportion et à la répartition des discrets, comme je l'ai fait depuis les élections de 1998. J'analyserai également les différences selon les modes d'administration -- WEB, IVR, téléphonique, mixte -- à la lumière des analyses que j'ai faites dans d'autres élections canadiennes et européennes. Notez que je ne m'intéresse pas à la prédiction du nombre de comtés que chaque parti pourrait obtenir. Mon expertise n'est pas là.

Première analyse: L'évolution des appuis selon les sondages publiés depuis juin 2017


Le premier graphique montre l'évolution des appuis aux différents partis en utilisant les données des sondages tels que publiés, après répartition proportionnelle des discrets. Les discrets sont constitués de l'ensemble des répondants qui ne révèlent pas leur intention de vote, soit qu'ils refusent de la révéler ou disent ne pas être décidés, ou ne pas vouloir voter. Les refus et indécis composent la majeure partie des discrets. Le graphique utilise les sondages de quatre firmes, soit Léger, Mainstreet et Ipsos et CROP. Les données des sondages faits par CROP depuis avril 2017 ont été rendus disponibles dernièrement par la firme.

Les estimations de chaque sondage sont représentées par les points sur le graphique. Les lignes représentent l'évolution estimée des intentions de vote, calculée à l'aide d'une procédure statistique de régression, à partir des estimations des sondages. Les firmes font toutes une répartition proportionnelle des discrets, ce qui revient à recalculer les pourcentages sur la base de ceux qui déclarent une intention de vote.

Le graphique montre que la CAQ aurait fait des gains de près de 10 points de pourcentage depuis juin 2017. Il montre également que ces gains ont surtout été faits aux dépens du Parti Québécois et de Québec Solidaire qui ont perdu chacun de quatre à cinq points durant la même période. Par contre, le PLQ n'a perdu qu'un peu plus de deux points de pourcentage. Ces divers mouvements se soldent par une avance de la CAQ sur le PLQ de près de sept points.


Notons toutefois une grande disparité dans les estimations des diverses firmes. Il arrive fréquemment de constater des écarts de cinq points entre les estimations de deux sondages réalisés durant la même période. On le voit autour d'octobre, par exemple, alors que deux sondages estiment l'appui au PLQ à 29% et un autre à 41%, soit un écart de 12 points. La même chose se produit pour le PQ en décembre alors qu'un sondage estime l'appui à 14% et un autre à 24%. Les estimations des appuis à la CAQ et à Québec Solidaire apparaissent plus similaires entre les firmes. La variabilité peut être liée au fait que la campagne n'est pas encore commencée. Elle peut également être liée aux méthodes utilisées par les diverses firmes, une question que je vais analyser dans un prochain message.

Qu'en est-il des francophones?

Le graphique suivant montre l'évolution des intentions de vote chez les francophones, définis habituellement par la langue maternelle. Il y a un an, les trois principaux partis étaient à égalité. Chez les francophones, la CAQ est le seul parti à avoir progressé et ceci, également aux dépens des trois autres partis. Le graphique montre le PLQ et le PQ sont à égalité chez les francophones, durant toute la période. Au final, les appuis à la CAQ approcheraient 45% alors que le PLQ et le PQ seraient à 20% et Québec Solidaire un peu au-dessus de 10%.

Beaucoup disent que ce sont les francophones qui décident des élections. J'aimerais noter que, au dans les années 1980, les francophones constituaient 82-83% de la population alors qu'ils n'en constituent plus que 77,4% selon les données du recensement de 2016. Par ailleurs, les francophones incluent maintenant des Africains, des Haïtiens, des Français, immigrés au Québec plus ou moins récemment. Enfin, contrairement à la situation qui prévalait en 1980, une beaucoup plus grande proportion d'immigrants, considérés dans les sondages comme des allophones, sont francisés. Bref, l'idée que la seule chose qui compte est le vote "francophone" mériterait une mise à jour.


L'évolution des appuis en faisant une répartition non-proportionnelle des discrets

Depuis l'élection de 2003, je fais une estimation de la répartition des intentions de vote des discrets dans laquelle j'attribue 50% des discrets au PLQ, 25% chacun au PQ et à la CAQ (anciennement à l'ADQ) et aucun aux autres partis. Cette répartition s'est révélée empiriquement juste puisqu'elle a permis une très bonne estimation de l'intention de vote lors des élections de 2003, 2007, 2012, et 2014. Pour ceux, celles qui ne sont pas familiers avec cette pratique, amenée historiquement par Maurice Pinard, puis Pierre Drouilly, je prépare une petite histoire de la répartition non-proportionnelle des discrets qui sera publiée sous peu.

Le prochain graphique présente d'abord l'évolution des intentions de vote avant toute répartition des discrets. Ce graphique ne comprend pas les sondages de Mainstreet réalisés en 2017 puisque, avant janvier 2018, Mainstreet ne publiait pas des informations comparables à celles des autres firmes. Heureusement, ce problème est maintenant réglé et les sondages de Mainstreet de 2018 sont inclus dans le graphique.

Comme on peut le constater, la proportion de discrets se situe autour de 20%, sans réelle évolution depuis janvier. Cette proportion est un plus élevée qu'en 2014: Dans les mois précédant cette élection, la proportion d'indécis s'est située autour de 15%. Avant répartition des indécis, la CAQ apparaît toujours avoir gagné 10 points pour atteindre 30%, le PLQ est presque stable à 25%, le PQ se situe autour de 15% et QS un peu en bas de 10%.



Voici maintenant le graphique après répartition non-proportionnelle des discrets. Il s'agit de l'hypothèse la plus plausible quant aux réelles intentions de vote. Le graphique montre une parfaite égalité dans les intentions de vote pour la CAQ et pour le PLQ à 35%. Le PQ se situe un peu au-dessous de 20% et Québec solidaire sous 10%.

Il s'agit de l'état plausible des intentions de vote à l'aube de la campagne. Plusieurs campagnes récentes -- Québec 2014, Canada 2015, entre autres -- ont montré que les campagnes peuvent changer des choses. En 2014, comme le montre mon message de blogue publié après l'élection, en utilisant la même répartition non-proportionnelle des discrets, le PLQ et le PQ avaient commencé la campagne à égalité à 35%. Les appuis au PLQ avaient augmenté à plus de 40%, puis s'étaient stabilisés. Les appuis à la CAQ avaient augmenté aux dépens des appuis au PQ de sorte que la CAQ et le PQ avaient terminé autour de 25%. La répartition non-proportionnelle donnait une prédiction parfaite des résultats du scrutin mais dans ce cas-là, elle n'était pas très différente de la répartition proportionnelle. Son effet était surtout de ne pas sous-estimer le PLQ et surestimer QS.



En conclusion

L'estimation utilisant l'hypothèse d'une répartition non-proportionnelle des intentions de vote des discrets donne une image différente de la situation à l'aube de la campagne électorale. Cette répartition a fait ses preuves mais il convient quand même de rappeler qu'en ce qui a trait aux campagnes électorales et aux élections, la passé n'est pas nécessairement garant de l'avenir. Les campagnes électorales ne se ressemblent pas nécessairement et elles peuvent certainement modifier les intentions de vote. Il demeure qu'il est possible qu'en ce moment, le PLQ et la CAQ soient nez à nez dans les intentions de vote.

lundi 19 mars 2018

Russia: The day after

Hi,

Finally, how did the polls fare in the Russian presidential election? First, let us revisit the graphs that I presented on Friday, based on all the polls conducted since the end of December. On average, the polls estimated Putin's support one week before the election -- there was a ban on publication of the polls during the last week -- slightly under 80%. The results published by the electoral Commission according to the newspaper Le Monde show that Putin received around 76.6% of the vote. Therefore,  the polls estimates are within the margin of error. The support of the two main opponents, Grudinin from the Communist Party, and Zhirinovski, an ultranationalist candidate, was generally estimated at around 6%. Zhirinovski's support was well estimated: he received 5.6% of the vote. However, Grudinin finished second, with 11.8% of the vote. He managed to get twice the support he was estimated to have.



I do not have the sample size for these surveys but if they had 1000 respondents, the margin of error for Putin would have been 2.5% and for Grudinin or Zhirinovski, around 1.5%. Therefore, we may conclude that the only support that was not estimated accurately is Grudinin's. It reminds of the difficulties pollster had to estimate the support for the Communist Party -- and extreme left in general -- in some European countries during the Cold War, a difficulty that has since been replaced by a similar difficulty to estimate the extreme-right. Only one poll had put Grudinin at more than 10%, the one conducted by CIPKR at the end of February.

The support for all the other candidates, including Xenia Sobchak, was generally estimated  to be under 2%. Sobchak had two higher estimates, one at 2.3% by WCIOM, and one at 4.3% by CIPKR. She got 1.5%. Navalny's support was estimated at 1% at the end of December, just before he was banned from running. Of course, we do not know how he would have fared if he had run, but from the beginning, in this election, there were  two "main opponents" to Putin according to the polls, i.e., Grudinin and Zhirinovski.

What about pollsters?

The following graph compares the estimates from the different pollsters. It shows that, while FOM estimated Putin's support at around 75%, WCIOM tended to slightly overestimate the support, putting it at more than 80%.


However, in the exit polls, WCIOM had a slightly lower estimate of Putin's support, at 73.9% compared to 76.3% for FOM (see below the estimate from WCIOM). Both estimates were within the margin of error or close. And the estimates for Grudinin and Zhirinovski are quite accurate. It is rather impressive given the difficulty to conduct exit polls with a population scattered over such a large territory. In Canada, with a similar scattered population over a large territory, pollsters do not conduct exit polls.



Finally, the turnout was 67.5%. It is quite close to the estimates that I saw from WCIOM, i.e., 70% of respondents reporting that they would go vote for sure. As elsewhere, there is a tendency for respondents to over report their intention to vote or their vote -- or else, people who do not vote tend not to answer polls.

Conclusion

Finally, the pollsters fared rather well in their estimation of the vote, except for Grudinin, whom they clearly underestimated. However, since the polls could not be published during the last week, one could speculate that there was some movement during that week. Such an eventuality is unlikely however since there was no huge movement during the whole campaign.The exit polls were very good. However the pollsters will have to try to understand how come they underestimated voting intention for the Grudinin.




vendredi 16 mars 2018

Russia: The Day before

Hi,

Although the results of the Russian presidential election are quite known in advance, it is  nevertheless interesting to see what the polls tell and how they will fare.

I took all the results of all the polls referred to on Wikipedia since the end of December 2017. I added more recent polls that I found on the pollsters' web sites. There is an embargo on the publication of polls in Russia during the last week of the Campaign. The last poll I found was conducted by FOM and ended on March 11.

There are two "serious pollsters" who conducted polls almost every week, i.e. WCIOM and FOM. In addition two polls were conducted by the "Center of research on political culture of Russia" (CIPKR) and three polls were conducted by people around Navalny. These polls seem to have been conducted by Navalny's partisans and it is not sure at all that the methodology is scientific. However, since the results of these polls are not different from the results of other polls, there is no serious justification not to keep them in.The statistical procedure that I use is the same as the one I used in many recent elections, i.e., local regression (loess).

The first graph shows voting intentions for the main candidates, including non-disclosers, i.e., respondents who say that they will abstain, that they will void their ballot or that they do not know whom they will vote for. It shows that voting intentions are quite stable with Putin always close to 70%. The two other most important candidates, Grudinin and Zhirinovski get less than 5% and the rest of the candidates together get also less than 5%. The non-disclosers are also quite stable, at a level somewhat lower than 20%.


However, since the proportion of non-disclosers varies with pollsters and with polls, it is necessary to exclude them in order to examine the proportion of support for each candidate after excluding the non-disclosers. In this way the total support for all the candidates is 100% for all polls. The next figure shows the support for the same candidates excluding the non-disclosers. It shows Putin's support around 80%, perhaps decreasing a bit in the last weeks. The support for Grudinin and Zhirinovski is stable at 5% as is the support for the total of the other candidates.




Finally, one interesting question is whether the pollsters give the same estimation of the support for Putin. The following figure presents the estimates from WCIOM, FOM, CIPKR and FBK. There are trend lines only for WCIOM and FOM because they are the only two who conducted enough polls. In the following graph, the blue line is the trend line from the WCIOM polls and the green line, from the FOM polls, We also see two violet larger dots illustrating the CIPKR estimates, and three larger red dots illustrating the FBK (Navalny's group) estimates. The figure shows that the CIPKR tended to put Putin lower than the other pollsters and that FOM estimates that support for Putin is decreasing (from 83% in December to 75% on March 11). On the contrary, WCIOM estimates that Putin's support is stable at around 82%. In the end, there is a difference of 6-7 points between the estimates.

Conclusion

It will be interesting to see whether the Russian pollsters, particularly WCIOM and FOM managed to predict the support for the different candidates well. It is problematic that there is a ban on the publication of polls during the last week since we will not be able to estimate the reliability of polls and we cannot know whether the trend estimated by FOM went on during the last days or else, if support for Putin is stable, as estimated by WCIOM.

Unfortunately, I do not read Russian well enough (I read the numbers, at least 😊 and I get help from google translate) to examine the possible differences in the polls' methodology. I am open to receiving more information, in French or in English, on this question.

The main question on Sunday will be the turnout. In the WCIOM polls, about 70% say that they will go vote for sure. These figures are close to what we get in many established democracies. However, research shows that turnout is higher when elections are close races, which is not the case here. It will be a challenge to mobilize voters.