Québec 2022: lendemain d'élection

 Bonjour,

Ce message  présente une analyse de la "performance" des sondages lors de la dernière élection. J'analyse d'abord la performance globale des sondages puis je me penche sur la question des méthodes et donc des firmes puisque celles-ci ont adopté des méthodes différentes.

Le graphique montre que la performance globale des sondages, estimée à partir d'une analyse de l'ensemble des sondages, est globalement très bonne. Notons que ce type d'analyse donne un poids égal à chaque sondage, quelle que soit la taille de l'échantillon, mais qu'elle donne moins de poids aux estimations qui s'écartent significativement des autres.

En fin de course, les sondages estimaient les appuis à Québec Solidaire (QS) légèrement inférieurs à ceux du Parti Québécois (PQ), soit 14% comparé à 15%. Les résultats montrent l'inverse, soit un plus fort appui à QS. On note une légère sous-estimation des appuis à QS et une estimation parfaite des appuis au PQ. Enfin, les appuis à la CAQ, estimés à 40%,  sont légèrement sous-estimés également.

On note une surestimation du vote pour le Parti Libéral du Québec (PLQ), estimé à 16% alors qu'il a obtenu 14%, une situation historiquement rare mais... qui s'était déjà produite en 2018. On peut sans doute conclure que la situation "historique" a changé. On pourrait aussi penser que cet écart est du à une participation moindre des électeurs du PLQ, une hypothèse qui se vérifie dans plusieurs comtés remportés par le PLQ où la participation au vote est inférieure à la moyenne québécoise..

L'appui au Parti Conservateur (PCQ) est également surestimé légèrement (15% comparé à 13%). Dans ce cas, les sondages montraient les appuis en baisse au cours de la dernière semaine. On peut penser que la baisse s'est poursuivie. Il est également possible que les électeurs du PCQ votent moins.

Il demeure que l'on parle de légers écarts entre les estimations globales des sondages et le vote, avec des écarts maximaux d'environ deux pour cent.

Qu'en est-il des méthodes et des firmes?

Je m'abstiens habituellement de "personnaliser" les analyses d'autant plus que le critère d'un bon sondage est le fait que ses estimations se retrouvent à l'intérieur de la marge d'erreur. Il faut de plus se rappeler que les sondages ont une marge d'erreur ou à tout le moins un intervalle de crédibilité, terme que l'on utilise de préférence pour les sondages Web utilisant des panels de volontaires. Deux sondages dont les estimations sont à l'intérieur de la marge d'erreur ont des estimations équivalentes même si une estimation est plus proche du résultat que l'autre. C'est une question de hasard.

Quatre firmes ont publié des sondages dimanche. Deux utilisent le Web comme mode de collecte et deux sont des sondages téléphoniques automatisés, ce qu'on appelle parfois des robocalls ou IVR pour Interactive Voice Response. Les firmes se distinguent également par des sources d'échantillons différentes. Pour ce qui est du Web, par exemple, Léger utilise son propre panel alors que Research co. utilise deux sources de données avec des méthodes plus probabilistes. Pour ce qui est des sondages robotisés, Mainstreet dit utiliser sa propre base de sondage et nous avons peu d'informations sur Forum. Habituellement, comme ce sont des sondages téléphoniques, les bases de sondage sont produites par sélection au hasard des numéros de téléphone attribués.

Comme le montre le tableau suivant, les performances varient selon les partis. 

• Deux firmes ont des estimations significativement trop basses pour la CAQ, soit Léger et Forum. 
• Pour ce qui est de QS, un parti pour lequel il y avait une différence systématique entre Léger et Mainstreet tout au long de la campagne, c'est clairement Léger qui aura eu raison avec une estimation de 15% comparée à 12% pour Mainstreet.
• Pour le PQ, Léger et Mainstreet sont tous les deux à l'intérieur de la marge d'erreur. Par contre, Research co. a une estimation significativement trop basse -- à 12% -- et Forum, trop haute, à 17,2%
• Pour le PLQ, toutes les firmes surestiment les appuis, ce qui peut laisser penser que d'autres phénomènes, comme la participation des électeurs, sont intervenus. Dans ce cas, seul Léger est significativement trop élevé. 
• Enfin, pour le PCQ aussi, toutes les firmes ont des estimations trop élevées, mais dans ce cas, Léger et Forum sont à l'intérieur de la marge d'erreur. Là encore, Léger et Mainstreet se sont distingués significativement pendant la campagne et ce sont les estimations de Léger qui sont les meilleures. On a pu penser que c'était une question de mode d'administration mais Forum, avec une mode similaire à Mainstreet, produit une très bonne estimation. 

En conclusion,

Avec quatre partis presque à égalité, le défi était important pour les sondeurs. Ils s'en sont très bien tirés en général. On peut difficilement parler de biais systématique. Les écarts que l'on note, même lorsqu'ils sont à l'extérieur de la marge d'erreur, ne sont pas importants. Par ailleurs, comme tous ces sondeurs ont fait des sondages dans les derniers jours de la campagne, ils ont pu capté de possibles changements de dernière minute, mais pas tous. Et ils peuvent difficilement prendre en compte une  participation au vote qui peut varier selon les partis.

Mise à jour pré-électorale

 Bonjour,

Parfois, il faut faire des analyses en utilisant la méthode "just in time", soit à la dernière minute. Trois nouveaux sondages aujourd'hui, soit un de Léger, de même que les derniers sondages de Mainstreet et de Research Co. dont les entrevues se sont terminées aujourd'hui.

Je présente les mêmes graphiques qu'hier en intégrant ces sondages.

Pour ce qui est de l'ensemble du Québec, la remontée du Parti Québécois (PQ) apparaît confirmée par les derniers sondages de même qu'une légère baisse des appuis à Québec Solidaire (QS) et au Parti Conservateur (PCQ). Par contre, les appuis au Parti Libéral du Québec (PLQ) apparaissent stables après intégration des derniers sondages. Rappelons qu'avant cette intégration, le PLQ apparaissait en montée. La stabilité de la CAQ est également confirmée.

Il reste que quatre partis sont à quasi égalité. Par contre, les différences entre les firmes demeurent. Si on tient compte uniquement des trois derniers sondages, l'estimation des appuis à QS varie de 12 pour cent (Mainstreet à 15 pour cent (Léger) et l'estimation des appuis au PQ varie de la même manière (12% pour Research co. et 15% pour Léger). Notons que ces estimations se situent quand même à l'intérieur de la marge d'erreur de ces sondages. Par contre, les estimations pour les trois autres partis sont similaires -- entre 15% et 17% pour le PLQ, entre 14% et 17% pour le PC et entre 38% et 41% pour la CAQ.

Par contre, dans la RMR de Montréal, il y a de fortes différences. On peut les attribuer en partie à des marges d'erreur plus élevées étant donné les petites tailles d'échantillon mais pas uniquement. Comme pour l'ensemble du Québec, on note une remontée du PQ, une légère baisse de QS et du PCQ et une stabilité de la CAQ et du PLQ. Par contre, les estimations des appuis à la CAQ varient de 29% (Research co.) à 40% (Mainstreet) et celles des appuis au PLQ de 20% (Mainstreet) à 26% (Léger). Pour le PCQ, on parle de 10% (Léger) , 12% (Mainstreet) et 18% (Research co.). Les écarts sont moins importants pour les autres partis. Ils sont entre autres similaires pour le PQ (12-13%).

En conclusion,

Bien que le grand gagnant est connu, cette élection sera très intéressante, du moins pour les analystes des sondages et de leur méthodologie. Comme les sondages ont été menés jusqu'à la dernière journée ou presque, ils ont normalement pu détecter les derniers mouvements. Toutefois, les recherches montrent que l'augmentation du nombre de partis augmente la fluidité du vote. On peut penser que les intentions de vote qu'il n'est pas trop difficile de passer de certains partis à d'autres en fonction d'un certain nombre de paramètres dont la situation dans le comté de l'électeur et l'importance que celui-ci ou celle-ci accorde à certains enjeux.

Certains partis sont-ils susceptibles d'être sous-estimés ou sur-estimés par les sondages? Historiquement, au Québec, le PLQ a été souvent sous-estimé. Par contre, dans plusieurs pays, les sondages ont de la difficulté à estimer les partis qui sont aux "extrêmes". Bref, au moins trois partis à surveiller, du moins pour moi.

Je ferai un bilan des sondages le lendemain de l'élection, quand suffisamment de résultats seront connus.

Au plaisir

Note: Remerciement à Shawn Leroux, qui a entré les données tout au long de la campagne.

Québec 2022: Où en sommes-nous?

Bonjour,

Je tente de m'y retrouver dans les sondages publiés depuis les deux dernières semaines... et c'est un peu difficile.

J'ai publié cet article dans La Presse aujourd'hui :  Où en sommes-nous dans les sondages et les intentions de vote? Dans ce message de blog, je résume l'article et j'y ajoute quelques graphiques, ce qui devrait rendre les informations chiffrées un peu moins indigestes.

L'évolution des intentions de vote

Comme le montrent les graphiques suivants, les sondages laissent croire à une remontée des partis plus "traditionnels", soit le Parti Libéral du Québec (PLQ) et le Parti Québécois (PQ). Ils montrent aussi que la Coalition Avenir Québec (CAQ) aurait perdu des appuis après le débat de TVA mais les aurait regagnés après, ce qui l'amène au même niveau qu'en début de campagne, à 40%.

Par contre, le PQ a clairement haussé ses appuis de façon soutenue depuis le début de la campagne. Il serait à plus de 12% d'appuis. Pour le PLQ, il semble y avoir eu une légère baisse après le débat de TVA mais les appuis augmentent depuis et seraient à plus de 17%.  

Québec Solidaire (QS) aurait augmenté ses appuis après le débat de TVA mais  apparaît maintenant en baisse et se retrouve au même niveau que le PQ.

Les appuis au Parti Conservateur (PCQ) sont restés stables jusqu'à tout dernièrement mais sont en baisse depuis le dernier débat et maintenant moins élevés que les appuis au PLQ.

Il faut toutefois être très prudent parce que ces tendances cachent des différences importantes entre les firmes de sondage. J'aborde cette question plus loin dans le texte.

Et à Montréal?

La RMR de Montréal est la seule région où il est possible de faire des analyses fiables étant donné la taille des échantillons et les disparités entre les firmes de sondage. Le graphique suivant montre que les tendances à l'échelle du Québec apparaissent encore plus prononcées à Montréal.

Les analyses confirment que le PLQ est en remontée et que les appuis au PCQ et à QS sont en diminution. Les appuis au PQ, par contre, apparaissent relativement stables depuis le débat de TVA. Les appuis à la CAQ ont fluctué autour de 35% depuis avant les débats. Ceci amène la CAQ à 35%, le PLQ à 25% et les trois autres partis autour de 12% dans la grande région de Montréal.

Oui mais? Les différences entre les firmes

Comme le montre le tableau suivant, les différences entre les firmes sont importantes. Pour les firmes qui ont effectué un seul sondage, il faut tenir compte du moment où celui-ci a été effectué. Les sondages de Segma, Research co. et Ekos ont été effectués avant le débat de Radio-Canada. Or celui-ci semble avoir eu un impact. 

Il demeure que l'estimation des appuis à QS varie de 12% (Mainstreet) à 21% (EKOS), que celle du PC varie de 12% à 19% et que celle du PQ varie de 9% à 15%. De telles différences sont assez rares en campagne électorale. Les différences sont moins importantes - et non significatives -- pour le PLQ et la CAQ. On remarque que les différences les plus importantes se produisent pour les deux partis des "extrêmes" -- QS et le PCQ. C'est une situation qui se produit fréquemment. Les sondages ont souvent de la difficulté à rejoindre les partisans des partis les plus extrêmes. Dans le cas qui nous occupe, les firmes ont des méthodologies et des sources d'échantillon différentes de telle sorte qu'on ne peut pas vraiment attribuer les différences aux modes d'administration. De plus, il faudrait plusieurs sondages de chaque firme pour évaluer avec fiabilité la provenance des différences.

Où en sommes-nous?

Il faut rappeler qu'en 2018, 36% des répondants au sondage post-électoral que nous avions fait, mon collègue André Blais et moi-même, avaient déclaré avoir pris leur décision finale de vote durant la dernière fin de semaine ou même le jour du vote ou dans l'isoloir. Pour ce qui est de ceux qui avaient changé leur intention de vote entre le moment du sondage pré-électoral, une semaine avant la fin de la campagne, et le sondage post-électoral, la proportion allait jusqu'à plus de 70%. Les proportions sont similaires pour ceux qui étaient indécis durant la campagne et qui ont voté pour un parti.

Les intentions de vote peuvent dont encore changer en fin de campagne. Au moins trois sondages -- Léger, Mainstreet et Research co. -- seront publiés d'ici la fin de la journée demain. Je ferai donc un autre billet demain pour intégrer l'ensemble des nouvelles estimations.