Québec 2022: lendemain d'élection

 Bonjour,

Ce message  présente une analyse de la "performance" des sondages lors de la dernière élection. J'analyse d'abord la performance globale des sondages puis je me penche sur la question des méthodes et donc des firmes puisque celles-ci ont adopté des méthodes différentes.

Le graphique montre que la performance globale des sondages, estimée à partir d'une analyse de l'ensemble des sondages, est globalement très bonne. Notons que ce type d'analyse donne un poids égal à chaque sondage, quelle que soit la taille de l'échantillon, mais qu'elle donne moins de poids aux estimations qui s'écartent significativement des autres.

En fin de course, les sondages estimaient les appuis à Québec Solidaire (QS) légèrement inférieurs à ceux du Parti Québécois (PQ), soit 14% comparé à 15%. Les résultats montrent l'inverse, soit un plus fort appui à QS. On note une légère sous-estimation des appuis à QS et une estimation parfaite des appuis au PQ. Enfin, les appuis à la CAQ, estimés à 40%,  sont légèrement sous-estimés également.

On note une surestimation du vote pour le Parti Libéral du Québec (PLQ), estimé à 16% alors qu'il a obtenu 14%, une situation historiquement rare mais... qui s'était déjà produite en 2018. On peut sans doute conclure que la situation "historique" a changé. On pourrait aussi penser que cet écart est du à une participation moindre des électeurs du PLQ, une hypothèse qui se vérifie dans plusieurs comtés remportés par le PLQ où la participation au vote est inférieure à la moyenne québécoise..

L'appui au Parti Conservateur (PCQ) est également surestimé légèrement (15% comparé à 13%). Dans ce cas, les sondages montraient les appuis en baisse au cours de la dernière semaine. On peut penser que la baisse s'est poursuivie. Il est également possible que les électeurs du PCQ votent moins.

Il demeure que l'on parle de légers écarts entre les estimations globales des sondages et le vote, avec des écarts maximaux d'environ deux pour cent.

Qu'en est-il des méthodes et des firmes?

Je m'abstiens habituellement de "personnaliser" les analyses d'autant plus que le critère d'un bon sondage est le fait que ses estimations se retrouvent à l'intérieur de la marge d'erreur. Il faut de plus se rappeler que les sondages ont une marge d'erreur ou à tout le moins un intervalle de crédibilité, terme que l'on utilise de préférence pour les sondages Web utilisant des panels de volontaires. Deux sondages dont les estimations sont à l'intérieur de la marge d'erreur ont des estimations équivalentes même si une estimation est plus proche du résultat que l'autre. C'est une question de hasard.

Quatre firmes ont publié des sondages dimanche. Deux utilisent le Web comme mode de collecte et deux sont des sondages téléphoniques automatisés, ce qu'on appelle parfois des robocalls ou IVR pour Interactive Voice Response. Les firmes se distinguent également par des sources d'échantillons différentes. Pour ce qui est du Web, par exemple, Léger utilise son propre panel alors que Research co. utilise deux sources de données avec des méthodes plus probabilistes. Pour ce qui est des sondages robotisés, Mainstreet dit utiliser sa propre base de sondage et nous avons peu d'informations sur Forum. Habituellement, comme ce sont des sondages téléphoniques, les bases de sondage sont produites par sélection au hasard des numéros de téléphone attribués.

Comme le montre le tableau suivant, les performances varient selon les partis. 

• Deux firmes ont des estimations significativement trop basses pour la CAQ, soit Léger et Forum. 
• Pour ce qui est de QS, un parti pour lequel il y avait une différence systématique entre Léger et Mainstreet tout au long de la campagne, c'est clairement Léger qui aura eu raison avec une estimation de 15% comparée à 12% pour Mainstreet.
• Pour le PQ, Léger et Mainstreet sont tous les deux à l'intérieur de la marge d'erreur. Par contre, Research co. a une estimation significativement trop basse -- à 12% -- et Forum, trop haute, à 17,2%
• Pour le PLQ, toutes les firmes surestiment les appuis, ce qui peut laisser penser que d'autres phénomènes, comme la participation des électeurs, sont intervenus. Dans ce cas, seul Léger est significativement trop élevé. 
• Enfin, pour le PCQ aussi, toutes les firmes ont des estimations trop élevées, mais dans ce cas, Léger et Forum sont à l'intérieur de la marge d'erreur. Là encore, Léger et Mainstreet se sont distingués significativement pendant la campagne et ce sont les estimations de Léger qui sont les meilleures. On a pu penser que c'était une question de mode d'administration mais Forum, avec une mode similaire à Mainstreet, produit une très bonne estimation. 

En conclusion,

Avec quatre partis presque à égalité, le défi était important pour les sondeurs. Ils s'en sont très bien tirés en général. On peut difficilement parler de biais systématique. Les écarts que l'on note, même lorsqu'ils sont à l'extérieur de la marge d'erreur, ne sont pas importants. Par ailleurs, comme tous ces sondeurs ont fait des sondages dans les derniers jours de la campagne, ils ont pu capté de possibles changements de dernière minute, mais pas tous. Et ils peuvent difficilement prendre en compte une  participation au vote qui peut varier selon les partis.