Québec 2022: lendemain d'élection

 Bonjour,

Ce message  présente une analyse de la "performance" des sondages lors de la dernière élection. J'analyse d'abord la performance globale des sondages puis je me penche sur la question des méthodes et donc des firmes puisque celles-ci ont adopté des méthodes différentes.

Le graphique montre que la performance globale des sondages, estimée à partir d'une analyse de l'ensemble des sondages, est globalement très bonne. Notons que ce type d'analyse donne un poids égal à chaque sondage, quelle que soit la taille de l'échantillon, mais qu'elle donne moins de poids aux estimations qui s'écartent significativement des autres.

En fin de course, les sondages estimaient les appuis à Québec Solidaire (QS) légèrement inférieurs à ceux du Parti Québécois (PQ), soit 14% comparé à 15%. Les résultats montrent l'inverse, soit un plus fort appui à QS. On note une légère sous-estimation des appuis à QS et une estimation parfaite des appuis au PQ. Enfin, les appuis à la CAQ, estimés à 40%,  sont légèrement sous-estimés également.

On note une surestimation du vote pour le Parti Libéral du Québec (PLQ), estimé à 16% alors qu'il a obtenu 14%, une situation historiquement rare mais... qui s'était déjà produite en 2018. On peut sans doute conclure que la situation "historique" a changé. On pourrait aussi penser que cet écart est du à une participation moindre des électeurs du PLQ, une hypothèse qui se vérifie dans plusieurs comtés remportés par le PLQ où la participation au vote est inférieure à la moyenne québécoise..

L'appui au Parti Conservateur (PCQ) est également surestimé légèrement (15% comparé à 13%). Dans ce cas, les sondages montraient les appuis en baisse au cours de la dernière semaine. On peut penser que la baisse s'est poursuivie. Il est également possible que les électeurs du PCQ votent moins.

Il demeure que l'on parle de légers écarts entre les estimations globales des sondages et le vote, avec des écarts maximaux d'environ deux pour cent.

Qu'en est-il des méthodes et des firmes?

Je m'abstiens habituellement de "personnaliser" les analyses d'autant plus que le critère d'un bon sondage est le fait que ses estimations se retrouvent à l'intérieur de la marge d'erreur. Il faut de plus se rappeler que les sondages ont une marge d'erreur ou à tout le moins un intervalle de crédibilité, terme que l'on utilise de préférence pour les sondages Web utilisant des panels de volontaires. Deux sondages dont les estimations sont à l'intérieur de la marge d'erreur ont des estimations équivalentes même si une estimation est plus proche du résultat que l'autre. C'est une question de hasard.

Quatre firmes ont publié des sondages dimanche. Deux utilisent le Web comme mode de collecte et deux sont des sondages téléphoniques automatisés, ce qu'on appelle parfois des robocalls ou IVR pour Interactive Voice Response. Les firmes se distinguent également par des sources d'échantillons différentes. Pour ce qui est du Web, par exemple, Léger utilise son propre panel alors que Research co. utilise deux sources de données avec des méthodes plus probabilistes. Pour ce qui est des sondages robotisés, Mainstreet dit utiliser sa propre base de sondage et nous avons peu d'informations sur Forum. Habituellement, comme ce sont des sondages téléphoniques, les bases de sondage sont produites par sélection au hasard des numéros de téléphone attribués.

Comme le montre le tableau suivant, les performances varient selon les partis. 

• Deux firmes ont des estimations significativement trop basses pour la CAQ, soit Léger et Forum. 
• Pour ce qui est de QS, un parti pour lequel il y avait une différence systématique entre Léger et Mainstreet tout au long de la campagne, c'est clairement Léger qui aura eu raison avec une estimation de 15% comparée à 12% pour Mainstreet.
• Pour le PQ, Léger et Mainstreet sont tous les deux à l'intérieur de la marge d'erreur. Par contre, Research co. a une estimation significativement trop basse -- à 12% -- et Forum, trop haute, à 17,2%
• Pour le PLQ, toutes les firmes surestiment les appuis, ce qui peut laisser penser que d'autres phénomènes, comme la participation des électeurs, sont intervenus. Dans ce cas, seul Léger est significativement trop élevé. 
• Enfin, pour le PCQ aussi, toutes les firmes ont des estimations trop élevées, mais dans ce cas, Léger et Forum sont à l'intérieur de la marge d'erreur. Là encore, Léger et Mainstreet se sont distingués significativement pendant la campagne et ce sont les estimations de Léger qui sont les meilleures. On a pu penser que c'était une question de mode d'administration mais Forum, avec une mode similaire à Mainstreet, produit une très bonne estimation. 

En conclusion,

Avec quatre partis presque à égalité, le défi était important pour les sondeurs. Ils s'en sont très bien tirés en général. On peut difficilement parler de biais systématique. Les écarts que l'on note, même lorsqu'ils sont à l'extérieur de la marge d'erreur, ne sont pas importants. Par ailleurs, comme tous ces sondeurs ont fait des sondages dans les derniers jours de la campagne, ils ont pu capté de possibles changements de dernière minute, mais pas tous. Et ils peuvent difficilement prendre en compte une  participation au vote qui peut varier selon les partis.

Mise à jour pré-électorale

 Bonjour,

Parfois, il faut faire des analyses en utilisant la méthode "just in time", soit à la dernière minute. Trois nouveaux sondages aujourd'hui, soit un de Léger, de même que les derniers sondages de Mainstreet et de Research Co. dont les entrevues se sont terminées aujourd'hui.

Je présente les mêmes graphiques qu'hier en intégrant ces sondages.

Pour ce qui est de l'ensemble du Québec, la remontée du Parti Québécois (PQ) apparaît confirmée par les derniers sondages de même qu'une légère baisse des appuis à Québec Solidaire (QS) et au Parti Conservateur (PCQ). Par contre, les appuis au Parti Libéral du Québec (PLQ) apparaissent stables après intégration des derniers sondages. Rappelons qu'avant cette intégration, le PLQ apparaissait en montée. La stabilité de la CAQ est également confirmée.

Il reste que quatre partis sont à quasi égalité. Par contre, les différences entre les firmes demeurent. Si on tient compte uniquement des trois derniers sondages, l'estimation des appuis à QS varie de 12 pour cent (Mainstreet à 15 pour cent (Léger) et l'estimation des appuis au PQ varie de la même manière (12% pour Research co. et 15% pour Léger). Notons que ces estimations se situent quand même à l'intérieur de la marge d'erreur de ces sondages. Par contre, les estimations pour les trois autres partis sont similaires -- entre 15% et 17% pour le PLQ, entre 14% et 17% pour le PC et entre 38% et 41% pour la CAQ.

Par contre, dans la RMR de Montréal, il y a de fortes différences. On peut les attribuer en partie à des marges d'erreur plus élevées étant donné les petites tailles d'échantillon mais pas uniquement. Comme pour l'ensemble du Québec, on note une remontée du PQ, une légère baisse de QS et du PCQ et une stabilité de la CAQ et du PLQ. Par contre, les estimations des appuis à la CAQ varient de 29% (Research co.) à 40% (Mainstreet) et celles des appuis au PLQ de 20% (Mainstreet) à 26% (Léger). Pour le PCQ, on parle de 10% (Léger) , 12% (Mainstreet) et 18% (Research co.). Les écarts sont moins importants pour les autres partis. Ils sont entre autres similaires pour le PQ (12-13%).

En conclusion,

Bien que le grand gagnant est connu, cette élection sera très intéressante, du moins pour les analystes des sondages et de leur méthodologie. Comme les sondages ont été menés jusqu'à la dernière journée ou presque, ils ont normalement pu détecter les derniers mouvements. Toutefois, les recherches montrent que l'augmentation du nombre de partis augmente la fluidité du vote. On peut penser que les intentions de vote qu'il n'est pas trop difficile de passer de certains partis à d'autres en fonction d'un certain nombre de paramètres dont la situation dans le comté de l'électeur et l'importance que celui-ci ou celle-ci accorde à certains enjeux.

Certains partis sont-ils susceptibles d'être sous-estimés ou sur-estimés par les sondages? Historiquement, au Québec, le PLQ a été souvent sous-estimé. Par contre, dans plusieurs pays, les sondages ont de la difficulté à estimer les partis qui sont aux "extrêmes". Bref, au moins trois partis à surveiller, du moins pour moi.

Je ferai un bilan des sondages le lendemain de l'élection, quand suffisamment de résultats seront connus.

Au plaisir

Note: Remerciement à Shawn Leroux, qui a entré les données tout au long de la campagne.

Québec 2022: Où en sommes-nous?

Bonjour,

Je tente de m'y retrouver dans les sondages publiés depuis les deux dernières semaines... et c'est un peu difficile.

J'ai publié cet article dans La Presse aujourd'hui :  Où en sommes-nous dans les sondages et les intentions de vote? Dans ce message de blog, je résume l'article et j'y ajoute quelques graphiques, ce qui devrait rendre les informations chiffrées un peu moins indigestes.

L'évolution des intentions de vote

Comme le montrent les graphiques suivants, les sondages laissent croire à une remontée des partis plus "traditionnels", soit le Parti Libéral du Québec (PLQ) et le Parti Québécois (PQ). Ils montrent aussi que la Coalition Avenir Québec (CAQ) aurait perdu des appuis après le débat de TVA mais les aurait regagnés après, ce qui l'amène au même niveau qu'en début de campagne, à 40%.

Par contre, le PQ a clairement haussé ses appuis de façon soutenue depuis le début de la campagne. Il serait à plus de 12% d'appuis. Pour le PLQ, il semble y avoir eu une légère baisse après le débat de TVA mais les appuis augmentent depuis et seraient à plus de 17%.  

Québec Solidaire (QS) aurait augmenté ses appuis après le débat de TVA mais  apparaît maintenant en baisse et se retrouve au même niveau que le PQ.

Les appuis au Parti Conservateur (PCQ) sont restés stables jusqu'à tout dernièrement mais sont en baisse depuis le dernier débat et maintenant moins élevés que les appuis au PLQ.

Il faut toutefois être très prudent parce que ces tendances cachent des différences importantes entre les firmes de sondage. J'aborde cette question plus loin dans le texte.

Et à Montréal?

La RMR de Montréal est la seule région où il est possible de faire des analyses fiables étant donné la taille des échantillons et les disparités entre les firmes de sondage. Le graphique suivant montre que les tendances à l'échelle du Québec apparaissent encore plus prononcées à Montréal.

Les analyses confirment que le PLQ est en remontée et que les appuis au PCQ et à QS sont en diminution. Les appuis au PQ, par contre, apparaissent relativement stables depuis le débat de TVA. Les appuis à la CAQ ont fluctué autour de 35% depuis avant les débats. Ceci amène la CAQ à 35%, le PLQ à 25% et les trois autres partis autour de 12% dans la grande région de Montréal.

Oui mais? Les différences entre les firmes

Comme le montre le tableau suivant, les différences entre les firmes sont importantes. Pour les firmes qui ont effectué un seul sondage, il faut tenir compte du moment où celui-ci a été effectué. Les sondages de Segma, Research co. et Ekos ont été effectués avant le débat de Radio-Canada. Or celui-ci semble avoir eu un impact. 

Il demeure que l'estimation des appuis à QS varie de 12% (Mainstreet) à 21% (EKOS), que celle du PC varie de 12% à 19% et que celle du PQ varie de 9% à 15%. De telles différences sont assez rares en campagne électorale. Les différences sont moins importantes - et non significatives -- pour le PLQ et la CAQ. On remarque que les différences les plus importantes se produisent pour les deux partis des "extrêmes" -- QS et le PCQ. C'est une situation qui se produit fréquemment. Les sondages ont souvent de la difficulté à rejoindre les partisans des partis les plus extrêmes. Dans le cas qui nous occupe, les firmes ont des méthodologies et des sources d'échantillon différentes de telle sorte qu'on ne peut pas vraiment attribuer les différences aux modes d'administration. De plus, il faudrait plusieurs sondages de chaque firme pour évaluer avec fiabilité la provenance des différences.

Où en sommes-nous?

Il faut rappeler qu'en 2018, 36% des répondants au sondage post-électoral que nous avions fait, mon collègue André Blais et moi-même, avaient déclaré avoir pris leur décision finale de vote durant la dernière fin de semaine ou même le jour du vote ou dans l'isoloir. Pour ce qui est de ceux qui avaient changé leur intention de vote entre le moment du sondage pré-électoral, une semaine avant la fin de la campagne, et le sondage post-électoral, la proportion allait jusqu'à plus de 70%. Les proportions sont similaires pour ceux qui étaient indécis durant la campagne et qui ont voté pour un parti.

Les intentions de vote peuvent dont encore changer en fin de campagne. Au moins trois sondages -- Léger, Mainstreet et Research co. -- seront publiés d'ici la fin de la journée demain. Je ferai donc un autre billet demain pour intégrer l'ensemble des nouvelles estimations.

Plus ça change...

 Bonjour,

Deux sondages post-débat sont parus aujourd'hui, un de la firme Léger et le sondage roulant de Mainstreet. Les deux mêmes questions soulevées dans le message de dimanche reviennent nous hanter. Y a-t-il une différence entre les firmes? Y a-t-il une évolution des intentions de vote?

Des différences?

Les différences entre les deux firmes les plus présentes depuis août, soit Léger -- quatre sondages -- et Mainstreet -- neuf sondages indépendants (voir note 1) -- se maintiennent. Quatre points de plus pour Québec Solidaire (QS) et trois points de plus pour le Parti Québécois (PQ), en moyenne, chez Léger. Près de quatre points de plus pour le Parti Conservateur (PC) chez Mainstreet. Ces différences montent toutefois à plus de cinq points pour QS et le PC chez les francophones et dans la région de Québec. J'ai abordé les possibles raisons des différences dans mon message de blogue précédent. 

J'ajouterais qu'il y a une différence entre les firmes quant à la proportion de jeunes de 18 à 34 ans et d'allophones non-pondérés dans les échantillons, soit les proportions brutes de personnes rejointes. Évidemment, ces proportions sont ajustées par pondération et sont normalement les mêmes dans les estimations publiées. Léger a des proportions plus près de la réalité pour les jeunes (27,8% comparé à 11,2% pour Mainstreet) et pour les non-Francophones (16,8% comparé à 13,6%). L'impact possible est qu'habituellement, plus les membres d'un sous-groupe sont difficiles à joindre, moins ceux qui sont rejoints sont représentatifs de leur groupe. Ceci pourrait expliquer les différences entre les deux firmes pour ce qui est de l'appui aux partis qui sont plus populaires dans certains sous-groupes.

Est-ce que les intentions de vote changent?

Nous avons maintenant suffisamment de sondages pour estimer avec plus de fiabilité la possibilité d'un changement post débat(s). Comme l'illustre ce graphique, le seul parti qui semble avoir augmenté ses appuis est le Parti Québecois (PQ). Les appuis au PQ seraient passés de 8% en août à près de 12% au cours des derniers jours. Pendant ce temps, les appuis à la Coalition Avenir Québec (CAQ - 40%), au Parti Libéral du Québec (PLQ - 16%) et au PC (16,5%) sont stables. Les appuis à QS apparaissent fluctuants mais se retrouvent au même point qu'au début de la campagne, un peu en bas de 15%.

En conclusion

Si la vérité se situe dans la moyenne entre les différentes firmes, nous devons conclure à une relative stabilité des intentions de vote, sauf pour le PQ. Par contre, il n'y a pas suffisamment de sondages pour savoir de façon fiable que les deux firmes voient également les mêmes tendances.

Note 1: Les sondages Mainstreet sont des sondages roulants (tracking) où on collecte des données à chaque jour et on publie quotidiennement la moyenne cumulative des derniers jours (on retire les données de la journée la plus éloignée et on ajoute celles de la journée la plus récente). Les analyses statistiques doivent tenir compte de cette situation: il faut éviter un chevauchement des informations puisque les informations entrées ne seraient pas indépendantes et cela donnerait un poids trop élevé aux sondages faits par la firme. Pour éviter un chevauchement des informations, je rentre les sondages Mainstreet une seule fois par période. Au début de la campagne, la période était de quatre jours. Elle est passée récemment à trois jours.

Un sondage ne fait pas le printemps

 Bonjour,

 

Mise à jour: Je n'avais pas vu un sondage Research Co. effectué cette semaine. J'ai refait les analyses en intégrant ce sondage et j'ai refait les graphiques en intégrant ce sondage et le sondage de Segma Recherche. Cela n'entraîne pas de changement notable dans le graphique. Les changements sont mentionnés dans le texte. 

Ce premier message de blog de la campagne arrive un peu tard pour une raison simple: Pour analyser les sondages, il faut des sondages! Or, depuis le sondage Léger du 22 au 26 août, la semaine avant le déclenchement de la campagne le 28 août, seuls 13 sondages nationaux indépendants (voir note 1) -- incluant Research Co.-- ont été publiés. Cette situation est similaire à celle de la campagne québécoise de 2008 où le PLQ était donné gagnant. Bref, plus le gagnant est connu avec certitude, moins il y a de sondages.  

Des différences entre les firmes?

Ce message fait suite à mon article publié dans La Presse Plus mercredi: Sondages, méthodologie et intentions de vote - La Presse+ où je m'attardais à deux questions, soit l'existence de différences entre les firmes de sondage et la présence possible de mouvement. Je complète les analyses pour la période commençant fin août et en intégrant le sondage Segma publié mercredi 21 septembre et deux périodes de sondage Mainstreet (18-20 et 21-23 septembre).

Les conclusions que j'avais tirées dans cet article sur les différences entre Léger360 et Mainstreet sont confirmées avec l'ajout des nouveaux sondages. Il y a une différence systématique de quatre points pour les estimations de l'appui au Parti Conservateur du Québec (PCQ) et à Québec Solidaire (QS). Léger estime l'appui à QS à 16% en moyenne (12,1% pour Mainstreet) et le PCQ à 15% (19% pour Mainstreet). La différence d'estimation pour le PQ est toujours marginale: 11% pour Léger, 8,7% pour Mainstreet. Les différences sont particulièrement importantes dans la région de Québec, là où les tailles d'échantillons sont petites. On parle de plus de cinq points de différence pour le PC et QS.

Qu'en est-il des estimations de Segma Recherche? Cette firme utilise une méthodologie différente de celle des deux autres firmes, soit un "classique" sondage téléphonique avec interviewer. Ses estimations se distinguent par une évaluation nettement plus élevée pour le Parti Québecois (PQ) -- 2,8 points de plus que Léger et 4,9 de plus que Mainstreet -- et le PLQ -- trois points de moins que Léger et 3,3 points de moins que Mainstreet.

 Research Co. a publié un sondage du 19 au 21 septembre, donc elle aussi avant le débat. Il s'agit d'une firme de Vancouver, déjà présente en 2018, qui fait des sondages Web mais en utilisant une source d'échantillons différente de ce que fait Léger, avec des visées probabilistes. Ses estimations se rapprochent plus de celles de Mainstreet que de celles de Léger.

De nombreuses raisons peuvent expliquer ces différences. Certains se rappelleront qu'à l'époque où tous les sondages étaient fait par téléphone avec interviewer, la surestimation du PQ et la sous-estimation du PLQ étaient presque la norme. Par ailleurs, les sondages de type téléphonique automatisé ont eu tendance dans les élections américaines et australiennes à mieux estimer les appuis plus à droite mais il faut garder à l'esprit que les situations politiques sont différentes. De la même manière, particulièrement dans les premières années de leur utilisation, les sondages web ont eu tendance à surestimer l'appui à gauche mais entretemps, les firmes ont eu le temps de raffiner leurs méthodes. Il demeure que la majorité des sondages Web américains ont fortement sous estimé l'appui à Donald Trump lors de l'élection présidentielle de 2020. Par contre, les estimations de Léger dans cette élection étaient à l'intérieur de l'intervalle de crédibilité.

Qu'en est-il de l'évolution des intentions de vote?

Étant donné la différence marquée entre le sondage Segma et les sondages des deux autres firmes, j'ai décidé d'exclure ce sondage des analyses. Les analyses sont donc basées sur 13 sondages, huit de Mainstreet, trois de Léger, un de Segma et un de Research Co.

Le graphique montre que les appuis à la CAQ semblent relativement stables depuis le début de la campagne, autour de 40% (39,5% en moyenne). Les appuis au PLQ (17% en moyenne) et au PQ (9,7%) sont également relativement stables. Il y a eu possiblement une baisse de un demi-point pour le PLQ et une hausse de un point pour le PQ depuis le début de la campagne mais il faut attendre d'autres sondages pour en être certain d'autant plus que les firmes se contredisent sur ces estimations. De plus, il ne faut pas oublier que les sondages ne mesurent pas un possible effet du débat de Radio Canada tenu le jeudi 22 septembre.

Québec solidaire semble également ne pas avoir fait de gains au total mais ses appuis auraient fluctué -- en baisse puis en remontée. Par contre, les appuis au PC auraient possiblement augmenté d'un point et demi depuis le début de la campagne. Il faut toutefois tenir compte encore plus pour ces deux partis de la différence entre les firmes de sondage. La présence plus importante des sondages d'une firme à certaines périodes influencent les courbes. En moyenne, les appuis à QS se situent à 13,5% et ceux du PCQ à 17,7% mais en fin de parcours, ils approchent 15% pour QS et 19% pour le PCQ.

En conclusion

La prudence demande de conclure qu'il y a eu peu de mouvement dans les intentions de vote depuis le début de la campagne. L'avenir dira si le dernier débat a eu un impact substantiel sur les intentions de vote. Toutefois, dans les circonstances actuelles, il sera très important de suivre l'évolution des appuis jusqu'à la toute fin.

Note 1: Les sondages Mainstreet sont des sondages roulants (tracking) où on collecte des données à chaque jour et on publie quotidiennement la moyenne cumulative des derniers jours (on retire les données de la journée la plus éloignée et on ajoute celles de la journée la plus récente). Les analyses statistiques doivent tenir compte de cette situation: il faut éviter un chevauchement des informations puisque les informations entrées ne seraient pas indépendantes et cela donnerait un poids trop élevé aux sondages faits par la firme. Pour éviter un chevauchement des informations, je rentre les sondages Mainstreet une seule fois par période. Au début de la campagne, la période était de quatre jours. Elle est passée récemment à trois jours.

France 2022 - Les sondages et le vote

 Bonjour,

 Un dernier court message de blog pour cette campagne. Les analyses de l'ensemble des sondages donnaient une estimation d'au plus 56% à Emmanuel Macron. Toutefois, certains sondeurs estimaient son appui à 57% et 57.5%.  Emmanuel Macron a obtenu 58.4%. Les échantillons étant très importants (de 1500 à 3100), les marges d'erreur sont très petites. Par conséquent, la majorité des estimations sont en dehors de la marge d'erreur. Toutefois,...

Le premier graphique montre la progression des intentions de vote à partir du 1er avril, soit 10 jours avant le premier tour. Il illustre bien l'écart entre les sondages et le vote. Toutefois, il faut noter que les appuis à Emmanuel Macron étaient en hausse tout au long de la dernière semaine et qu'ils peuvent avoir continuer à augmenter dans les derniers jours.

Le dernier graphique donne une idée de l'évolution des intentions de vote à partir du 1er janvier, ce qui permet d'avoir le portrait global de l'ensemble de la campagne. Les intentions de vote pour Emmanuel Macron avaient augmenté au moment de la guerre en Ukraine puis était revenues au niveau initial et avaient même baissé encore plus avant le premier tour. Il semble qu'il a réussi à regagner des appuis dans l'entre deux tours. Cette fluctuation des appuis est très différente de la campagne de 2017 alors que les appuis à Emmanuel Macron et Marine Le Pen avaient été assez stables tout au long de la campagne.

En conclusion, la performance des sondages n'est pas très différente de celle de 2017 alors que les sondages avaient sous-estimé Emmanuel Macron de près de trois points. L'écart est un peu moins important pour cette élection et pourrait être attribué à des mouvements de dernière minute. Seule une analyse post électorale conduite auprès des répondants à un dernier sondage pré-électoral pourrait permettre de valider cette possibilité.

France, deuxième tour, c'est bouclé

 Bonjour,

 

Nous avons repéré tous les sondages qui estimaient l'appui à Emmanuel Macron et à Marine Le Pen respectivement depuis le 1er janvier. Dans ce court message, j'illustre l'évolution de ces appuis depuis le 1er janvier et je fais ensuite le focus sur les sondages réalisés depuis le 1er avril.

Comme le montre le premier graphique, l'écart entre les deux candidats s'était resserré avant le premier tour. Toutefois, depuis le premier tour, l'écart s'est de nouveau creusé de sorte qu'il est estimé à au moins 10 points par tous les sondeurs sauf 1 (Odoxa) qui a fait un sondage sur une journée seulement, hier.

Si on fait le focus sur les sondages réalisés depuis le 1er avril, il est plus facile de constater que les appuis à Emmanuel Macron sont continuellement en hausse depuis le 1er tour, l'estimation de l'écart se situant à 12 points. 

En conclusion, pas de surprise à l'horizon pour le second tour. Emmanuel Macron a fait des gains d'environ trois points entre les deux tours, comme en 2017. Par ailleurs, en 2017, il avait recueilli trois points de plus que ce que les sondages lui allouaient. Il sera intéressant de voir si cette performance se répète à cette élection.

 

France 2022, le jour d'après

Bonjour,

Voici un court bilan de la performance des sondages de 1er tour. D'abord quelques précisions. 

Je fais l'analyse de la performance de l'ensemble des sondages sans évaluer la performance des instituts pris individuellement. Pourquoi? Le hasard fait parfois mal les choses. Des instituts qui ont fait leur travail en respectant les normes les plus sérieuses pourraient se retrouver avec de mauvaises estimations, par mauvais hasard, et à l'inverse un institut qui "tourne les coins ronds", s'il existe, pourrait se retrouver avec de bonnes estimations, par chance. Ce type d'évaluation est donc sujet à caution.

Deuxième précision, la seule manière de vraiment évaluer la performance des sondages demande de faire un sondage post-électoral auprès des répondants du sondage pré-électoral. C'est ce que nous avons fait, André Blais et moi-même pour l'élection québécoise de 2018 dans l'article suivant. Cela nous a permis de démontrer que les estimations n'étaient pas mauvaises. C'était plutôt des changements importants dans les intentions de vote dans les derniers jours de la campagne qui expliquaient les différences entre les estimations et le vote.

Voici donc le graphique de l'évolution des intentions de vote de l'élection présidentielle française de 2022 comparées au résultat publié après comptage de 97% des votes. La marge d'erreur des analyses produites est très petite étant donné le nombre de sondages pris en compte et en conséquence, le nombre total de répondants. 

Le graphique montre que les appuis aux deux candidats de tête sont très bien estimés. Par contre, pour les trois autres candidats, les prédictions sont assez mauvaises. L'appui à Jean-Luc Mélenchon a été sous-estimé de près de 4 points en moyenne. Les instituts lui ont accordé de 16% à 18%, il a obtenu près de 22%. De la même manière, l'appui à Valérie Pécresse a été estimé entre 7% et 9,5% alors qu'elle n'a  pas obtenu 5%. Finalement, l'appui à Éric Zemmour a été estimé entre 8% et 11% alors qu'il a obtenu 7% du vote. On peut donc conclure que l'appui à ces trois candidats a été mal estimé globalement. C'est par ailleurs uniquement pour ces candidats qu'il y avait des différences significatives entre certains instituts.

En conclusion, étant donné les mouvements dans les intentions de vote dans les derniers jours de la campagne, il est possible qu'il y ait eu des mouvements de dernière minute qui expliqueraient les mauvaises estimations pour Mélenchon, Pécresse et Zemmour. Seules des recherches plus poussées permettraient de conclure définitivement sur cette question. Il est à espérer que certains instituts -- en plus de l'enquête électorale française menée par le CEVIPOF -- feront la collecte de ces informations, ce qui permettrait éventuellement d'améliorer si nécessaire les méthodologies utilisées.

Un dernier mot sur les estimations de la firme Cluster17 qui a fait l'objet d'avertissements de la Commission des sondages. Ses estimations se comparent à celles des autres firmes. Elle a une estimation légèrement plus élevée pour Mélenchon -- qui a été sous-estimé en général -- et pour Zemmour -- qui a été surestimé, mais la différence n'est pas énorme (1-3 points).

France 2022, le jour d'avant

Bonjour,

Maintenant qu'il n'est plus possible de publier des sondages en France, voici l'évolution des intentions de vote mise à jour, telle que mesurée par l'ensemble des sondages. Il apparaît qu'il y aura des sondeurs... et des Français, sans doute, stressés dimanche, jour de vote.

Le premier graphique montre l'évolution des intentions de vote pour les cinq principaux candidats. Les tendances constatées dans la dernière semaine se confirment.  Les appuis à Emmanuel Macron et à Marine LePen se touchent presque autour de 25%, un écart de 2 à 3 points les séparant,. L'appui à Mélenchon s'approche maintenant de 17% et les appuis à Zemmour et à Pécresse sont sous la barre des 10%.

Le graphique suivant qui montre l'écart entre les deux candidats de tête est encore plus parlant. Cet écart est estimé à environ 3,5 points de pourcentage en ce moment. Notez que la marge d'erreur pour ce type d'analyse qui tient compte de l'ensemble des sondages est nettement moins importante que pour chaque sondage pris individuellement. En résumé, il y a un écart en ce moment en faveur de Macron, mais il est mince.

Et le deuxième tour? Le même resserrement entre les appuis à Emmanuel Macron et à Marine LePen se produit au deuxième tour. Le graphique montre un écart estimé d'environ 5 points de pourcentage entre les deux candidats pressentis. Toutefois, comme je l'ai mentionné dans un message précédent, les intentions de vote de deuxième tour sont en ce moment "spéculatives" et c'est la campagne de deuxième tour qui sera déterminante. En 2017, par exemple, les sondages pour le deuxième tour faits avant l'élection de premier tour donnaient autour de 60% à Emmanuel Macron. Les sondages faits entre les deux tours lui donnaient autour de 63%. Il a terminé à 66%.

 Pour répondre à quelques questions...

1. Les sondages sont-ils fiables? On est encouragé par la performance des sondages français de premier tour de l'élection présidentielle de 2017 dont la prédiction était presque parfaite. De plus, malgré certaines différences dans les méthodologies, les estimations des instituts sont très similaires. Pour le deuxième tour, c'est une autre histoire, comme je viens de le mentionner. En 2017, les sondages avaient sous-estimé les appuis à Emmanuel Macron et non ceux à Marine LePen comme on aurait pu s'y attendre.

2. Un effet "shy Le Pen" est-il possible? Ce type d'effet, rendu responsable au moins partiellement de la catastrophe des sondages de l'élection présidentielle de 2002, semble relever du passé. D'une part, le rappel de vote brut  pour LePen en 2017 est très près des résultats réels de 2017 pour les instituts qui donnent l'information (merci), ce qui signifie que ceux et celles qui ont voté Le Pen en 2017 sont présents dans les échantillons et n'hésitent pas à déclarer leur vote de 2017 alors qu'en 2002 (voir ici pour une analyse des sondages de cette élection), la différence entre la déclaration de vote de 1997 pour Jean-Marie LePen et la réalité était souvent très importante. Par contre, il faut noter que les électeurs ont tendance à aligner leur déclaration de vote passé sur leurs intentions de vote actuelles. En clair, si on a l'intention de voter Le Pen en 2022, on aura plus tendance à déclarer avoir voté Le Pen en 2017, même si ce n'est pas le cas. Ceci peut provoquer une sous-estimation du vote Le Pen quand on redresse en fonction du vote précédent déclaré. Dans cet article, j'ai montré que cette pratique de redressement avait tendance à améliorer les estimations seulement en présence de partis ou de candidats plus extrémistes. Il s'agit d'une pratique très répandue en Europe.

3. Qu'en est-il des indécis? On devrait plutôt parler de discrets, une catégorie qui englobe ceux qui se disent indécis et ceux qui déclarent vouloir voter blanc ou nul. La pratique actuelle répartit ces répondants proportionnellement entre les candidats. Certaines études ont montré qu'il faudrait probablement les répartir différemment. Comme l'appui aux petits candidats a tendance à être surestimé par les sondages, il faudrait sans doute exclure ces candidats de la répartition. Par ailleurs, dans plusieurs élections québécoises et américaines de même que dans les référendums britanniques, une répartition non-proportionnelle des discrets donnant les deux tiers au parti ou côté le plus conservateur donnait de meilleures estimations du vote. Il est toutefois très difficile d'estimer comment on pourrait faire cette répartition dans le cas du premier tour en France étant donné le nombre de candidats et leur variation d'une élection à l'autre. Enfin, le plus important est que la proportion déclarée d'indécis selon les instituts est tout autant une mesure de la méthodologie utilisée que de la réelle proportion d'indécis. Les proportions varient en effet de 5% à plus de 30% que ce soit au premier ou au deuxième tour selon les instituts et varient peu dans le temps pour un même institut.

4. Qu'en est-il de la participation? Le taux de participation varie en fonction de l'âge, du niveau d'éducation et du revenu. Les plus jeunes, les moins éduqués et les plus pauvres ont moins tendance à aller voter. Quelles sont les conséquences? En général, les partis prisés par les jeunes, les Verts par exemple, ont tendance à être surestimés dans les sondages, entre autres parce que les jeunes vont d'autant moins voter que leur candidat n'a aucune chance de l'emporter. Ceci dit, la situation peut être différente dans une élection de premier tour. Par ailleurs, la participation a tendance à augmenter quand les résultats sont plus serrés, pour plusieurs raisons, dont l'intérêt plus fort pour l'élection et la mobilisation plus importante des militants. Qu'en était-il en 2017? Au deuxième tour, le taux de participation s'est élevé à près de 96% de celui de 1er tour, donc aucune baisse importante de la participation. Par ailleurs, 2,6% des votants de premier tour avaient voté blanc ou annulé et 11,5% de ceux de 2ème tour. Ceci permet de rappeler que les intentions -- de voter blanc ou de s'abstenir -- ne se concrétiseront pas nécessairement le jour du vote si les enjeux sont considérés importants et si l'élection est serrée.

En conclusion, les élections servent encore à quelque chose (!). On saura dimanche soir jusqu'à quel point les sondages ont bien mesuré les intentions de vote, du moins celles qui avaient cours ce vendredi. S'il y avait des résultats étonnants, ce sera une occasion de raffiner les méthodes. Il sera d'ailleurs intéressant de voir si certains instituts et certaines sources d'échantillons s'en tirent mieux que d'autres. Il demeure toutefois que les différences entre instituts ne sont pas énormes. Duel Macron- LePen assuré au deuxième tour, donc et, normalement, Macron premier. Il est possible qu'un ralliement aux candidats de tête se fasse en fin de campagne et qu'ils soient sous-estimé par les sondages.

Un dernier point sur les méthodologies. Les sondages utilisant les opt-in panels -- appelés access panels en France -- ont eu tendance dans d'autres élections à avoir de la difficulté à détecter les changements dans les intentions de vote. Ça ne semble pas s'avérer en France. 

Remerciements à Shawn Leroux pour l'identification des sondages et l'entrée des données.

France 2022, ça bouge?

 Bonjour,

 

De nouvelles données disponibles montrent de possibles changements dans l'évolution des intentions de vote. 

La figure 1 montre que la différence estimée de l'appui à Emmanuel Macron et à Marine LePen est de moins de cinq points. On peut comparer cette estimation à celle qui avait cours à la mi-février avant la hausse des appuis à Macron. Ces appuis ont atteint plus de 30% à la mi-mars alors que les estimations de la dernière semaine varient entre 25% et 28%. Du côté de Marine Le Pen, les appuis qui étaient stables à 17% jusqu'à la fin février se situent maintenant entre 20% et 23% (cinq instituts). 

L'écart estimé entre les appuis aux deux principaux candidats depuis le 1er avril varie de 2% à 6,5% pour une moyenne de 4,3%.

Les appuis à Jean-Luc Mélenchon ont aussi continué à grimper et se situent maintenant à plus de 15% alors que les appuis à Valérie Pécresse et Éric Zemmour ont continué à descendre et se situent autour de 10%. 

Il y a une certaine variabilité entre les estimations des divers instituts mais aucune différence moyenne significative pour les deux principaux candidats. Par contre, si l'on compare les courbes, on note que Cluster17 a toujours tendance à estimer les appuis à Macron et à Le Pen moins élevés et à Zemmour et Mélenchon, plus élevés. Ces différences sont toutefois très faibles.

Le graphique suivant fait le focus sur la dynamique à partir du 1er mars, ce qui permettra de comparer avec un graphique similaire pour 2017. La dynamique récente se présente clairement comme une baisse des appuis à Emmanuel Macron, Éric Zemmour et Valérie Pécresse couplée à une hausse des appuis à Marine LePen et à Jean-Luc-Mélenchon, moins forte pour ce dernier.

Si nous comparons ce dernier graphique avec celui de 2017 pour la même période, il apparaît évident que nous faisons face à une dynamique très différente, entre autres parce que quatre candidats -- Emmanuel Macron, Marine LePen, Jean-Luc Mélenchon et François Fillion -- se sont retrouvés "dans un mouchoir de poche", entre 20% et 24% des intentions de vote en fin de campagne à l'époque, et que Macron et Le Pen se sont échangés la première place dans les sondages. Les sondages avaient prédit le vote final avec une précision remarquable.

Le deuxième tour

Le même rapprochement entre les estimations des appuis à Emmanuel Macron et à Marine LePen se produit dans les intentions de vote hypothétique de deuxième tour. Il ne faut pas se fier totalement à ces estimations. Ce sont des intentions de vote hypothétiques, prises à plus de deux semaines du vote et elles peuvent être influencées par la dynamique de la campagne entre deux tours. De plus, les taux de discrets -- incluant les indécis, les abstentionnistes, etc. -- varient entre 18% et 24% selon les instituts.

Il demeure que la différence entre les deux candidats est estimée entre 3 points et 8 points selon les instituts alors qu'elle se situait généralement à plus de 20% à la mi-mars.

En conclusion, une campagne un peu plus "trépidante" que prévu, à suivre jusqu'à la fin. Toutefois, il serait étonnant que l'ordre des candidats se modifie.

France2022, plus que 7 jours

 Bonjour,

 

Dimanche prochain aura lieu le premier tour de l'élection présidentielle française. Presque tous les instituts constatent une baisse des intentions de vote pour Emmanuel Macron, couplée à une hausse des appuis à Marine LePen et Jean-Luc Mélenchon. 

Le graphique suivant illustre bien cette tendance. les points représentent les estimations faites par les divers instituts, les lignes, la tendance des intentions de vote dessinée par la régression locale utilisant les mêmes paramètres que la semaine dernière. On note une baisse d'au moins deux points de l'appui à Emmanuel Macron depuis la mi-mars couplée à une hausse d'environ un point et demi à Marine LePen et à Jean-Luc Mélenchon. Ce n'est pas suffisant pour que ce dernier dépasse Marine LePen et passe au deuxième tour toutefois puisqu'il est à près de cinq points derrière.

Une remarque s'impose. Il y a certaines différences entre les instituts dans l'estimation des appuis à  Emmanuel Macron au cours de la dernière semaine. Ces estimations varient de 26% pour Ipsos à 34% pour Kantar. Cette dernière firme a également eu tendance à estimer l'appui à LePen plus élevé et celui à Macron plus bas, en moyenne, depuis le 1er janvier. Quant à Ipsos, elle conduit un sondage "tracking" où les estimations produites à chaque jour sont constituées de la moyenne des trois jours précédents. Dans notre base de données, nous entrons les données à tous les quatre jours pour ne pas doubler les informations. 

Il reste une semaine de sondages. Nous verrons vers la fin de cette semaine si ces différences se maintiennent et si oui, qui aura raison le jour de l'élection.

Le deuxième tour

Les tendances de premier tour se reflètent dans les intentions de vote de deuxième tour. Il y aurait maintenant environ 7-8 points de différence entre les appuis à Emmanuel Macron et à Marine LePen au deuxième tour. Notez toutefois que ces estimations sont basées sur des questions hypothétiques -- réputées peu fiables -- et sur le fait qu'une proportion non négligeable des partisans des autres candidats affirment qu'ils n'iront pas voter au deuxième tour ou qu'ils voteront blanc. Ces intentions sont susceptibles de changer si la différence d'appui aux deux candidats devient plus serrée. Et il y aura une campagne entre les deux tours.

Pour ce qui est des différences selon la source des données, elles s'estompent pour ce qui est de l'estimation des appuis à Mélenchon mais se maintiennent pour les appuis à LePen et Zemmour, la firme Cluster 17 estimant les appuis à LePen plus bas et ceux à Zemmour plus élevés. 

En conclusion, je suivrai les sondages cette semaine. Ils seront normalement publiés jusqu'à vendredi 11h59! Petite analyse possible samedi matin.

France 2022, mise à jour et 2ème tour

 Bonjour,

Les nouveaux sondages publiés au cours de la dernière semaine confirment la tendance constatée la semaine dernière. On a l'impression que les intentions de vote sont figées, quels que soient les candidats. Emmanuel Macron est en tête avec environ 30% des intentions de vote, stables depuis environ début mars, après une remontée mi-février. L'appui à Marine LePen a augmenté d'un ou deux points depuis janvier; il est stable à 19 %. Enfin, il est définitivement trop tard pour Mélenchon, qui stagne à environ 14%. Il lui faudrait un miracle -- du type de la vague orange survenue lors de l'élection de 2011 au Canada -- mais les conditions actuelles en France sont très différentes. On se dirige donc vers un duel Macron-Le Pen au deuxième tour.

Le deuxième graphique montre les intentions de vote au deuxième tour pour un tel duel. La hausse puis la stabilisation de l'appui à Emmanuel Macron se confirme également pour ces intentions de vote hypothétiques.

On peut se demander comment les partisans des autres candidats voteront au deuxième tour? Harris Interactive produit un tableau croisé de ces intentions de vote. Il montre (voir diapo 17) que la majorité des appuis aux autres candidats ira à Emmanuel Macron, à l'exception des appuis à Eric Zemmour qui iraient à Marine LePen. On trouve en outre une proportion variable de partisans des autres candidats qui déclarent vouloir s'abstenir, voter nul ou votre blanc.

Un dernier point sur les différences entre les instituts en fonction des sources de données. Les dernières analyses confirment celles que j'ai présentées dans mon précédent billet. Cluster17 continue à se distinguer des firmes utilisant des access panel par des estimations un peu différentes des appuis aux candidats plus extrêmes, soit plus bas pour Le Pen et plus élevés pour Mélenchon et Zemmour.

En conclusion

L'expérience m'a montré que la prédiction est dangereuse. Il reste que, cette fois-ci, je m'intéresserai surtout à voir si la prédiction des sondages se situe à l'intérieur des marges d'erreur et à voir l'impact de la source des données. La prédiction du gagnant ne semble pas faire de doute.

P.S. Du point de vue statistiques, j'ai modifié un paramètre de la régression locale (,50 plutôt que ,65 pour Epanechnikov) pour que les courbes tiennent mieux compte des estimations publiées depuis les deux dernières semaines.

France 2022, plus que 20 jours

 Bonjour,

 

Bonjour,

Voici quelques analyses sur les sondages du premier tour de la prochaine élection présidentielle française de 2022. Je présente d'abord l'évolution des intentions des intentions de vote depuis le début janvier, telles que mesurées par neuf instituts. Je regarde ensuite si des différences méthodologiques entre les divers instituts conduisent à des différences dans les estimations.

 Les intentions de vote globales

La figure 1 montre l'évolution récente des intentions de vote. Les points représentent les estimations des instituts. Ils sont situés au point milieu de la cueillette des données. Les lignes représentent l'estimation produite par régression locale. On constate que l'appui à Emmanuel Macron a fait un bond important, passant de 25% à plus de 30% entre la mi-février et la mi-mars. Toutefois, cette hausse semble s'être stabilisée au cours de la dernière semaine. En deuxième, l'appui à Marine Le Pen est stable depuis janvier, à environ 18%. Les trois autre candidats les plus importants -- Jean-Luc Mélenchon, Valérie Pécresse et Eric Zemmour -- sont pratiquement à égalité entre 10% et 13%. Toutefois, seul l'appui à Mélenchon a progressé depuis janvier alors que l'appui à Pécresse a fait une chute d'environ sept points et l'appui à Zemmour est retombé à son niveau de départ après une légère hausse en janvier.

On est donc loin de la situation de 2017 où quatre candidats -- Macron, Le Pen, Fillon et Mélenchon ont terminé avec entre 20 et 24 pourcent du vote. Par contre, en 2017, à un mois de l'élection, l'appui à Mélenchon était au même niveau que maintenant. Il avait fait des gains importants pendant le dernier mois aux dépens de Benoit Hamon.

 

 Quel impact des méthodologies des instituts?

Tous les instituts utilisent une pondération basée entre autres sur le ou les votes déclarés à l'élection présidentielle de 2017 et, dans un cas, aux élections régionales de 2021. Cette pratique entraîne une réduction de la variance dans les estimations, ce qui explique le peu d'écart entre les instituts. De plus tous les instituts administrent leurs sondages via internet. Ils se distinguent toutefois dans la source utilisée pour sélectionner leurs échantillons. Quatre firmes utilisent leur propre panel de volontaires, non probabiliste, appelé access panel en France. Deux firmes utilisent l'access panel de Bilendi. Enfin, une firme, Cluster17, utilise une source totalement différente, plus probabiliste. La Commission des sondages a émis un mise au point à l'encontre de cette firme, jugeant que la base de sondages n'était pas bien contrôlée par la firme. Or cette firme semble produire des estimations un peu différentes de celle des autres firmes pour certains candidats, du moins.

La question qui se pose est de savoir si les estimations des firmes se distinguent significativement en fonction de la source des données utilisées, si cette différence persistera pendant toute la campagne et au final, si certaines sources donneront une meilleure estimation des intentions de vote. La question est d'autant plus importante que la plupart sinon tous les sondages électoraux se font maintenant par internet dans plusieurs pays mais que des méthodologies différentes apparaissent pour ce qui est des sources d'échantillons.

Statistiquement, les sources de données de type acces panel, que ce soit les panels propriétaires ou le Panel Bilendi donnent des résultats similaires. Seul Cluster17 se distingue, surtout par une évaluation plus élevée pour Mélenchon et Zemmour et par une évaluation plus basse de l'appui à Le Pen. On n'est donc pas devant un cas de "biais idéologique" mais plutôt de différence dans l'estimation des extrêmes. Les instituts ne se distinguent pas par une estimation différente de l'appui à Macron et à Pécresse.

Cluster17 -- la ligne mauve -- donne une évaluation systématiquement plus élevée de l'appui à Mélenchon comme on peut le voir dans le graphique suivant. Par contre, la différence semble en voie de s'atténuer.

Pour ce qui est de LePen, Cluster17 produit une estimation légèrement plus basse. toutefois, contrairement à ce que l'on voit pour Mélenchon, il arrive que d'autres instituts aient des estimations similaires ou même plus basses que celles de Cluster17 -- comme on le voit par les points bleus qui représentent les estimations de sondage utilisant un acces panel.

Enfin, Cluster17 estime l'appui à Zemmour plus élevé que les autres instituts mais trace la même évolution dans le temps.

En résumé, la différence entre Cluster17 et les autres instituts existe, du moins pour le moment, pour trois des cinq principaux candidats. Elle semble se concentrer dans les extrêmes, de droite ou de gauche. Il faut se rappeler que l'appui à ce type de candidats -- rappelons entre autres Jean-Marie LePen en 2002 -- a longtemps été difficile à estimer en France comme ailleurs. Par ailleurs, les différences, quoique significatives, ne sont pas si importantes -- de deux à trois points de pourcentage en moyenne. L'avenir dira "qui a raison". 

Conclusion

Pour le moment, la situation semble assez claire. Tous les sondeurs "prédisent" un duel Macron-LePen au deuxième tour. Il faut toutefois se rappeler qu'il y avait eu un mouvement important vers Mélenchon durant le dernier mois de la campagne de 2017. Pour le moment, Mélenchon semble assez loin de LePen. L'appui aux trois candidats "éliminés" est très similaire mais seul Mélenchon est en progression. Donc, tout n'est pas encore joué définitivement.

Au plaisir