Bonjour,
Voici le lien à l'article publié aujourd'hui dans La Presse: Les sondages sont-ils bons pour les électeurs?
J'ajoute des liens à deux articles présentant une partie des recherches dont je parle dans l'article
1) Durand, C., Goyder, J., Daoust, J.F. et A. Blais (2018) Qui prête attention aux sondages?
dans Options Politiques, mars 2018.
2) Durand, C., Goyder, J., Daoust, J.F. et A. Blais (2018) Les sondages influencent-ils le comportement des électeurs? dans Options politiques, mai 2018:
Au plaisir
mercredi 29 août 2018
vendredi 24 août 2018
La ligne de départ: une mise à jour
Bonjour,
Nous n'avons pas encore de sondages de campagne mais avec les derniers sondages publiés hier et aujourd'hui, il est possible de mettre à jour mes dernières analyses. De plus, j'aborde la question des différences entre les firmes dans l'estimation du vote pour le PLQ, au total et chez les non-francophones.
Les appuis ont-ils bougé depuis janvier?
Pour répondre à cette question, j'utilise un type d'analyse plus sophistiqué (pour les geeks, régression locale dans R) de tous les sondages publiés depuis novembre 2017. L'avantage d'utiliser cette méthode est qu'elle permet de bien visualiser la marge d'erreur. Pourquoi novembre 2017? Parce que j'ai besoin de suffisamment de sondages pour réaliser l'analyse. Le premier graphique montre l'évolution des intentions de vote telles que publiées par les firmes et donc avec une répartition des discrets au prorata du vote des "indiscrets".
Le graphique montre que, en novembre 2017, la CAQ et le PLQ étaient à égalité dans les sondages. La montée de la CAQ s'est faite en fin d'année et au début de 2018. Depuis lors, c'est le "calme plat". Les appuis à ces deux partis n'ont pas bougé et la CAQ aurait un léger avantage.
Qu'arrive-t'il si l'on fait une répartition non-proportionnelle des discrets attribuant 50% des discrets au PLQ et 25% chacun à la CAQ et au PQ, tel que je l'ai justifié dans mon précédent message de blogue? L'évolution est la même mais elle se termine par une égalité statistique entre le PLQ et la CAQ. Notons que les appuis au PQ et à QS n'ont pas bougé beaucoup non plus. Ces partis terminent presque au même niveau qu'en novembre 2017.
La question de l'estimation du vote pour le PLQ
En examinant les divers sondages, on note deux faits intéressants. D'une part, l'estimation du vote pour le PLQ est différent selon les firmes. D'autre part, cette estimation est tributaire de l'estimation du vote des non-francophones, une estimation qui varie également selon les firmes. Voyons d'abord l'estimation du vote total selon les firmes. Le graphique suivant montre deux différences entre les firmes. D'une part, CROP tend à estimer le vote pour le PLQ près de cinq points plus élevé que les autres firmes. Avant de crier au complot (!), notons que les quatre firmes utilisent des méthodologies différentes qui peuvent expliquer les différences d'estimations: Léger a son propre panel WEB, Mainstreet utilise des sondages téléphoniques automatisés (IVR), Ipsos combine un panel web et des sondages téléphoniques et CROP utilise un panel Web dont le recrutement est différent de celui de Léger.
Nous n'avons pas encore de sondages de campagne mais avec les derniers sondages publiés hier et aujourd'hui, il est possible de mettre à jour mes dernières analyses. De plus, j'aborde la question des différences entre les firmes dans l'estimation du vote pour le PLQ, au total et chez les non-francophones.
Les appuis ont-ils bougé depuis janvier?
Pour répondre à cette question, j'utilise un type d'analyse plus sophistiqué (pour les geeks, régression locale dans R) de tous les sondages publiés depuis novembre 2017. L'avantage d'utiliser cette méthode est qu'elle permet de bien visualiser la marge d'erreur. Pourquoi novembre 2017? Parce que j'ai besoin de suffisamment de sondages pour réaliser l'analyse. Le premier graphique montre l'évolution des intentions de vote telles que publiées par les firmes et donc avec une répartition des discrets au prorata du vote des "indiscrets".
Le graphique montre que, en novembre 2017, la CAQ et le PLQ étaient à égalité dans les sondages. La montée de la CAQ s'est faite en fin d'année et au début de 2018. Depuis lors, c'est le "calme plat". Les appuis à ces deux partis n'ont pas bougé et la CAQ aurait un léger avantage.
Qu'arrive-t'il si l'on fait une répartition non-proportionnelle des discrets attribuant 50% des discrets au PLQ et 25% chacun à la CAQ et au PQ, tel que je l'ai justifié dans mon précédent message de blogue? L'évolution est la même mais elle se termine par une égalité statistique entre le PLQ et la CAQ. Notons que les appuis au PQ et à QS n'ont pas bougé beaucoup non plus. Ces partis terminent presque au même niveau qu'en novembre 2017.
La question de l'estimation du vote pour le PLQ
En examinant les divers sondages, on note deux faits intéressants. D'une part, l'estimation du vote pour le PLQ est différent selon les firmes. D'autre part, cette estimation est tributaire de l'estimation du vote des non-francophones, une estimation qui varie également selon les firmes. Voyons d'abord l'estimation du vote total selon les firmes. Le graphique suivant montre deux différences entre les firmes. D'une part, CROP tend à estimer le vote pour le PLQ près de cinq points plus élevé que les autres firmes. Avant de crier au complot (!), notons que les quatre firmes utilisent des méthodologies différentes qui peuvent expliquer les différences d'estimations: Léger a son propre panel WEB, Mainstreet utilise des sondages téléphoniques automatisés (IVR), Ipsos combine un panel web et des sondages téléphoniques et CROP utilise un panel Web dont le recrutement est différent de celui de Léger.
Mais d'où viennent ces différences? Le graphique suivant montre les estimations du vote pour le PLQ chez les non-francophones, par firme. La question est importante puisque l'on a souvent pointé du doigt une mauvaise estimation de ce vote pour expliquer la sous-estimation habituelle du PLQ. J'ai analysé ces estimations en 2012 dans mon billet intitulé "Le paradoxe de l'anglo péquiste/caquiste". Le graphique montre que l'estimation du vote pour le PLQ chez les non-francophones varie selon les firmes.
- Léger a estimé ce vote entre 65% et 70% sur l'ensemble de la période, à l'exception de son dernier sondage. (62%).
- Ipsos l'a estimé à 60%, puis à près de 75%, pour revenir autour de 60% dans son dernier sondage.
- Mainstreet, qui utilise la langue d'usage comme indicateur plutôt que la langue maternelle, avait des estimations similaires à celles des autres firmes jusqu'en juillet dernier (estimation à 72%). Par contre, ses derniers sondages pour Capitales Media estiment plutôt le PLQ autour de 50% chez les non-francophones (58% dans son sondage d'aujourd'hui).
- CROP fait une estimation relativement stable entre 70% et 75% sauf pour son sondage de juin 2017 (80%).
En conclusion
En 2014, beaucoup de mouvement avait pris place dans les six mois précédant l'élection. Et d'autres mouvements, en sens inverse, s'étaient produits pendant la campagne. Cette campagne-ci est différente puisqu'elle commence comme si les partis étaient alignés sur la ligne de départ depuis déjà huit mois, ce qui peut sans doute être attribué à la nouvelle donne des élections à date fixe.
mercredi 22 août 2018
En attendant les sondages, parlons des discrets
Bonjour,
Je ne ferai pas d'analyse des sondages publiés tant qu'il n'y aura pas au moins trois firmes qui publient des sondages. Je juge cela plus prudent. Entretemps, j'ai décidé de faire un historique de la pratique de répartition non-proportionnelle des discrets. D'où vient cette pratique, comment a-t-elle évolué avec le temps, comment se justifie-t-elle? Ce survol historique commence... en 1959.
Les discrets d’hier à aujourd’hui
Le premier sondage électoral effectué dans le cadre d’une élection québécoise est attribué au Groupe de recherche sociale (Maurice Pinard) en 1959. Ce premier sondage prédit la victoire de l’Union Nationale et c’est le PLQ qui l’emporte. Dès le premier sondage donc, on note une sous-estimation des intentions de vote pour le PLQ. Cette question a préoccupé les chercheurs québécois depuis lors et particulièrement durant la période de 1970 à 2002. Au cours des années, les chercheurs ont proposé diverses méthodes pour corriger cette sous-estimation. Ils ont élaboré une procédure qui est demeurée strictement québécoise.
Ce message de blogue fait une petite histoire des diverses tentatives proposées pour corriger la sous-estimation relativement systématique du vote pour le PLQ au Québec et conclut sur la situation actuelle. Message un peu long, mais nécessaire si on veut comprendre l’histoire de cette pratique.
Pourquoi parler de discrets plutôt que d’indécis?
L’idée de parler de discrets est attribuée par à peu près tous les chercheurs au politologue Vincent Lemieux de l’Université Laval, aujourd’hui décédé. Il aborde cette question dans un texte pour le journal Le Soleil dans le cadre d’un sondage pour l’élection d’avril 1970. Constatant que ceux qui se disent ne pas savoir pour qui ils voteront ou qui refusent de révéler leur vote ne sont pas nécessairement indécis, il propose de parler de discrets. Les personnes déclarant qu’elles allaient annuler ou qu’elles n’iraient pas voter étaient exclues de ce groupe. Cette question est d’autant plus importante à l’époque que la proportion de discrets est de 43% dans le sondage que Lemieux analyse.
Le terme « discrets » sera adopté par à peu près tous les politologues du Québec par la suite. On le retrouve dans les textes de Maurice Pinard, Pierre Drouilly, André Blais, Jean Crête et Guy Lachapelle, entre autres. Par contre, avec le temps, le terme englobe également les personnes qui disent vouloir annuler ou ne pas aller voter. Deux raisons peuvent expliquer cette situation. D’une part, très peu de répondants indiquent vouloir annuler ou ne pas aller voter (autour de 4-5% au maximum). Les exclure ne change donc pas vraiment les estimations tout en rendant les calculs plus complexes. D’autre part, certaines firmes de sondage ou certains media ne font pas la distinction entre les divers types de non-réponse, à tout le moins dans les informations publiées, ce qui fait que le seul moyen de comparer les comparables est de grouper l’ensemble des personnes qui ne révèlent pas leur vote.
Pourquoi répartir différemment les discrets?
Dès les débuts des sondages, les chercheurs, constatant que le PLQ est généralement sous-estimé (voir entre autres Gaudreault, 1976), font des hypothèses sur les raisons de cette situation. L’hypothèse que les discrets ne votent pas comme les répondants « indiscrets » s’impose rapidement. Pourquoi? Les chercheurs (voir les textes de Maurice Pinard et Guy Lachapelle, entre autres) constatent que les discrets ont un profil socio-démographique et socio-politique différent de celui des « indiscrets » et que ce profil s’apparente plus à celui des partisans du PLQ qu’à celui des partisans d’autres partis, particulièrement du Parti Québécois. Ils sont habituellement plus âgés, moins éduqués, plus fédéralistes.
De plus, les rares chercheurs qui ont voulu vérifier le profil des personnes qui ne collaborent pas aux sondages (Pinard et Hamilton, 1980) constatent que le profil socio-démographique de ceux-ci s’apparente également plus à celui des partisans du PLQ. Blais et ses collègues, en 1986, abondent dans le même sens. Pour tenir compte de cette situation, l’idée d’une répartition des discrets non-proportionnelle fait son chemin. L’idée est de tenir compte à la fois du profil des non-répondants aux sondages et de celui des répondants discrets.
Blais, Crête et Lachapelle, en 1986, proposent qu’une autre raison pourrait expliquer la sous-estimation du vote pour le PLQ : Le vote des non-francophones en faveur du PLQ serait plus élevé que ce qu’estiment les sondages.
Au-delà des constatations empiriques, Lachapelle fait allusion à la théorie de la « spirale du silence » proposée par Elizabeth Noelle-Neuman, qui postule que lorsqu’un parti n’apparaît pas populaire, dans les sondages ou dans les media entre autres, ses partisans auront tendance à cacher leur préférence, ce qui entraînera une spirale où le parti apparaîtra de moins en moins populaire.
Comment répartir les discrets?
L’idée s’impose donc rapidement de répartir les discrets différemment des « indiscrets ». Les premières tentatives sont relativement « traditionnelles ». Elles utilisent les réponses des discrets à d’autres questions comme la satisfaction face au gouvernement ou la perception des chefs de partis (Lemieux, 1970). En 1976, Pinard et Hamilton font quatre hypothèses: Les discrets voteraient soit comme leur vote déclaré à l’élection précédente, soit selon leur niveau de satisfaction face au gouvernement, soit comme leur groupe d’âge ou soit comme ceux qui répondent à la question de relance (la question de relance est la question posée aux personnes qui se disent indécises quant à leur intention de vote: on leur demande s'il y a un parti vers lesquelles elles ont tendance à pencher).
En 1986, Guy Lachapelle revisite la question des discrets en utilisant les données d’un sondage réalisé pour l’élection de 1985, une élection où il y avait eu une forte sous-estimation du vote du PLQ et une surestimation du vote des tiers partis. Lachapelle utilise une méthode d’analyse sophistiquée, l’analyse discriminante, qui permet d’estimer deux « fonctions » permettant de bien prédire l’intention de vote pour le PLQ et le PQ à partir de quatre questions portant sur la satisfaction face au gouvernement, la perception des deux principaux chefs de partis, la langue et le niveau de scolarité. Il applique ces deux fonctions aux discrets et conclut qu’une répartition de 62% des discrets au PLQ et de 38% au PQ – et aucun aux tiers partis – est appropriée. Il applique cette méthode uniquement à ceux qui disent être indécis ou qui refusent de révéler leur vote (17,4% des répondants), excluant ceux qui disent vouloir annuler ou ne pas aller voter (4,9%). Toutefois, la méthode ne permet pas de classer 30% des discrets, parce qu’ils ne répondent pas à une ou l’autre des quatre questions de classement.
Il apparaît assez rapidement que tenter de répartir les discrets en fonction de leurs réponses à d’autres questions comporte un problème majeur : Les discrets ont tendance à ne pas répondre également à ces autres questions.
D’autres chercheurs commencent à faire des hypothèses de répartition « empirique », basées habituellement sur des comparaisons entre les sondages et les résultats des élections précédentes. En 1980, pour le premier référendum sur la souveraineté, Pinard et Hamilton font l’hypothèse que 60% des discrets seulement iront voter et ils font trois hypothèses sur leur répartition (50% à chaque, 60% Non/40% Oui et 70% Non/30% Oui) en soulignant qu’il faut également tenir compte du profil des 24% de personnes contactées qui ont refusé de collaborer au sondage. La proportion de discrets est de 14%. Comme le non obtient 59% des votes, c’est l’hypothèse d’une répartition à 65% pour le Non qui aurait été la meilleure.
En 1986, André Blais, Jean Crête et Guy Lachapelle concluent qu’une répartition des discrets à 62% au PLQ et 38% au PQ aurait été appropriée, tout en soulevant le fait que cela ne règle pas la question des personnes qui ne collaborent pas aux sondages. Ils proposent également d’attribuer tous les discrets non-francophones au PLQ.
En 1994, Guy Lachapelle fait une analyse des sondages de l’élection tenue le 12 septembre. Il propose de nouveau que l’on attribue 62% des électeurs discrets au PLQ, 38% au PQ et aucun à l’ADQ, alors surestimée par les sondages. Gilles Therrien (1994), pour sa part, note que Léger&Léger a fait une répartition des discrets différente lors de cette élection, possiblement basée sur la probabilité d’aller voter.
C’est finalement à Pierre Drouilly, professeur à l'UQAM, qu’il faut attribuer une analyse systématique des discrets en vue du référendum sur la souveraineté de 1995. Dans un texte qu’il a fait circuler en août 1995 qui est reproduit dans son livre « Indépendance et démocratie », il montre d’abord que, empiriquement, il ne faut pas répartir les discrets comme s’ils n’iraient pas voter. Il indique (p. 180) « … les répondants discrets et les abstentionnistes ne sont pas des catégories équivalentes et la pondération des répondants discrets au prorata des réponses fermes introduit une distorsion systématique dans l’estimation des résultats du vote ».
Par contre, comme la proportion de discrets varie selon les firmes de sondage, il conclut que cette proportion a plus à voir avec la méthodologie des firmes qu’avec les répondants eux-mêmes. Enfin, il montre que la proportion d’électeurs discrets dans les sondages varie en sens inverse de la proportion d’électeurs fédéralistes (essentiellement les partisans du PLQ à cette époque), ce qui justifie selon lui l’utilisation du terme « discret » plutôt que du terme « indécis ». Il constate alors qu’une répartition non-proportionnelle des discrets a deux effets positifs : D’une part, elle permet d’obtenir de meilleures estimations. D’autre part, elle permet également de corriger pour les différences entre les firmes de sondages pour ce qui est de la proportion de discrets et diminue par le fait même les écarts d’estimation entre les divers sondages.
En analysant la différence entre la moyenne des sondages et les résultats des élections ou des référendums de 1970 à 1994, il en arrive à proposer une répartition des discrets qu’il juge réaliste pour le référendum de 1995, soit 75% des discrets au camp du Non et 25% au camp du Oui. Il compare cette répartition à deux autres hypothèses soit une hypothèse optimiste qui accorde 33% des discrets au Oui et une hypothèse pessimiste qui lui accorde 20%. Ces hypothèses de répartition sont reprises par divers media, dont La Presse. Dans son analyse post-référendaire, Drouilly montre que la répartition réaliste donne très exactement les résultats du référendum.
J’ai personnellement repris l’hypothèse optimiste dans mon analyse du référendum écossais du 2014. Cette répartition qui accordait 33% des discrets au Oui donnait une estimation nettement meilleure que la répartition proportionnelle mais elle sous-estimait quand même le Non. La répartition réaliste 75-25 aurait été meilleure.
Notons également que, dans les années 1990, la firme CROP a aussi proposé sa propre répartition, basée sur le profil socio-culturel des discrets.
Selon André Pratte dans La Presse, à l’élection de 1998, tous les sondeurs s’étaient ralliés à une répartition donnant 60% des discrets au PLQ, 30% au PQ et 10% à l'ADQ. Il s’agit de la seule élection où il y a eu convergence tant des sondeurs que des chercheurs sur cette question. Cette répartition n'avait toutefois pas empêché une erreur importante des sondages qui avaient prédit une forte avance au PQ alors que celui-ci avait terminé près de un point derrière le PLQ (Durand, Blais et Vachon, 2001).
La pratique a finalement été abandonnée en 2002 par les deux principales firmes de sondage de l’époque – Léger et CROP-- un an avant l'élection de 2003. L'ADQ bénéficiait alors d'une forte hausse de ses appuis dans les sondages. Les sondeurs ont jugé qu’il n’y avait pas de justification permettant de maintenir une répartition accordant seulement 10% des discrets à l'ADQ alors que celle-ci bénéficiait de 40% des intentions de vote.
Toutefois, comme rien ne semblait montrer que la sous-estimation des appuis au PLQ avait disparu, j'ai personnellement proposé une révision de la répartition qui selon moi, permettait de tenir compte à la fois de l’émergence de l’ADQ et de la sous-estimation historique du PLQ. J’ai fait l’hypothèse qu’il fallait attribuer 50% des discrets au PLQ, et 25% chacun au PQ et à l'ADQ. L’élection de 2003 se soldera finalement par une victoire du PLQ et l’ADQ obtiendra 18 % du vote. La répartition révisée avait donné une prédiction presque parfaite des résultats.
J’ai continué à appliquer ce mode de répartition en 2007, 2012 et 2014 et il a toujours donné de meilleures estimations qu'une répartition proportionnelle. En 2012, j’avais fait une hypothèse supplémentaire où les discrets francophones se répartissaient non-proportionnellement (50,25,25) et les non-francophones votaient à 70% pour le PLQ. Cette hypothèse avait surestimé le vote du PLQ. J’en ai conclu que la répartition non-proportionnelle compensait entre autres pour la sous-estimation du vote PLQ des non-francophones. La méthode que j’ai proposée a l’avantage d’être stable dans le temps et validée empiriquement mais il n'est pas impossible qu'elle doive être modifié avec le temps.
En conclusion, et maintenant?
Notons d’abord que, depuis 2012, les méthodes utilisées pour faire des sondages se sont fortement diversifiées. La plupart des sondages publiés utilisent le Web ou les sondages téléphoniques automatisés. Ils n’utilisent donc pas d’interviewers et on peut penser qu’il n’y a pas de pression sociale à révéler une intention de vote « socialement acceptable ». Par contre, cela ne veut pas dire que les biais d’échantillon ont disparu, d’autant plus qu’il n’y a plus d’échantillons strictement probabilistes.
Selon les hypothèses que l’on fait, on aura des estimations différentes. Si on postule que la sous-estimation du PLQ était plutôt due au profil socio-démographique des discrets et des non-répondants, on pourrait penser que la CAQ risque plus d’être sous-représentée que le PLQ puisque, selon certains sondages, les partisans de la CAQ sont plus âgés et moins scolarisés et que le profil des électeurs du PLQ tend à changer.
Toutefois, si on postule que c’est la spirale du silence qui est responsable de la sous-estimation du PLQ (voir Lachapelle, 1985), on peut penser que le PLQ sera toujours sous-estimé, quoique de façon moins importante puisque les sondages sont auto-administrés.
Une autre hypothèse est ce que les anglophones appellent « shy Conservatives » hypothesis, l’hypothèse que les personnes plus conservatrices ont moins tendance à révéler leur vote. Ceci se traduirait au Québec par l’hypothèse des « Libéraux timides » ou des « CAQistes timides ». Si cette hypothèse tient, est-ce la CAQ ou le PLQ qui risquent d’être sous-estimés? La question demeure, d’autant plus qu’en 2007, c’est l’ADQ qui avait été sous-estimée, plus que le PLQ.
Enfin, la question de l’estimation du vote des non-francophones demeure. Certains sondages estiment l’appui au PLQ à environ 50% dans ce groupe, ce qui semble nettement sous-estimé.
Une dernière remarque : La répartition non -proportionnelle que j’ai utilisée au cours des dernières élections -- attribuant 50% des discrets au PLQ, 25% à la CAQ et 25% au PQ -- a d’autant plus d’impact lorsqu’elle diffère de façon importante de la répartition proportionnelle. En 2014, alors que l’élection se terminait plus ou moins à 40% pour le PLQ et 25% respectivement pour la CAQ et le PQ, la répartition non proportionnelle permettait de corriger la légère sous-estimation du PLQ et la surestimation de QS. En ce moment, elle gonfle légèrement les intentions de vote pour le PQ et, de façon plus importante, celles pour le PLQ. À l’inverse, elle diminue les intentions de vote pour la CAQ au point de mettre le PLQ et la CAQ à égalité. Est-ce approprié? Pour le moment, je présente toujours les deux hypothèses – répartition proportionnelle et non proportionnelle – dans mes analyses. Je verrai au cours de la campagne si je peux justifier une troisième hypothèse et sur quelles bases je pourrais le faire.
En terminant, mes sincères remerciements à André Blais, Maurice Pinard et Guy Lachapelle pour leur aide très précieuse.
Références :
Blais, A, Crête, J et G. Lachapelle (1986). L’élection québécoise de 1985 : Un bilan des sondages. Revue canadienne de science politique, (19) 2, p. 325-336.
Drouilly, P. (1997). Indépendance et démocratie, L’Harmattan, Paris, 355 p.
Durand, C. Blais, A et S. Vachon (2001). A Late Campaign Swing or a Failure of the Polls? The Case of the 1998 Québec Election », Public Opinion Quarterly, 65 (1), 108-123.
Gaudreault, L. (1976). Sondages : Le public doit savoir. Le Soleil, 17 novembre 1976, p. A5.
Lachapelle, G. (1994). Sondages : Des discrets ont joué les trouble-fête, La Presse, 14 septembre 1994.
Lachapelle, G. (1986). Les répondants discrets et l’élection québécoise de 1985. Politique, (10), p. 31-54.
Lachapelle, G. (1985). Les indécis et la spirale du silence, Le Devoir, 9 décembre 1985, p. 8.
Lemieux, V. (1970). Trois hypothèses sur le vote des indécis." Le Soleil, 18 April, 1970, p 18.
Pinard, M. (2005). Political Ambivalence towards the Parti Québécois and Its Electoral Consequences, 1970-2003. Canadian Journal of Sociology, (30) 3, p. 281-314.
Pinard, M. & R. Hamilton (1976) Quelques hypothèses sur le comportement des indécis." Le Devoir, 10 Novembre 10, p. 2.
Pinard, M. & R. Hamilton (1980). Quelques hypothèses sur le comportement des 'discrets'." Le Devoir, 16 mai 1980, p. 7.
Pratte, A. (1998) Les cachotiers et les insondables, La Presse, 5 novembre 1998, p. B6.
Therrien, G. (1994). Les sondages : Un poids, deux mesures, La Presse, 24 septembre 1994.
mercredi 1 août 2018
Québec 2018, la ligne de départ
Bonjour,
Juste avant de partir en vacances et alors qu'il n'y aura probablement pas de nouveaux sondages avant la troisième semaine d'août (pour éviter les échantillons biaisés), il m'a semblé intéressant de déterminer la "ligne de départ", l'état des intentions de vote avant le début officieux de la campagne.
J'en profite pour rappeler que ce qui m'intéresse est d'essayer d'estimer si les sondages seront fiables ou s'ils auront tendance à sous-estimer ou sur-estimer un parti. Pour ce faire, je m'intéresserai à la proportion et à la répartition des discrets, comme je l'ai fait depuis les élections de 1998. J'analyserai également les différences selon les modes d'administration -- WEB, IVR, téléphonique, mixte -- à la lumière des analyses que j'ai faites dans d'autres élections canadiennes et européennes. Notez que je ne m'intéresse pas à la prédiction du nombre de comtés que chaque parti pourrait obtenir. Mon expertise n'est pas là.
Première analyse: L'évolution des appuis selon les sondages publiés depuis juin 2017
Le premier graphique montre l'évolution des appuis aux différents partis en utilisant les données des sondages tels que publiés, après répartition proportionnelle des discrets. Les discrets sont constitués de l'ensemble des répondants qui ne révèlent pas leur intention de vote, soit qu'ils refusent de la révéler ou disent ne pas être décidés, ou ne pas vouloir voter. Les refus et indécis composent la majeure partie des discrets. Le graphique utilise les sondages de quatre firmes, soit Léger, Mainstreet et Ipsos et CROP. Les données des sondages faits par CROP depuis avril 2017 ont été rendus disponibles dernièrement par la firme.
Les estimations de chaque sondage sont représentées par les points sur le graphique. Les lignes représentent l'évolution estimée des intentions de vote, calculée à l'aide d'une procédure statistique de régression, à partir des estimations des sondages. Les firmes font toutes une répartition proportionnelle des discrets, ce qui revient à recalculer les pourcentages sur la base de ceux qui déclarent une intention de vote.
Le graphique montre que la CAQ aurait fait des gains de près de 10 points de pourcentage depuis juin 2017. Il montre également que ces gains ont surtout été faits aux dépens du Parti Québécois et de Québec Solidaire qui ont perdu chacun de quatre à cinq points durant la même période. Par contre, le PLQ n'a perdu qu'un peu plus de deux points de pourcentage. Ces divers mouvements se soldent par une avance de la CAQ sur le PLQ de près de sept points.
Notons toutefois une grande disparité dans les estimations des diverses firmes. Il arrive fréquemment de constater des écarts de cinq points entre les estimations de deux sondages réalisés durant la même période. On le voit autour d'octobre, par exemple, alors que deux sondages estiment l'appui au PLQ à 29% et un autre à 41%, soit un écart de 12 points. La même chose se produit pour le PQ en décembre alors qu'un sondage estime l'appui à 14% et un autre à 24%. Les estimations des appuis à la CAQ et à Québec Solidaire apparaissent plus similaires entre les firmes. La variabilité peut être liée au fait que la campagne n'est pas encore commencée. Elle peut également être liée aux méthodes utilisées par les diverses firmes, une question que je vais analyser dans un prochain message.
Qu'en est-il des francophones?
Le graphique suivant montre l'évolution des intentions de vote chez les francophones, définis habituellement par la langue maternelle. Il y a un an, les trois principaux partis étaient à égalité. Chez les francophones, la CAQ est le seul parti à avoir progressé et ceci, également aux dépens des trois autres partis. Le graphique montre le PLQ et le PQ sont à égalité chez les francophones, durant toute la période. Au final, les appuis à la CAQ approcheraient 45% alors que le PLQ et le PQ seraient à 20% et Québec Solidaire un peu au-dessus de 10%.
Beaucoup disent que ce sont les francophones qui décident des élections. J'aimerais noter que, au dans les années 1980, les francophones constituaient 82-83% de la population alors qu'ils n'en constituent plus que 77,4% selon les données du recensement de 2016. Par ailleurs, les francophones incluent maintenant des Africains, des Haïtiens, des Français, immigrés au Québec plus ou moins récemment. Enfin, contrairement à la situation qui prévalait en 1980, une beaucoup plus grande proportion d'immigrants, considérés dans les sondages comme des allophones, sont francisés. Bref, l'idée que la seule chose qui compte est le vote "francophone" mériterait une mise à jour.
L'évolution des appuis en faisant une répartition non-proportionnelle des discrets
Depuis l'élection de 2003, je fais une estimation de la répartition des intentions de vote des discrets dans laquelle j'attribue 50% des discrets au PLQ, 25% chacun au PQ et à la CAQ (anciennement à l'ADQ) et aucun aux autres partis. Cette répartition s'est révélée empiriquement juste puisqu'elle a permis une très bonne estimation de l'intention de vote lors des élections de 2003, 2007, 2012, et 2014. Pour ceux, celles qui ne sont pas familiers avec cette pratique, amenée historiquement par Maurice Pinard, puis Pierre Drouilly, je prépare une petite histoire de la répartition non-proportionnelle des discrets qui sera publiée sous peu.
Le prochain graphique présente d'abord l'évolution des intentions de vote avant toute répartition des discrets. Ce graphique ne comprend pas les sondages de Mainstreet réalisés en 2017 puisque, avant janvier 2018, Mainstreet ne publiait pas des informations comparables à celles des autres firmes. Heureusement, ce problème est maintenant réglé et les sondages de Mainstreet de 2018 sont inclus dans le graphique.
Comme on peut le constater, la proportion de discrets se situe autour de 20%, sans réelle évolution depuis janvier. Cette proportion est un plus élevée qu'en 2014: Dans les mois précédant cette élection, la proportion d'indécis s'est située autour de 15%. Avant répartition des indécis, la CAQ apparaît toujours avoir gagné 10 points pour atteindre 30%, le PLQ est presque stable à 25%, le PQ se situe autour de 15% et QS un peu en bas de 10%.
Voici maintenant le graphique après répartition non-proportionnelle des discrets. Il s'agit de l'hypothèse la plus plausible quant aux réelles intentions de vote. Le graphique montre une parfaite égalité dans les intentions de vote pour la CAQ et pour le PLQ à 35%. Le PQ se situe un peu au-dessous de 20% et Québec solidaire sous 10%.
Il s'agit de l'état plausible des intentions de vote à l'aube de la campagne. Plusieurs campagnes récentes -- Québec 2014, Canada 2015, entre autres -- ont montré que les campagnes peuvent changer des choses. En 2014, comme le montre mon message de blogue publié après l'élection, en utilisant la même répartition non-proportionnelle des discrets, le PLQ et le PQ avaient commencé la campagne à égalité à 35%. Les appuis au PLQ avaient augmenté à plus de 40%, puis s'étaient stabilisés. Les appuis à la CAQ avaient augmenté aux dépens des appuis au PQ de sorte que la CAQ et le PQ avaient terminé autour de 25%. La répartition non-proportionnelle donnait une prédiction parfaite des résultats du scrutin mais dans ce cas-là, elle n'était pas très différente de la répartition proportionnelle. Son effet était surtout de ne pas sous-estimer le PLQ et surestimer QS.
En conclusion
L'estimation utilisant l'hypothèse d'une répartition non-proportionnelle des intentions de vote des discrets donne une image différente de la situation à l'aube de la campagne électorale. Cette répartition a fait ses preuves mais il convient quand même de rappeler qu'en ce qui a trait aux campagnes électorales et aux élections, la passé n'est pas nécessairement garant de l'avenir. Les campagnes électorales ne se ressemblent pas nécessairement et elles peuvent certainement modifier les intentions de vote. Il demeure qu'il est possible qu'en ce moment, le PLQ et la CAQ soient nez à nez dans les intentions de vote.
Juste avant de partir en vacances et alors qu'il n'y aura probablement pas de nouveaux sondages avant la troisième semaine d'août (pour éviter les échantillons biaisés), il m'a semblé intéressant de déterminer la "ligne de départ", l'état des intentions de vote avant le début officieux de la campagne.
J'en profite pour rappeler que ce qui m'intéresse est d'essayer d'estimer si les sondages seront fiables ou s'ils auront tendance à sous-estimer ou sur-estimer un parti. Pour ce faire, je m'intéresserai à la proportion et à la répartition des discrets, comme je l'ai fait depuis les élections de 1998. J'analyserai également les différences selon les modes d'administration -- WEB, IVR, téléphonique, mixte -- à la lumière des analyses que j'ai faites dans d'autres élections canadiennes et européennes. Notez que je ne m'intéresse pas à la prédiction du nombre de comtés que chaque parti pourrait obtenir. Mon expertise n'est pas là.
Première analyse: L'évolution des appuis selon les sondages publiés depuis juin 2017
Le premier graphique montre l'évolution des appuis aux différents partis en utilisant les données des sondages tels que publiés, après répartition proportionnelle des discrets. Les discrets sont constitués de l'ensemble des répondants qui ne révèlent pas leur intention de vote, soit qu'ils refusent de la révéler ou disent ne pas être décidés, ou ne pas vouloir voter. Les refus et indécis composent la majeure partie des discrets. Le graphique utilise les sondages de quatre firmes, soit Léger, Mainstreet et Ipsos et CROP. Les données des sondages faits par CROP depuis avril 2017 ont été rendus disponibles dernièrement par la firme.
Les estimations de chaque sondage sont représentées par les points sur le graphique. Les lignes représentent l'évolution estimée des intentions de vote, calculée à l'aide d'une procédure statistique de régression, à partir des estimations des sondages. Les firmes font toutes une répartition proportionnelle des discrets, ce qui revient à recalculer les pourcentages sur la base de ceux qui déclarent une intention de vote.
Le graphique montre que la CAQ aurait fait des gains de près de 10 points de pourcentage depuis juin 2017. Il montre également que ces gains ont surtout été faits aux dépens du Parti Québécois et de Québec Solidaire qui ont perdu chacun de quatre à cinq points durant la même période. Par contre, le PLQ n'a perdu qu'un peu plus de deux points de pourcentage. Ces divers mouvements se soldent par une avance de la CAQ sur le PLQ de près de sept points.
Notons toutefois une grande disparité dans les estimations des diverses firmes. Il arrive fréquemment de constater des écarts de cinq points entre les estimations de deux sondages réalisés durant la même période. On le voit autour d'octobre, par exemple, alors que deux sondages estiment l'appui au PLQ à 29% et un autre à 41%, soit un écart de 12 points. La même chose se produit pour le PQ en décembre alors qu'un sondage estime l'appui à 14% et un autre à 24%. Les estimations des appuis à la CAQ et à Québec Solidaire apparaissent plus similaires entre les firmes. La variabilité peut être liée au fait que la campagne n'est pas encore commencée. Elle peut également être liée aux méthodes utilisées par les diverses firmes, une question que je vais analyser dans un prochain message.
Qu'en est-il des francophones?
Le graphique suivant montre l'évolution des intentions de vote chez les francophones, définis habituellement par la langue maternelle. Il y a un an, les trois principaux partis étaient à égalité. Chez les francophones, la CAQ est le seul parti à avoir progressé et ceci, également aux dépens des trois autres partis. Le graphique montre le PLQ et le PQ sont à égalité chez les francophones, durant toute la période. Au final, les appuis à la CAQ approcheraient 45% alors que le PLQ et le PQ seraient à 20% et Québec Solidaire un peu au-dessus de 10%.
Beaucoup disent que ce sont les francophones qui décident des élections. J'aimerais noter que, au dans les années 1980, les francophones constituaient 82-83% de la population alors qu'ils n'en constituent plus que 77,4% selon les données du recensement de 2016. Par ailleurs, les francophones incluent maintenant des Africains, des Haïtiens, des Français, immigrés au Québec plus ou moins récemment. Enfin, contrairement à la situation qui prévalait en 1980, une beaucoup plus grande proportion d'immigrants, considérés dans les sondages comme des allophones, sont francisés. Bref, l'idée que la seule chose qui compte est le vote "francophone" mériterait une mise à jour.
L'évolution des appuis en faisant une répartition non-proportionnelle des discrets
Depuis l'élection de 2003, je fais une estimation de la répartition des intentions de vote des discrets dans laquelle j'attribue 50% des discrets au PLQ, 25% chacun au PQ et à la CAQ (anciennement à l'ADQ) et aucun aux autres partis. Cette répartition s'est révélée empiriquement juste puisqu'elle a permis une très bonne estimation de l'intention de vote lors des élections de 2003, 2007, 2012, et 2014. Pour ceux, celles qui ne sont pas familiers avec cette pratique, amenée historiquement par Maurice Pinard, puis Pierre Drouilly, je prépare une petite histoire de la répartition non-proportionnelle des discrets qui sera publiée sous peu.
Le prochain graphique présente d'abord l'évolution des intentions de vote avant toute répartition des discrets. Ce graphique ne comprend pas les sondages de Mainstreet réalisés en 2017 puisque, avant janvier 2018, Mainstreet ne publiait pas des informations comparables à celles des autres firmes. Heureusement, ce problème est maintenant réglé et les sondages de Mainstreet de 2018 sont inclus dans le graphique.
Comme on peut le constater, la proportion de discrets se situe autour de 20%, sans réelle évolution depuis janvier. Cette proportion est un plus élevée qu'en 2014: Dans les mois précédant cette élection, la proportion d'indécis s'est située autour de 15%. Avant répartition des indécis, la CAQ apparaît toujours avoir gagné 10 points pour atteindre 30%, le PLQ est presque stable à 25%, le PQ se situe autour de 15% et QS un peu en bas de 10%.
Voici maintenant le graphique après répartition non-proportionnelle des discrets. Il s'agit de l'hypothèse la plus plausible quant aux réelles intentions de vote. Le graphique montre une parfaite égalité dans les intentions de vote pour la CAQ et pour le PLQ à 35%. Le PQ se situe un peu au-dessous de 20% et Québec solidaire sous 10%.
Il s'agit de l'état plausible des intentions de vote à l'aube de la campagne. Plusieurs campagnes récentes -- Québec 2014, Canada 2015, entre autres -- ont montré que les campagnes peuvent changer des choses. En 2014, comme le montre mon message de blogue publié après l'élection, en utilisant la même répartition non-proportionnelle des discrets, le PLQ et le PQ avaient commencé la campagne à égalité à 35%. Les appuis au PLQ avaient augmenté à plus de 40%, puis s'étaient stabilisés. Les appuis à la CAQ avaient augmenté aux dépens des appuis au PQ de sorte que la CAQ et le PQ avaient terminé autour de 25%. La répartition non-proportionnelle donnait une prédiction parfaite des résultats du scrutin mais dans ce cas-là, elle n'était pas très différente de la répartition proportionnelle. Son effet était surtout de ne pas sous-estimer le PLQ et surestimer QS.
En conclusion
L'estimation utilisant l'hypothèse d'une répartition non-proportionnelle des intentions de vote des discrets donne une image différente de la situation à l'aube de la campagne électorale. Cette répartition a fait ses preuves mais il convient quand même de rappeler qu'en ce qui a trait aux campagnes électorales et aux élections, la passé n'est pas nécessairement garant de l'avenir. Les campagnes électorales ne se ressemblent pas nécessairement et elles peuvent certainement modifier les intentions de vote. Il demeure qu'il est possible qu'en ce moment, le PLQ et la CAQ soient nez à nez dans les intentions de vote.