En attendant les sondages, parlons des discrets

Bonjour,
Je ne ferai pas d'analyse des sondages publiés tant qu'il n'y aura pas au moins trois firmes qui publient des sondages. Je juge cela plus prudent. Entretemps, j'ai décidé de faire un historique de la pratique de répartition non-proportionnelle des discrets. D'où vient cette pratique, comment a-t-elle évolué avec le temps, comment se justifie-t-elle? Ce survol historique commence... en 1959.

Les discrets d’hier à aujourd’hui
Le premier sondage électoral effectué dans le cadre d’une élection québécoise est attribué au Groupe de recherche sociale (Maurice Pinard) en 1959. Ce premier sondage prédit la victoire de l’Union Nationale et c’est le PLQ qui l’emporte. Dès le premier sondage donc, on note une sous-estimation des intentions de vote pour le PLQ. Cette question a préoccupé les chercheurs québécois depuis lors et particulièrement durant la période de 1970 à 2002. Au cours des années, les chercheurs ont proposé diverses méthodes pour corriger cette sous-estimation. Ils ont élaboré une procédure qui est demeurée strictement québécoise. 

Ce message de blogue fait une petite histoire des diverses tentatives proposées pour corriger la sous-estimation relativement systématique du vote pour le PLQ au Québec et conclut sur la situation actuelle. Message un peu long, mais nécessaire si on veut comprendre l’histoire de cette pratique.

Pourquoi parler de discrets plutôt que d’indécis?
L’idée de parler de discrets est attribuée par à peu près tous les chercheurs au politologue Vincent Lemieux de l’Université Laval, aujourd’hui décédé. Il aborde cette question dans un texte pour le journal Le Soleil dans le cadre d’un sondage pour l’élection d’avril 1970. Constatant que ceux qui se disent ne pas savoir pour qui ils voteront ou qui refusent de révéler leur vote ne sont pas nécessairement indécis, il propose de parler de discrets. Les personnes déclarant qu’elles allaient annuler ou qu’elles n’iraient pas voter étaient exclues de ce groupe. Cette question est d’autant plus importante à l’époque que la proportion de discrets est de 43% dans le sondage que Lemieux analyse.

Le terme « discrets » sera adopté par à peu près tous les politologues du Québec par la suite. On le retrouve dans les textes de Maurice Pinard, Pierre Drouilly, André Blais, Jean Crête et Guy Lachapelle, entre autres. Par contre, avec le temps, le terme englobe également les personnes qui disent vouloir annuler ou ne pas aller voter. Deux raisons peuvent expliquer cette situation. D’une part, très peu de répondants indiquent vouloir annuler ou ne pas aller voter (autour de 4-5% au maximum). Les exclure ne change donc pas vraiment les estimations tout en rendant les calculs plus complexes. D’autre part, certaines firmes de sondage ou certains media ne font pas la distinction entre les divers types de non-réponse, à tout le moins dans les informations publiées, ce qui fait que le seul moyen de comparer les comparables est de grouper l’ensemble des personnes qui ne révèlent pas leur vote.

Pourquoi répartir différemment les discrets?
Dès les débuts des sondages, les chercheurs, constatant que le PLQ est généralement sous-estimé (voir entre autres Gaudreault, 1976), font des hypothèses sur les raisons de cette situation. L’hypothèse que les discrets ne votent pas comme les répondants « indiscrets » s’impose rapidement. Pourquoi? Les chercheurs (voir les textes de Maurice Pinard et Guy Lachapelle, entre autres) constatent que les discrets ont un profil socio-démographique et socio-politique différent de celui des « indiscrets » et que ce profil s’apparente plus à celui des partisans du PLQ qu’à celui des partisans d’autres partis, particulièrement du Parti Québécois. Ils sont habituellement plus âgés, moins éduqués, plus fédéralistes.

De plus, les rares chercheurs qui ont voulu vérifier le profil des personnes qui ne collaborent pas aux sondages (Pinard et Hamilton, 1980) constatent que le profil socio-démographique de ceux-ci s’apparente également plus à celui des partisans du PLQ. Blais et ses collègues, en 1986, abondent dans le même sens. Pour tenir compte de cette situation, l’idée d’une répartition des discrets non-proportionnelle fait son chemin. L’idée est de tenir compte à la fois du profil des non-répondants aux sondages et de celui des répondants discrets.

Blais, Crête et Lachapelle, en 1986, proposent qu’une autre raison pourrait expliquer la sous-estimation du vote pour le PLQ : Le vote des non-francophones en faveur du PLQ serait plus élevé que ce qu’estiment les sondages.

Au-delà des constatations empiriques, Lachapelle fait allusion à la théorie de la « spirale du silence » proposée par Elizabeth Noelle-Neuman, qui postule que lorsqu’un parti n’apparaît pas populaire, dans les sondages ou dans les media entre autres, ses partisans auront tendance à cacher leur préférence, ce qui entraînera une spirale où le parti apparaîtra de moins en moins populaire.

Comment répartir les discrets?
L’idée s’impose donc rapidement de répartir les discrets différemment des « indiscrets ». Les premières tentatives sont relativement « traditionnelles ». Elles utilisent les réponses des discrets à d’autres questions comme la satisfaction face au gouvernement ou la perception des chefs de partis (Lemieux, 1970). En 1976, Pinard et Hamilton font quatre hypothèses: Les discrets voteraient soit comme leur vote déclaré à l’élection précédente, soit selon leur niveau de satisfaction face au gouvernement, soit comme leur groupe d’âge ou soit comme ceux qui répondent à la question de relance (la question de relance est la question posée aux personnes qui se disent indécises quant à leur intention de vote: on leur demande s'il y a un parti vers lesquelles elles ont tendance à pencher).

En 1986, Guy Lachapelle revisite la question des discrets en utilisant les données d’un sondage réalisé pour l’élection de 1985, une élection où il y avait eu une forte sous-estimation du vote du PLQ et une surestimation du vote des tiers partis. Lachapelle utilise une méthode d’analyse sophistiquée, l’analyse discriminante, qui permet d’estimer deux « fonctions » permettant de bien prédire l’intention de vote pour le PLQ et le PQ à partir de quatre questions portant sur la satisfaction face au gouvernement, la perception des deux principaux chefs de partis, la langue et le niveau de scolarité. Il applique ces deux fonctions aux discrets et conclut qu’une répartition de 62% des discrets au PLQ et de 38% au PQ – et aucun aux tiers partis – est appropriée. Il applique cette méthode uniquement à ceux qui disent être indécis ou qui refusent de révéler leur vote (17,4% des répondants), excluant ceux qui disent vouloir annuler ou ne pas aller voter (4,9%). Toutefois, la méthode ne permet pas de classer 30% des discrets, parce qu’ils ne répondent pas à une ou l’autre des quatre questions de classement.

Il apparaît assez rapidement que tenter de répartir les discrets en fonction de leurs réponses à d’autres questions comporte un problème majeur : Les discrets ont tendance à ne pas répondre également à ces autres questions.

D’autres chercheurs commencent à faire des hypothèses de répartition « empirique », basées habituellement sur des comparaisons entre les sondages et les résultats des élections précédentes. En 1980, pour le premier référendum sur la souveraineté, Pinard et Hamilton font l’hypothèse que 60% des discrets seulement iront voter et ils font trois hypothèses sur leur répartition (50% à chaque, 60% Non/40% Oui et 70% Non/30% Oui) en soulignant qu’il faut également tenir compte du profil des 24% de personnes contactées qui ont refusé de collaborer au sondage. La proportion de discrets est de 14%. Comme le non obtient 59% des votes, c’est l’hypothèse d’une répartition à 65% pour le Non qui aurait été la meilleure.

En 1986, André Blais, Jean Crête et Guy Lachapelle concluent qu’une répartition des discrets à 62% au PLQ et 38% au PQ aurait été appropriée, tout en soulevant le fait que cela ne règle pas la question des personnes qui ne collaborent pas aux sondages. Ils proposent également d’attribuer tous les discrets non-francophones au PLQ.

En 1994, Guy Lachapelle fait une analyse des sondages de l’élection tenue le 12 septembre. Il propose de nouveau que l’on attribue 62% des électeurs discrets au PLQ, 38% au PQ et aucun à l’ADQ, alors surestimée par les sondages. Gilles Therrien (1994), pour sa part, note que Léger&Léger a fait une répartition des discrets différente lors de cette élection, possiblement basée sur la probabilité d’aller voter.

C’est finalement à Pierre Drouilly, professeur à l'UQAM, qu’il faut attribuer une analyse systématique des discrets en vue du référendum sur la souveraineté de 1995. Dans un texte qu’il a fait circuler en août 1995 qui est reproduit dans son livre « Indépendance et démocratie », il montre d’abord que, empiriquement, il ne faut pas répartir les discrets comme s’ils n’iraient pas voter. Il indique (p. 180) « … les répondants discrets et les abstentionnistes ne sont pas des catégories équivalentes et la pondération des répondants discrets au prorata des réponses fermes introduit une distorsion systématique dans l’estimation des résultats du vote ».

Par contre, comme la proportion de discrets varie selon les firmes de sondage, il conclut que cette proportion a plus à voir avec la méthodologie des firmes qu’avec les répondants eux-mêmes. Enfin, il montre que la proportion d’électeurs discrets dans les sondages varie en sens inverse de la proportion d’électeurs fédéralistes (essentiellement les partisans du PLQ à cette époque), ce qui justifie selon lui l’utilisation du terme « discret » plutôt que du terme « indécis ». Il constate alors qu’une répartition non-proportionnelle des discrets a deux effets positifs : D’une part, elle permet d’obtenir de meilleures estimations. D’autre part, elle permet également de corriger pour les différences entre les firmes de sondages pour ce qui est de la proportion de discrets et diminue par le fait même les écarts d’estimation entre les divers sondages.

En analysant la différence entre la moyenne des sondages et les résultats des élections ou des référendums de 1970 à 1994, il en arrive à proposer une répartition des discrets qu’il juge réaliste pour le référendum de 1995, soit 75% des discrets au camp du Non et 25% au camp du Oui. Il compare cette répartition à deux autres hypothèses soit une hypothèse optimiste qui accorde 33% des discrets au Oui et une hypothèse pessimiste qui lui accorde 20%. Ces hypothèses de répartition sont reprises par divers media, dont La Presse. Dans son analyse post-référendaire, Drouilly montre que la répartition réaliste donne très exactement les résultats du référendum.

J’ai personnellement repris l’hypothèse optimiste dans mon analyse du référendum écossais du 2014. Cette répartition qui accordait 33% des discrets au Oui donnait une estimation nettement meilleure que la répartition proportionnelle mais elle sous-estimait quand même le Non. La répartition réaliste 75-25 aurait été meilleure.

Notons également que, dans les années 1990, la firme CROP a aussi proposé sa propre répartition, basée sur le profil socio-culturel des discrets.

Selon André Pratte dans La Presse, à l’élection de 1998, tous les sondeurs s’étaient ralliés à une répartition donnant 60% des discrets au PLQ, 30% au PQ et 10% à l'ADQ. Il s’agit de la seule élection où il y a eu convergence tant des sondeurs que des chercheurs sur cette question. Cette répartition n'avait toutefois pas empêché une erreur importante des sondages qui avaient prédit une forte avance au PQ alors que celui-ci avait terminé près de un point derrière le PLQ (Durand, Blais et Vachon, 2001).

La pratique a finalement été abandonnée en 2002 par les deux principales firmes de sondage de l’époque – Léger et CROP-- un an avant l'élection de 2003. L'ADQ bénéficiait alors d'une forte hausse de ses appuis dans les sondages. Les sondeurs ont jugé qu’il n’y avait pas de justification permettant de maintenir une répartition accordant seulement 10% des discrets à l'ADQ alors que celle-ci bénéficiait de 40% des intentions de vote.

Toutefois, comme rien ne semblait montrer que la sous-estimation des appuis au PLQ avait disparu, j'ai personnellement proposé une révision de la répartition qui selon moi, permettait de tenir compte à la fois de l’émergence de l’ADQ et de la sous-estimation historique du PLQ. J’ai fait l’hypothèse qu’il fallait attribuer 50% des discrets au PLQ, et 25% chacun au PQ et à l'ADQ. L’élection de 2003 se soldera finalement par une victoire du PLQ et l’ADQ obtiendra 18 % du vote. La répartition révisée avait donné une prédiction presque parfaite des résultats.

J’ai continué à appliquer ce mode de répartition en 2007, 2012 et 2014 et il a toujours donné de meilleures estimations qu'une répartition proportionnelle. En 2012, j’avais fait une hypothèse supplémentaire où les discrets francophones se répartissaient non-proportionnellement (50,25,25) et les non-francophones votaient à 70% pour le PLQ. Cette hypothèse avait surestimé le vote du PLQ. J’en ai conclu que la répartition non-proportionnelle compensait entre autres pour la sous-estimation du vote PLQ des non-francophones. La méthode que j’ai proposée a l’avantage d’être stable dans le temps et validée empiriquement mais il n'est pas impossible qu'elle doive être modifié avec le temps.

En conclusion, et maintenant?
Notons d’abord que, depuis 2012, les méthodes utilisées pour faire des sondages se sont fortement diversifiées. La plupart des sondages publiés utilisent le Web ou les sondages téléphoniques automatisés. Ils n’utilisent donc pas d’interviewers et on peut penser qu’il n’y a pas de pression sociale à révéler une intention de vote « socialement acceptable ». Par contre, cela ne veut pas dire que les biais d’échantillon ont disparu, d’autant plus qu’il n’y a plus d’échantillons strictement probabilistes.

Selon les hypothèses que l’on fait, on aura des estimations différentes. Si on postule que la sous-estimation du PLQ était plutôt due au profil socio-démographique des discrets et des non-répondants, on pourrait penser que la CAQ risque plus d’être sous-représentée que le PLQ puisque, selon certains sondages, les partisans de la CAQ sont plus âgés et moins scolarisés et que le profil des électeurs du PLQ tend à changer.

Toutefois, si on postule que c’est la spirale du silence qui est responsable de la sous-estimation du PLQ (voir Lachapelle, 1985), on peut penser que le PLQ sera toujours sous-estimé, quoique de façon moins importante puisque les sondages sont auto-administrés.

Une autre hypothèse est ce que les anglophones appellent « shy Conservatives » hypothesis, l’hypothèse que les personnes plus conservatrices ont moins tendance à révéler leur vote. Ceci se traduirait au Québec par l’hypothèse des « Libéraux timides » ou des « CAQistes timides ». Si cette hypothèse tient, est-ce la CAQ ou le PLQ qui risquent d’être sous-estimés? La question demeure, d’autant plus qu’en 2007, c’est l’ADQ qui avait été sous-estimée, plus que le PLQ.

Enfin, la question de l’estimation du vote des non-francophones demeure. Certains sondages estiment l’appui au PLQ à environ 50% dans ce groupe, ce qui semble nettement sous-estimé.

Une dernière remarque : La répartition non -proportionnelle que j’ai utilisée au cours des dernières élections -- attribuant 50% des discrets au PLQ, 25% à la CAQ et 25% au PQ -- a d’autant plus d’impact lorsqu’elle diffère de façon importante de la répartition proportionnelle. En 2014, alors que l’élection se terminait plus ou moins à 40% pour le PLQ et 25% respectivement pour la CAQ et le PQ, la répartition non proportionnelle permettait de corriger la légère sous-estimation du PLQ et la surestimation de QS. En ce moment, elle gonfle légèrement les intentions de vote pour le PQ et, de façon plus importante, celles pour le PLQ. À l’inverse, elle diminue les intentions de vote pour la CAQ au point de mettre le PLQ et la CAQ à égalité. Est-ce approprié? Pour le moment, je présente toujours les deux hypothèses – répartition proportionnelle et non proportionnelle – dans mes analyses. Je verrai au cours de la campagne si je peux justifier une troisième hypothèse et sur quelles bases je pourrais le faire.

En terminant, mes sincères remerciements à André Blais, Maurice Pinard et Guy Lachapelle pour leur aide très précieuse.

Références :
Blais, A, Crête, J et G. Lachapelle (1986). L’élection québécoise de 1985 : Un bilan des sondages. Revue canadienne de science politique, (19) 2, p. 325-336.
Drouilly, P. (1997). Indépendance et démocratie, L’Harmattan, Paris, 355 p.
Durand, C. Blais, A et S. Vachon (2001). A Late Campaign Swing or a Failure of the Polls? The Case of the 1998 Québec Election », Public Opinion Quarterly, 65 (1), 108-123.
Gaudreault, L. (1976). Sondages : Le public doit savoir. Le Soleil, 17 novembre 1976, p. A5.
Lachapelle, G. (1994). Sondages : Des discrets ont joué les trouble-fête, La Presse, 14 septembre 1994.
Lachapelle, G. (1986). Les répondants discrets et l’élection québécoise de 1985. Politique, (10), p. 31-54.
Lachapelle, G. (1985). Les indécis et la spirale du silence, Le Devoir, 9 décembre 1985, p. 8.
Lemieux, V. (1970). Trois hypothèses sur le vote des indécis." Le Soleil, 18 April, 1970, p 18.
Pinard, M. (2005). Political Ambivalence towards the Parti Québécois and Its Electoral Consequences, 1970-2003. Canadian Journal of Sociology, (30) 3, p. 281-314.
Pinard, M. & R. Hamilton (1976) Quelques hypothèses sur le comportement des indécis." Le Devoir, 10 Novembre 10, p. 2.
Pinard, M. & R. Hamilton (1980). Quelques hypothèses sur le comportement des 'discrets'." Le Devoir, 16 mai 1980, p. 7.
Pratte, A. (1998) Les cachotiers et les insondables, La Presse, 5 novembre 1998, p. B6.
Therrien, G. (1994). Les sondages : Un poids, deux mesures, La Presse, 24 septembre 1994.