Concrètement, si les personnes âgées de 65 ans et plus collaborent moins aux sondages, celles qui collaborent auront tendance à avoir un profil atypique de leur groupe d'âge. Et puisque ce groupe de personnes est sous-représenté, la pondération va gonfler les effectifs de ces personnes... atypiques et ainsi contribuer à un biais de l'échantillon.
Avons-nous un tel phénomène au Québec? En tenir compte permettrait-il de réconcilier les estimations des sondeurs. C'est ce que j'ai tenté de vérifier par une illustration (d'autres à venir), que l'on appellera le paradoxe de l'"anglo-péquiste".
Illustration: Le paradoxe de l'anglo péquiste.
J'avais remarqué que la proportion de non francophones dans les échantillons variait et était rarement au niveau où elle aurait dû être, soit 20% de l'échantillon, chiffre validée tant dans les tableaux détaillés de Léger que de Crop, que je remercie de leur collaboration. Pour que le paradoxe se produise, il faut qu'il y ait une relation entre la proportion brute de membres du groupe considéré dans l'échantillon et l'intention de vote. Vérification faite, une analyse de corrélation montre que plus la proportion de non francophones dans les échantillons est grande, plus l'intention de vote pour le PLQ est élevée chez ces non francophones (r=0,79, p=,02 pour les matheux) et plus l'intention de vote pour le PQ (r=-0,72, p=,04) est faible. Pour la CAQ (r=-0,30), c'est non significatif. Bien sûr, comme il n'y a que 8 sondages, il faut être prudent. Ce n'est pas une relation qui se produit de façon totalement systématique mais on voit par exemple que, pour le Léger où il y a 26% de non francophones, la proportion de vote PLQ cehz ces derniers est de 81%.
Le tableau suivant montre les proportions pour les divers sondages effectués depuis le 7 août de même que les intentions de vote pour le PLQ, le PQ et la CAQ chez les non francophones dans chacun des sondages. On voit que les intentions de vote pour les divers partis varient selon les firmes: CROP estime l'intention de vote pour le PLQ à 58% en moyenne, Forum à 70% en moyenne et Léger entre 62% et 81%.
J'ai refait les calculs pour voir ce qui arriverait si on attribuait 70% de l'intention de vote au PLQ chez les non-francophones et ceci pour tous les échantillons. C'est l'estimation de la dernière colonne que l'on peut comparer à l'estimation de la firme.
Estimation des intentions de vote en "corrigeant" le vote non francophone
| firme | date de publication | N | proportion nonfranco | PLQnf | PQnf | CAQnf | PLQ après répartition (firme) | PLQ nouvelle estimation |
| Crop | 16.08.2012 | 815 | 12,02 | 57 | 12 | 20 | 27 | 31,20 |
| Crop | 09.08.2012 | 943 | 11,13 | 59 | 7 | 8 | 29 | 32,00 |
| Forum | 21.08.2012 | 1540 | 17,40 | 70 | 7 | 13 | 35 | 36,80 |
| Forum | 14.08.2012 | 1563 | 12,48 | 69 | 10 | 10 | 31 | 35,20 |
| Forum | 07.08.2012 | 1542 | 14,66 | 71 | 6 | 10 | 32 | 35,20 |
| Léger | 25.08.2012 | 1773 | 9,59 | 67 | 9 | 15 | 27 | 28,80 |
| Léger | 17.08.2012 | 3019 | 14,51 | 62 | 5 | 20 | 28 | 29,60 |
| Léger | 09.08.2012 | 1431 | 26,35 | 81 | 3 | 9 | 31 | 28,80 |
1) Quel que soit le sondeur, après avoir appliqué cette correction, on constate une stabilité presque totale de l'intention de vote pour le PLQ, sauf pour une hausse d'environ 1,5%, non significative, pour le dernier Forum par rapport au Forum de la semaine précédente. Cette estimation change aussi la donne pour Léger: on ne perçoit plus de baisse du PLQ entre la deuxième et la troisième semaine, mais une stabilité.
2) L'estimation de l'intention de vote pour le PLQ est différente selon les sondeurs: en moyenne 29% pour Léger, 31% pour Crop, 35% pour Forum.
3) On constate que les sondages de Forum ne sont habituellement pas pondérés par la langue maternelle puisque, si c'était le cas, mon estimation serait très similaire aux chiffres publiés (étant donné que ces sondages estiment le vote non francophone pour le PLQ de façon très stable aux alentours de 70%). Toutefois, dans le dernier sondage Forum, la proportion de non francophones dans l'échantillon (17,4%) se rapproche de la proportion dans la population, ce qui fait que mon estimation fait peu de différences. Les sondages non pondérés par la langue maternelle sous estiment généralement l'intention de vote pour le PLQ et surestiment celle des autres partis, particulièrement le PQ.
En conclusion, cet exercice permet de mieux comprendre "les chiffres derrière les chiffres". A 20% de la population, un écart de 5 points dans l'estimation du vote pour un parti, quel qu'il soit, chez les non francophones, amène une différence de un point dans l'estimation totale du vote pour ce parti. Il faudrait sans doute atténuer l'importance de cet impact pour tenir compte du fait que les non francophones votent moins que les francophones mais l'impact existe néanmoins.
Au plaisir
Trés intéressant. À votre avis, quelles sont les autres catégories pertinentes auxquelles on devrait apporter un correctif pour éliminer ce type de biais? Théoriquement, on dirait qu'il y en a à l'infini mais il doit y en avoir qui sont plus importantes que d'autres. Est-ce qu'on doit en laisser le jugement au sondeur, ou bien peut-on trouver une méthode pour systématiser le tout?
RépondreEffacerIl n'y en a pas à l'infini mais je crois que, dans le cas du Québec, c'est probablement le plus fort. Je regarde en ce moment s'il y a un biais du même type pour les groupes d'âge -- le paradoxe de la "mémé péquiste" -- mais le moins qu'on puisse dire est que ce n'est pas évident. Il y a peut-être plus un biais du côté des jeunes. A suivre.
RépondreEffacerVraiment très intéressant. Merci pour ce texte. J'avais en effet remarqué que la proportion de non-franco variait considérablement d'un sondage à l'autre. Je n'avais cependant pas fait le lien avec les intentions de votes.
RépondreEffacerComment faites-vous pour savoir que le problème est uniquement que "les anglophones collaborent moins aux sondages"? Peut-être qu'ils sont, aussi, moins souvent à la maison (les sondeurs n'appellent qu'à la maison, que je sache, et non au travail...).
RépondreEffacerJe m'excuse, ca pourrait de fait prêter à confusion. En fait, quand on parle de collaboration dans les sondages, on fait référence tant au fait que les gens peuvent refuser de répondre au sondage ou à la question qu'au fait qu'ils peuvent être plus difficiles à rejoindre. Ceci dit, les sondeurs appellent normalement à différentes heures du jour et journées de la semaine pour être certain de se donner toutes les possibilités de rejoindre les gens. Ils appellent plusieurs fois le même numéro de téléphone. Même avec les sondages Internet, les sondeurs envoient habituellement des rappels.
RépondreEffacerSelon cette manière de s'exprimer, les prisonniers représentent un groupe qui "collabore" encore moins que les anglos, puisqu'ils sont rarement à la maison ou ne disposent probablement pas d'un téléphone cellulaire (mais ils peuvent voter, crois-je comprendre...).
RépondreEffacerIdem pour les étudiants à l'étranger et les militaires, j'imagine...
N'y aurait-il pas, en général une plus grande proportion de gens " souvent à la maison" parmi les gens qui répondent aux sondeurs, c'est-à-dire, des gens sans emploi extérieur, en congé de maladie, à la retraite ou au chômage?
1) Il y a nettement plus de non-francophones (20%) que de prisonniers. Pour que ca ait un impact, il faut beaucoup de monde et donc, les prisonniers, les étudiants à l'étranger, etc, ne sont pas assez nombreux pour faire une différence.
RépondreEffacer2) Pour ce qui est du biais envers les personnes souvent à la maison, il peut certainement exister si ces personnes ont également tendance à collaborer plus. On pense que les sondages sous représentent les jeunes urbains actifs. Les 18-34 ans ont tendance à être sous représentés dans les sondages en général. Toutefois, ils ont également moins tendance à aller voter. C'est une question que je vais toutefois tenter d'examiner si j'ai le temps.