Bonjour,
La campagne est lancée et déjà quelques sondages "quick and dirty", comme disaient les sondeurs à l'époque, sont publiés.
Aperçu des méthodologies:
La Presse du samedi 26 mars en page A9 : "Méthodologie: Opinion publique Angus Reid a mené un sondage en ligne auprès d'un échantillon
représentatif de 2365 adultes canadiens,
choisis au hasard, inscrits au Forum Angus Reid. La marge d'erreur qui mesure la variation de l'échantillonnage est de +/- 2 points de pourcentage. Les résultats ont été
statistiquement pondérés conformément aux plus récentes données du recensement sur la scolarité, l'âge le sexe et la région
de façon à assurer un échantillonnage représentatif de la population adulte du Canada.
Marge d'erreur : CB: 507 répondants, +/-
4,35%, Ontario: 823 répondants: +/-
3,42%, Québec 793 répondants
: +/-
3,48%
Même journal, page A10: (sondage CROP) "Ce sondage a été réalisé au moyen d'un panel Web.
Étant donné le caractère non probabiliste de l'échantillon, le calcul de la marge d'erreur ne s'applique pas".
Le Devoir, même samedi, : p. A12. "Le sondage a été mené au Canada les 23 et 24 mars, auprès de 3539 personnes.
Un échantillon probabiliste de la même taille présente une marge d'erreur de 1,7 %, 19 fois sur 20. Le sondage Internet a été réalisé selon une méthodologie fiable et éprouvée. Les données ont été pondérées selon l'âge, le sexe, la langue maternelle, le degré de scolarité et la composition du foyer.
Au Québec,
le coup de sonde présente une marge d'erreur de 3,1 %, alors que 1003 personnes ont répondu. En Ontario, 1004 personnes ont été sondées, pour une marge d'erreur de 3,1 %. En Colombie-Britannique, 403 personnes ont répondu, avec une marge d'erreur de 4,9 %."
Commentaires:
1) marge d'erreur
Qui a raison? Crop sans contredit. :La marge d'erreur est basée sur la théorie des probabilités, en gros sur le fait que l'échantillon a été constitué au hasard. Lorsque ce n'est pas le cas, elle ne s'applique pas. L'ARIM qui regroupe le milieu des sondages au Canada "interdit" à ses membres de parler de marge d'erreur dans le cas des sondages Internet.
Que dire de l'encart du Devoir? Il est au mieux ambigü. Il dit une chose et son contraire.
"Si l'échantillon était probabiliste, la marge d'erreur serait de x" suivi de "La marge d'erreur est de x dans les sous-échantillons".
Que dire de l'encart du sondage Angus Reid? Il est carrément trompeur. Il faut peut-être le prendre à la lettre soit qu'il est
"représentatif de 2365 adultes canadiens, ..., inscrits au Forum Angus Reid".
2) La pondération: On relève que Angus Reid ne pondère pas en fonction de la langue maternelle ou de la langue d'usage au Québec. Or cette information étant fortement liée au vote, c'est une pondération qui devrait être appliquée. On relève que tant Angus Reid que Léger pondèrent en fonction de la scolarité, de façon à compenser pour la trop forte présence de personnes plus scolarisées parmi les répondants. Le seul problème de cette pratique est le fait que l'on ne sait pas si la mauvaise représentation de la scolarité dans l'échantillon est due uniquement à une vraie sous-représentation ou également au fait que les répondants auraient tendance à se déclarer plus scolarisés qu'ils ne le sont.
La question demeure: S'il y avait une femme de 70 ans peu scolarisée dans le panel, représenterait-elle l'ensemble des femmes de 65 ans et plus peu scolarisées?
3) Les fermiers manitobains: Outre le fait que l'on pense que les fermiers manitobains et les pêcheurs de Nouvelle Écosse ont autre chose à faire que de s'inscrire à un panel de répondants à des sondages, il faut faire un calcul simple: Pour Angus Reid, 2365 répondants moins 507 en CB, 823 en Ontario et 793 au Québec:
il reste 242 répondants pour les 7 autres provinces du Canada! Dans le cas du sondage Léger, il y en a 1129, ce qui est acceptable.
Faut-il faire confiance aux sondages Internet?
Comment répondre? Théoriquement non.
Empiriquement, lors de la dernière élection fédérale, il n'y avait pas de différence significative entre les sondages Angus Reid et les autres. Toutefois, je n'ai pas pu vérifier s'il y avait plus de variation. Lors de l'élection québécoise de 2008, Angus Reid était également à l'intérieur de la marge d'erreur. Par contre, lors de l'élection montréalaise de 2008, ils avaient prédit la victoire de Louise Harel et mis le maire en troisième place : 7 points d'écart entre le sondage et les résultats.
Le problème est que l'on ne sait pas quand et dans quelles circonstances un sondage fait auprès de volontaires peut représenter la population. Dans un prochain blog, un mot des recherches sur la question. Entretemps, on devrait peut-être parler de l'intention de vote des panelistes (plutôt que de la population?).
Au plaisir
Claire Durand
