Evolution récente des intentions de vote - ca bouge un peu

Bonjour,

Nous avons fait de nouvelles analyses de l'évolution des intentions de vote à partir de tous les sondages publiés depuis le 1er janvier 2011 jusqu'à ce matin. Voici les résultats:

1) Canada total:

- Peu de changement depuis les dernières analyses. Les hausses apparaissent un peu plus faibles, ce qui tend à suggérer que plus récemment, la situation s'est stabilisée.
- Très légère hausse pour le PC (,03 point par jour) et pour le NPD (,028 point par jour) associée à une très légère tendance à la baisse pour les Verts (-,033 point par jour). Par contre, pour les Libéraux, les sondages montrent qu'il y avait eu une baisse entre janvier et la mi-février mais que cette baisse a été compensée par une hausse similaire. Bref, les Libéraux sont revenus à leurs niveau de début janvier.
- Ces estimations mettent le PC à 38,3%, le PLC à 27,5%, le NPD à 18,0%, le BQ à 9,1% et les Verts à 6,8%
- Il y a toujours une différence significative entre les sondages Internet et les autres: au total, les sondages Internet ont évalué le PLC en moyenne 2,2 points plus bas que les autres sondages et le NPD, 2,2 points plus haut.

2) Ontario:
- Légère hausse de l'intention de vote pour le PC (,045 point par jour sur 97 jours) ce qui donne près de 4,4 points sur l'ensemble de la période (comparativement à 7 points pour l'analyse précédente). Les Verts sont en baisse similaire à ,049 points par jour, une perte de 4,7 points depuis janvier. Aucune évolution significative pour le NPD.
- Par contre, pour ce qui est des Libéraux, encore là une tendance non linéaire. Le PLC a repris en gros le terrain perdu depuis le début de l'année.
- Ces estimations mettent le PC à 41,6%,  le PLC à 34,4%, le NPD à 16,8% et les Verts à 6,8%.
- En Ontario, il existe maintenant une différence significative entre les sondages Internet et les autres: Les sondages Internet donnent en moyenne 2 points de moins au PLC.
.

Il faut souligner la forte dispersion dans l'estimation de l'intention de vote pour le PC en Ontario au cours des dernières semaines.

3) Québec:

- La légère hausse de l'intention de vote pour le PC se maintient à ,045 points par jour pour une hausse de 4,4 points depuis le début janvier.  L'évolution des intentions de vote pour le Bloc sont maintenant significativement négatives (perte de ,043 points par jour pour un total de 4,2 points). Enfin, le NPD serait en remontée à ,05 points par jour, soit 4,8 points sur l'ensemble. 
- Il faut toutefois faire attention puisque les sondages Internet mettent toujours le NPD 3,8 points plus haut que les autres.
- Ces estimations mettent le Bloc à 36,9%, le PC, le PLC et le NPD pratiquement à égalité (respectivement 20,6%, 19,5% et 17,4%) et les Verts à 5,5%.

- Il faut souligner les écarts importants dans l'estimation de l'intention de vote pour le PLC et pour le NPD au Québec, particulièrement au cours de la dernière semaine (voir graphiques). 

Commentaire: Il est normal que dans les sous-populations (Ontario, Québec), il y ait plus de variation dans l'estimation des intentions de vote puisque les marges d'erreur (voir autre message) sont souvent très élevées mais il est surprenant que cela ne se produise que pour certains partis.

Au plaisir
Claire Durand

Marge d'erreur 101

Au Québec,  "Le NPD devance donc pour la première fois de son histoire le Parti Conservateur et le Parti Libéral".  La Presse, p. A3, jeudi 7 avril 2011.

Qu'en est-il réellement? Avec 558 répondants au Québec, le sondage d'Angus-Reid présenterait, si la marge d'erreur s'appliquait dans ce type de sondage, une marge d'erreur de 3,2% pour le Parti Libéral (18%), de 3,3% pour le Parti Conservateur (19%) et de 3,5% pour le NPD, ceci si tous les répondants avaient donné une intention de vote, ce qui n'est sûrement pas le cas.
Qu'est-ce que cela signifie?
Le Parti Libéral pourrait se situer dans la population à 21,2 (18+3,2), le Parti Conservateur à  22,3 (19+3,3) et le NPD à 20,5 (24-3,5).  Et donc, si l'échantillon reflétait les intentions de vote de la population, tant le Parti Libéral que le Parti Conservateur pourraient se situer plus haut que le NPD. Bref, même s'il reflétait seulement les intentions de vote des membres du panel Angus Reid, le sondage n'indiquerait aucune différence significative d'intention de vote entre les trois partis. Et ceci n'a pas changé depuis le dernier sondage. Enfin, les intentions de vote pour le Bloc Québécois (marge d'erreur minimale de 3,9%) n'ont pas non plus évolué.

Désolée pour le scoop!

Pour ceux que ca intéresse, il est possible de calculer aisément la marge d'erreur en donnant les informations sur le site de CIRCUM : Calculateur de marge d'erreur. Il suffit d'entrer la proportion qui vous intéresse et la taille de l'échantillon (et d'indiquer 1 pour l'effet de plan).

Au plaisir

Sondages Internet, un pavé dans la mare (un autre)

Bonjour,

Gary Langer de ABC  fait état d'une recherche menée pour le U.S. Census Bureau comparant les résultats d'un sondage Internet et d'un sondage téléphonique. Ca donne ceci: 

Blog Gary Langer ABC News sur les sondages internet de type panel

En bref:

• “The telephone samples were more demographically representative of the nation’s population than were the Internet samples after post-stratification.”  
• On attitudinal questions, the proportions of most-common responses in the two datasets differed by 13 points on average and more than 30 points in some cases.
• “This investigation revealed systematic and often sizable differences between probability sample telephone data and non-probability internet data in terms of demographic representativeness of the samples, the proportion of respondents reporting various opinions and behaviors, the predictors of intent to complete the Census form and actual completion of the form, changes over time in responses, and relations between variables.”

De grâce, ne tirez pas sur le messager, c'est pas de ma faute!

Au plaisir

Évolution janvier à mars

Bonjour,

Nous avons fait les premières analyses de l'évolution des intentions de vote à partir de tous les sondages publiés depuis le 1 er janvier 2011. Voici les résultats:

1) Canada total:

- Très légère hausse pour le PC (,04 point par jour) et pour le NPD (,03 point par jour) associée à une très légère tendance à la baisse pour les Verts (-,04 point par jour).
- Ces estimations mettent le PC à 38,5%, le PLC à 26,6%, le NPD à 17,9%, le BQ à 9,8% et les Verts à 6,8%
- Différence significative entre les sondages Internet et les autres: au total, les sondages Internet ont évalué le PLC en moyenne 2,3 points plus bas que les autres sondages et le NPD, 2,08 points plus haut.

2) Ontario:
- Légère hausse de l'intention de vote pour le PC (,077 point par jour) ce qui donne quand même près de 7 points sur l'ensemble de la période. Baisse concurrente des Verts (,058 par jour). Aucune évolution significative pour les autres partis.
- Ces estimations mettent le PC à 42,9%,  le PLC à 32,4%, le NPD à 17,3% et les Verts à 6,7%.
- Aucune différence entre les sondages Internet et les autres.

3) Québec:

- Légère hausse de l'intention de vote pour le PC (,047 points par jour). Aucune évolution significative pour les autres partis.
- Ces estimations mettent le Bloc à 38,8%, le PC et le PLC à égalité (respectivement 20,3% et 19,5%), le NPD à 15,7% et les Verts à 5,5%.
- Les sondages Internet se distinguent en plaçant le NPD 3,95 points plus haut que les autres sondages, en moyenne, après contrôle pour l'évolution. En fait, si on contrôle pour l'effet des sondages Internet, l'intention de vote pour le NPD est en hausse. Si on n'en tient pas compte, elle est stable.

- Il faut souligner les écarts importants dans l'estimation de l'intention de vote pour le parti Libéral du Québec, particulièrement au cours de la dernière semaine (voir graphique). 

Rectification: Suite à mon précédent blogue, Jaideep Mukerji de Angus Reid m'a informé que la firme effectue une pondération en fonction de la langue d'usage au Québec. Cette information était omise de la notice méthodologique mais elle devrait apparaître à l'avenir.


Au plaisir
Claire Durand

Sondages internet, marges d'erreur et fermiers manitobains

Bonjour,
La campagne est lancée et déjà quelques sondages "quick and dirty", comme disaient les sondeurs à l'époque, sont publiés. Aperçu des méthodologies:

La Presse du samedi 26 mars en page A9 : "Méthodologie: Opinion publique Angus Reid a mené un sondage en ligne auprès d'un échantillon représentatif de 2365 adultes canadiens, choisis au hasard, inscrits au Forum Angus Reid. La marge d'erreur qui mesure la variation de l'échantillonnage est de +/- 2 points de pourcentage. Les résultats ont été statistiquement pondérés conformément aux plus récentes données du recensement sur la scolarité, l'âge le sexe et la région de façon à assurer un échantillonnage représentatif de la population adulte du Canada.
Marge d'erreur : CB: 507 répondants, +/- 4,35%, Ontario: 823 répondants: +/- 3,42%, Québec 793 répondants: +/- 3,48%

Même journal, page A10: (sondage CROP)  "Ce sondage a été réalisé au moyen d'un panel Web. Étant donné le caractère non probabiliste de l'échantillon, le calcul de la marge d'erreur ne s'applique pas".

Le Devoir, même samedi, : p. A12. "Le sondage a été mené au Canada les 23 et 24 mars, auprès de 3539 personnes. Un échantillon probabiliste de la même taille présente une marge d'erreur de 1,7 %, 19 fois sur 20. Le sondage Internet a été réalisé selon une méthodologie fiable et éprouvée. Les données ont été pondérées selon l'âge, le sexe, la langue maternelle, le degré de scolarité et la composition du foyer.
Au Québec, le coup de sonde présente une marge d'erreur de 3,1 %, alors que 1003 personnes ont répondu. En Ontario, 1004 personnes ont été sondées, pour une marge d'erreur de 3,1 %. En Colombie-Britannique, 403 personnes ont répondu, avec une marge d'erreur de 4,9 %."

Commentaires: 
1) marge d'erreur
Qui a raison?  Crop sans contredit. :La marge d'erreur est basée sur la théorie des probabilités, en gros sur le fait que l'échantillon a été constitué au hasard. Lorsque ce n'est pas le cas, elle ne s'applique pas. L'ARIM qui regroupe le milieu des sondages au Canada "interdit" à ses membres de parler de marge d'erreur dans le cas des sondages Internet.
Que dire de l'encart du Devoir? Il est au mieux ambigü. Il dit une chose et son contraire. "Si l'échantillon était probabiliste, la marge d'erreur serait de x" suivi de "La marge d'erreur est de x dans les sous-échantillons". 

Que dire de l'encart du sondage Angus Reid? Il est carrément trompeur. Il faut peut-être le prendre à la lettre soit qu'il est "représentatif de 2365 adultes canadiens, ..., inscrits au Forum Angus Reid".

2) La pondération: On relève que Angus Reid ne pondère pas en fonction de la langue maternelle ou de la langue d'usage au Québec. Or cette information étant fortement liée au vote, c'est une pondération qui devrait être appliquée. On relève que tant Angus Reid que Léger pondèrent en fonction de la scolarité, de façon à compenser pour la trop forte présence de personnes plus scolarisées parmi les répondants. Le seul problème de cette pratique est le fait que l'on ne sait pas si la mauvaise représentation de la scolarité dans l'échantillon est due uniquement à une vraie sous-représentation ou également au fait que les répondants auraient tendance à se déclarer plus scolarisés qu'ils ne le sont.

La question demeure: S'il y avait une femme de 70 ans peu scolarisée dans le panel, représenterait-elle l'ensemble des femmes de 65 ans et plus peu scolarisées?

3) Les fermiers manitobains: Outre le fait que l'on pense que les fermiers manitobains et les pêcheurs de Nouvelle Écosse ont autre chose à faire que de s'inscrire à un panel de répondants à des sondages, il faut faire un calcul simple: Pour Angus Reid, 2365 répondants moins 507 en CB, 823 en Ontario et 793 au Québec: il reste 242 répondants pour les 7 autres provinces du Canada! Dans le cas du sondage Léger, il y en a 1129, ce qui est acceptable.

Faut-il faire confiance aux sondages Internet?
Comment répondre? Théoriquement non.
Empiriquement, lors de la dernière élection fédérale, il n'y avait pas de différence significative entre les sondages Angus Reid et les autres. Toutefois, je n'ai pas pu vérifier s'il y avait plus de variation. Lors de l'élection québécoise de 2008, Angus Reid était également à l'intérieur de la marge d'erreur. Par contre, lors de l'élection montréalaise de 2008, ils avaient prédit la victoire de Louise Harel et mis le maire en troisième place : 7 points d'écart entre le sondage et les résultats.
Le problème est que l'on ne sait pas quand et dans quelles circonstances un sondage fait auprès de volontaires peut représenter la population. Dans un prochain blog, un mot des recherches sur la question. Entretemps, on devrait peut-être parler de l'intention de vote des panelistes (plutôt que de la population?).

Au plaisir
Claire Durand

Bienvenue

Bonjour,

Je ne sais pas si je vais pouvoir publier très fréquemment mais l'idée de ce blog est d'échanger sur la méthodologie des sondages et sur l'utilisation des chiffres.  Bref on se préoccupe "du chiffre et de la croyance", pour référer à Blondiaux.  Comment lire les sondages publiés, quelle crédibilité leur accorder? L'idée est d'y réfléchir et d'apprendre à décoder et à évaluer les biais possibles en recourant aux  études scientifiques existantes et à la réflexion.