Et les méthodologies ont-elles eu un impact?

Bonjour,

Petite question en terminant, des méthodologies de sondage différentes donnent-elles des résultats différents.

Un bref rappel des méthodologies utilisées: Panel Internet (Angus-Reid, Léger, Abacus DAns, Innovative Research Group, Crop), téléphonique automatisé SVI (Ekos, Forum Research), téléphonique (Nanos, Harris, Environics, Ipsos-Reid, Compas). De plus Nanos utilise une question ouverte pour l'intention de vote.

Après contrôle pour l'évolution dans le temps, les analyses montrent que:

Pour les résultats sur l'ensemble du Canada, les sondages Internet et SVI ont eu tendance à donner 1.2 points de plus aux Libéraux que les sondages téléphoniques ainsi que 1.5 points de moins aux Conservateurs pour les sondages Internet et 3 points de moins pour les sondages SVI. De plus Nanos a eu tendance à donner 3.8 points de plus aux Libéraux et 1.7 points de moins au NPD.

Les sondages Internet et SVI auront donc eu tendance à amplifier la sous-estimation des Conservateurs.

Pour ce qui est du Québec, les sondages SVI ont donné en moyenne 2.8 points de moins au Bloc mais cela n'a pas eu de conséquences sur l'estimation d'ensemble.

Enfin, pour ce qui est de l'Ontario, seul Nanos se distingue en accordant à la fois aux Libéraux (3.2 points) et aux Conservateurs (2 points) une plus forte intention de vote que les autres firmes. Ceci donne à Nanos une moins bonne prédiction pour les Libéraux mais une meilleure prédiction pour les Conservateurs (qui ne comble pas toutefois l'écart de 4 points entre les sondages et le vote.

Et donc, là où la sous-estimation des Conservateurs est la plus forte, en Ontario, il n'y a pas de différence selon les méthodologies: elles ont toutes sous-estimé les Conservateurs.

Au plaisir

Lendemain de veille: Quel bilan pour les sondages?

Bonjour,

Quel bilan pour les sondages aujourd'hui?  Commençons par les bons coups.

D'abord le Québec:

Comme on peut le voir dans le graphique, les modèles utilisés pour prédire le vote à partir des sondages réalisés donnent des résultats qui sont non seulement à l'intérieur de la marge d'erreur mais mieux encore presque parfaits.


Par contre, pour ce qui est du Canada dans son ensemble, trois sur quatre.

C'est pile-poil pour le NPD, pour le PLC et pour le Bloc mais il y a une sérieuse sous-évaluation de l'intention de vote pour le Parti Conservateur, pas énorme, juste suffisante pour modifier les résultats par siège...

Sous-évaluation due... en particulier à l'Ontario: 

Aucun sondage n'avait mis le PC en haut de 40% depuis une dizaine de jours en Ontario (sauf un Compas qui l'avait mis à 46% et qui sous-estime fortement le PLC). Or le PC se retrouve avec 44,4% du vote.  Pour ce qui est des sondages, comme il n'y avait aucune évolution estimée du PC depuis le début de la campagne, ce n'était pas en soi une situation difficile à estimer. Ca rappelle un peu l'erreur des sondages relative au PLQ en 1998 au Québec.

Pourquoi?
La sous-évaluation du vote de droite par les sondages n'est pas un phénomène rare. Pour ce qui est du Canada par ailleurs, c'était également le cas en 2008. C'est un problème récurrent. D'où provient-il? Plusieurs explications possibles.
- Les électeurs conservateurs auraient moins tendance à révéler leur intention de vote.
- Les électeurs conservateurs auraient moins tendance à collaborer aux sondages. Dans cette campagne, on peut se demander si cela serait plus vrai pour les sondages Internet et IVR (analyses à venir).
- La participation des électeurs conservateurs serait plus forte que celle des autres électeurs, les jeunes en particulier, plus susceptibles de voter à gauche. A noter que la participation que l'on s'attendait à voir augmenter dans cette campagne n'a pas beaucoup augmenté.

Bref, la sous-estimation du vote conservateur est un "vieux problème" qu'il faudra continuer à avoir en tête, à analyser, à tenter de comprendre.

Au plaisir!

La finale... amendée

Bonjour,

Je vous ai salué un peu tôt hier. D'autres sondages ont été publiés y compris hier et nous avons entré les données pour voir si cela provoquait des changements dans les estimations. La réponse est oui. Nous présentons donc les analyses très finales.
Dans ces analyses, cinq nouveaux sondages sont entrés provenant de Nanos, Harris-Decima, Ekos, Abacus et Forum Research. Nous avons pris la décision de ne pas entrer le sondage Compas fait auprès de 750 répondants à travers le Canada. Ce sondage comporte peu d'informations sur la méthodologie, entre autres sur la proportion de discrets (à 35% pour le dernier sondage de cette firme). Par ailleurs, les estimations comportent des valeurs aberrantes par rapport à l'ensemble des autres sondages. A titre d'exemple, tous les sondages depuis près de deux semaines, à l'exception d'un Ipsos Reid mettent le PC en bas de 40%. Compas le met à 46%.

Pour le Canada,

Comme le graphique l'illustre, les derniers sondages montrent une stabilisation des intentions de vote au cours des derniers jours, pour l'ensemble des partis. Les modèles sont assez similaires aux précédents, sauf pour le NPD, mais les effets sont moins importants.
- Ces modèles donnent le PC à 35,8% avec un intervalle de 34,1% à 37,6%, soit un peu plus bas que le modèle précédent (36,2%).
- Le modèle pour le PLC est également similaire aux modèles précédents et donne le PLC à 19,4%, soit entre 18,5% et 20,4%, soit un point de moins que le modèle précédent.
- Le modèle pour le NPD est complexe avec 4 composantes pour le temps.  Il donne le NPD à 31,1%, soit entre 28% et 34,2%, également plus bas, de près de 2 points, que le modèle précédent.
- Le Bloc se situe à 5,7%, soit entre 5,2% et 6,3% (voir Québec).

Ces nouveaux modèles sont plus précis puisqu'il y a moins de jours entre le dernier sondage et le vote. Ils donnent cette fois le NPD à peine à l'intérieur de la marge d'erreur des Conservateurs.

Pour le Québec:

Pour le Québec, la tendance se maintient. Toutefois, désormais les marges d'erreur sont moins grandes.  Le graphique illustre bien que le PC et le PLC sont à égalité et que le NPD est toujours loin devant le Bloc.
- Le modèle pour le NPD  est toujours celui d'une accélération des intentions de vote pour ce parti depuis un peu avant le débat. Le NPD serait à 43,2% avec un intervalle un peu réduit par rapport aux analyses précédentes soit entre 37,9% et 48,6%. La prédiction le met 3 points et demi plus bas que le modèle précédent.
- Le modèle pour le Bloc a maintenant une composante de plus, soit une accélération de la chute. Toutefois, l'effet débat n'est plus significatif dans ce modèle. Le Bloc serait à 23,6% avec un intervalle de 21,2% à 25,9%. La prédiction le met donc un peu plus haut que le modèle précédent.
- Le modèle pour le PC et pour le PLC n'ont pratiquement pas changé. Le PC serait à15,1% (12,8-17,4) et le PLC à 12,5% (10,7-14,3).

Finalement en Ontario,

Très peu de changements dans les modèles pour le PLC et le NPD en Ontario. Toutefois, pour le PC, c'est différent.
- Aucun effet, quel qu'il soit, n'est significatif pour le PC en Ontario, ce qui signifie que le meilleur modèle est celui d'une ligne droite horizontale.  Ce modèle met le PC à 40,3% (39,2-41,3) soit trois points plus haut que le modèle précédent.
- Pour le PLC, l'évolution en forme de cloche le donne maintenant à 25,5%, soit un peu plus de 2 points plus bas que le modèle précédent. Il se situerait le jour de l'élection entre 23,3% et 27,8%.
- Enfin, pour le NPD, l'effet d'accélération récente, faible toutefois, se maintient et le situe à 28,5%, soit entre 25,9% et 31,1%.  Le NPD est statistiquement à égalité avec le PLC.

Conclusion:
Les modèles présentés "prédisent" les résultats le jour du vote à partir des sondages réalisés. Les modèles sont relativement stables mais on voit que l'entrée de nouveaux résultats, tout en modifiant peu les modèles ont une influence -- de 1 à 3 points -- sur le vote prédit.  Comme je l'ai déjà noté, en présence d'une évolution importante et récente des intentions de vote, la marge d'erreur de la prédiction est plus importante. La palme de l'intervalle de confiance élevé est remporté haut la main par le modèle pour le NPD au Québec même si cette intervalle est maintenant mieux défini. Toutefois, l'intervalle pour le Bloc n'est pas aussi important.
Et là, c'est vrai. A demain...

C'est la finale, à demain!

Bonjour,

Nous avons entré quatre nouveaux sondages soit ceux de Nanos, de Ipsos, de Léger et de Angus Reid, ces deux derniers étant des panels Internet.

Pour le Canada:

Les nouveaux sondages confirment les analyses précédentes. Les modèles sont les mêmes.

 - Pour le PC, les intentions de vote pour le PC sont en faible diminution. Le PC est prédit à 36,2% avec un intervalle de 34,2% à 38,1%. Le modèle donne maintenant un point et quart de plus au PC.

- Pour le NPD, le modèle retenu est le m^me, celui d'une accélération à la hausse, commencée un peu avant le débat. Ce modèle amène à prédire le NPD à 33,1% avec un intervalle important toutefois de 29,7% à 36,4%. Le modèle donne 2 points de plus au NPD. La prédiction amène donc le NPD dans la marge d'erreur de la prédiction pour le PC.

- Pour le PLC, l'effet débat est confirmé, soit une baisse de 0,8 points par jour en moyenne depuis le débat. Ces tendances le mènent à 20,3% avec un intervalle de 19,4% à 21,2%, soit un point et demi de moins qu'avec l'analyse précédente.

- Le Bloc est à 5,5% (4,9-6,2). Nous en parlons plus loin.

A noter: Il y a peu de variation entre les firmes dans l'évaluation de l'intention de vote pour le PC  ni pour le NPD. Les derniers sondages mettent le PC entre 35% et 38% et le NPD entre 30% et 33%. Toutefois, pour le PLC on voit des estimations qui varient entre 18% (Ipsos) et 23% (Nanos). Cette dernière firme est la seule qui pose une question ouverte, question qui l'a toutefois souvent mieux amenée à estimer l'intention de vote pour le PLC que les autres firmes.

Le Québec maintenant: 

Tous les sondages récents confirment les résultats précédents avec très peu de variation pour ce qui est du Bloc (26-27%). Par contre, les estimations pour le NPD varient plus (39% à 45%), comme cela est normal lorsque les proportions sont plus élevées (la marge d'erreur augmente avec le pourcentage estimé).

- Le modèle pour le NPD non plus n'a pas beaucoup changé: Une accélération commencée un peu avant le débat le mènerait autour de 47% (si la tendance se maintient) avec un intervalle toujours très important entre 41,2% et 52,7%.

- Le modèle pour le Bloc a un peu changé depuis les dernières analyses: la baisse moyenne serait de 0,098 point par jour depuis le 16 mars, et l'effet débat est devenu moint prononcé à 0,48 point par jours en moyenne. Ceci l'amène autour de 22,2% (un point de plus que la dernière prédiction), soit entre 19,4% et 25,0%.
- Le PC serait en baisse de ,154 points en moyenne par jour depuis le 16 mars, ce qui l'amène à 14,8% avec un intervalle de 12,2% à 17,6%.
- Le PLC a une évolution un peu différente, avec une accélération de la baisse moins prononcée avec les dernières analyses. Ceci l'amène maintenant à 15,1% soit entre 13,1% et 17,1%.

 

L'Ontario se distingue:

Que ce soit pour le PLC ou pour le PC, les analyses montrent une évolution en forme de cloche soit une hausse suivie d'une diminution récente.
- Ces modèles amènent le PC à  37,4% (un point de plus que les dernières prédictions) avec un intervalle entre 35,4% et 39,4% et le PLC à 27,7% (2,23 points de moins) avec un intervalle de 25,8% et 29,7%, statistiquement en bas du PC.
- Avec les nouvelles données, le modèle pour le NPD est simplement l'inverse de celui des deux autres partis. Ce modèle prédit le NPD à 29,1% (26,8-31,5). Le NPD et le PLC sont à égalité.
 En conclusion:

Mardi matin, nous saurons jusqu'à quel point les sondages nous ont donné une image juste de l'état de l'opinion, avec un bémol toutefois.  Nous leur accordons cette fois-ci un droit à l'erreur plus important qu'à l'habitude puisque, pour le NPD surtout, les évolutions sont à ce point rapides qu'elles sont difficiles à mesurer. Toutefois, les sondages semblent donner une image très similaire. L'autre parti à surveiller est le PLC puisque les sondages ne semblent pas toujours estimer cette intention de vote de la même manière.

Par ailleurs, pendant ce temps,... il semble que le printemps est arrivé! Bonne journée d'élections.