Et les méthodologies ont-elles eu un impact?

Bonjour,

Petite question en terminant, des méthodologies de sondage différentes donnent-elles des résultats différents.

Un bref rappel des méthodologies utilisées: Panel Internet (Angus-Reid, Léger, Abacus DAns, Innovative Research Group, Crop), téléphonique automatisé SVI (Ekos, Forum Research), téléphonique (Nanos, Harris, Environics, Ipsos-Reid, Compas). De plus Nanos utilise une question ouverte pour l'intention de vote.

Après contrôle pour l'évolution dans le temps, les analyses montrent que:

Pour les résultats sur l'ensemble du Canada, les sondages Internet et SVI ont eu tendance à donner 1.2 points de plus aux Libéraux que les sondages téléphoniques ainsi que 1.5 points de moins aux Conservateurs pour les sondages Internet et 3 points de moins pour les sondages SVI. De plus Nanos a eu tendance à donner 3.8 points de plus aux Libéraux et 1.7 points de moins au NPD.

Les sondages Internet et SVI auront donc eu tendance à amplifier la sous-estimation des Conservateurs.

Pour ce qui est du Québec, les sondages SVI ont donné en moyenne 2.8 points de moins au Bloc mais cela n'a pas eu de conséquences sur l'estimation d'ensemble.

Enfin, pour ce qui est de l'Ontario, seul Nanos se distingue en accordant à la fois aux Libéraux (3.2 points) et aux Conservateurs (2 points) une plus forte intention de vote que les autres firmes. Ceci donne à Nanos une moins bonne prédiction pour les Libéraux mais une meilleure prédiction pour les Conservateurs (qui ne comble pas toutefois l'écart de 4 points entre les sondages et le vote.

Et donc, là où la sous-estimation des Conservateurs est la plus forte, en Ontario, il n'y a pas de différence selon les méthodologies: elles ont toutes sous-estimé les Conservateurs.

Au plaisir

Lendemain de veille: Quel bilan pour les sondages?

Bonjour,

Quel bilan pour les sondages aujourd'hui?  Commençons par les bons coups.

D'abord le Québec:

Comme on peut le voir dans le graphique, les modèles utilisés pour prédire le vote à partir des sondages réalisés donnent des résultats qui sont non seulement à l'intérieur de la marge d'erreur mais mieux encore presque parfaits.


Par contre, pour ce qui est du Canada dans son ensemble, trois sur quatre.

C'est pile-poil pour le NPD, pour le PLC et pour le Bloc mais il y a une sérieuse sous-évaluation de l'intention de vote pour le Parti Conservateur, pas énorme, juste suffisante pour modifier les résultats par siège...

Sous-évaluation due... en particulier à l'Ontario: 

Aucun sondage n'avait mis le PC en haut de 40% depuis une dizaine de jours en Ontario (sauf un Compas qui l'avait mis à 46% et qui sous-estime fortement le PLC). Or le PC se retrouve avec 44,4% du vote.  Pour ce qui est des sondages, comme il n'y avait aucune évolution estimée du PC depuis le début de la campagne, ce n'était pas en soi une situation difficile à estimer. Ca rappelle un peu l'erreur des sondages relative au PLQ en 1998 au Québec.

Pourquoi?
La sous-évaluation du vote de droite par les sondages n'est pas un phénomène rare. Pour ce qui est du Canada par ailleurs, c'était également le cas en 2008. C'est un problème récurrent. D'où provient-il? Plusieurs explications possibles.
- Les électeurs conservateurs auraient moins tendance à révéler leur intention de vote.
- Les électeurs conservateurs auraient moins tendance à collaborer aux sondages. Dans cette campagne, on peut se demander si cela serait plus vrai pour les sondages Internet et IVR (analyses à venir).
- La participation des électeurs conservateurs serait plus forte que celle des autres électeurs, les jeunes en particulier, plus susceptibles de voter à gauche. A noter que la participation que l'on s'attendait à voir augmenter dans cette campagne n'a pas beaucoup augmenté.

Bref, la sous-estimation du vote conservateur est un "vieux problème" qu'il faudra continuer à avoir en tête, à analyser, à tenter de comprendre.

Au plaisir!

La finale... amendée

Bonjour,

Je vous ai salué un peu tôt hier. D'autres sondages ont été publiés y compris hier et nous avons entré les données pour voir si cela provoquait des changements dans les estimations. La réponse est oui. Nous présentons donc les analyses très finales.
Dans ces analyses, cinq nouveaux sondages sont entrés provenant de Nanos, Harris-Decima, Ekos, Abacus et Forum Research. Nous avons pris la décision de ne pas entrer le sondage Compas fait auprès de 750 répondants à travers le Canada. Ce sondage comporte peu d'informations sur la méthodologie, entre autres sur la proportion de discrets (à 35% pour le dernier sondage de cette firme). Par ailleurs, les estimations comportent des valeurs aberrantes par rapport à l'ensemble des autres sondages. A titre d'exemple, tous les sondages depuis près de deux semaines, à l'exception d'un Ipsos Reid mettent le PC en bas de 40%. Compas le met à 46%.

Pour le Canada,

Comme le graphique l'illustre, les derniers sondages montrent une stabilisation des intentions de vote au cours des derniers jours, pour l'ensemble des partis. Les modèles sont assez similaires aux précédents, sauf pour le NPD, mais les effets sont moins importants.
- Ces modèles donnent le PC à 35,8% avec un intervalle de 34,1% à 37,6%, soit un peu plus bas que le modèle précédent (36,2%).
- Le modèle pour le PLC est également similaire aux modèles précédents et donne le PLC à 19,4%, soit entre 18,5% et 20,4%, soit un point de moins que le modèle précédent.
- Le modèle pour le NPD est complexe avec 4 composantes pour le temps.  Il donne le NPD à 31,1%, soit entre 28% et 34,2%, également plus bas, de près de 2 points, que le modèle précédent.
- Le Bloc se situe à 5,7%, soit entre 5,2% et 6,3% (voir Québec).

Ces nouveaux modèles sont plus précis puisqu'il y a moins de jours entre le dernier sondage et le vote. Ils donnent cette fois le NPD à peine à l'intérieur de la marge d'erreur des Conservateurs.

Pour le Québec:

Pour le Québec, la tendance se maintient. Toutefois, désormais les marges d'erreur sont moins grandes.  Le graphique illustre bien que le PC et le PLC sont à égalité et que le NPD est toujours loin devant le Bloc.
- Le modèle pour le NPD  est toujours celui d'une accélération des intentions de vote pour ce parti depuis un peu avant le débat. Le NPD serait à 43,2% avec un intervalle un peu réduit par rapport aux analyses précédentes soit entre 37,9% et 48,6%. La prédiction le met 3 points et demi plus bas que le modèle précédent.
- Le modèle pour le Bloc a maintenant une composante de plus, soit une accélération de la chute. Toutefois, l'effet débat n'est plus significatif dans ce modèle. Le Bloc serait à 23,6% avec un intervalle de 21,2% à 25,9%. La prédiction le met donc un peu plus haut que le modèle précédent.
- Le modèle pour le PC et pour le PLC n'ont pratiquement pas changé. Le PC serait à15,1% (12,8-17,4) et le PLC à 12,5% (10,7-14,3).

Finalement en Ontario,

Très peu de changements dans les modèles pour le PLC et le NPD en Ontario. Toutefois, pour le PC, c'est différent.
- Aucun effet, quel qu'il soit, n'est significatif pour le PC en Ontario, ce qui signifie que le meilleur modèle est celui d'une ligne droite horizontale.  Ce modèle met le PC à 40,3% (39,2-41,3) soit trois points plus haut que le modèle précédent.
- Pour le PLC, l'évolution en forme de cloche le donne maintenant à 25,5%, soit un peu plus de 2 points plus bas que le modèle précédent. Il se situerait le jour de l'élection entre 23,3% et 27,8%.
- Enfin, pour le NPD, l'effet d'accélération récente, faible toutefois, se maintient et le situe à 28,5%, soit entre 25,9% et 31,1%.  Le NPD est statistiquement à égalité avec le PLC.

Conclusion:
Les modèles présentés "prédisent" les résultats le jour du vote à partir des sondages réalisés. Les modèles sont relativement stables mais on voit que l'entrée de nouveaux résultats, tout en modifiant peu les modèles ont une influence -- de 1 à 3 points -- sur le vote prédit.  Comme je l'ai déjà noté, en présence d'une évolution importante et récente des intentions de vote, la marge d'erreur de la prédiction est plus importante. La palme de l'intervalle de confiance élevé est remporté haut la main par le modèle pour le NPD au Québec même si cette intervalle est maintenant mieux défini. Toutefois, l'intervalle pour le Bloc n'est pas aussi important.
Et là, c'est vrai. A demain...

C'est la finale, à demain!

Bonjour,

Nous avons entré quatre nouveaux sondages soit ceux de Nanos, de Ipsos, de Léger et de Angus Reid, ces deux derniers étant des panels Internet.

Pour le Canada:

Les nouveaux sondages confirment les analyses précédentes. Les modèles sont les mêmes.

 - Pour le PC, les intentions de vote pour le PC sont en faible diminution. Le PC est prédit à 36,2% avec un intervalle de 34,2% à 38,1%. Le modèle donne maintenant un point et quart de plus au PC.

- Pour le NPD, le modèle retenu est le m^me, celui d'une accélération à la hausse, commencée un peu avant le débat. Ce modèle amène à prédire le NPD à 33,1% avec un intervalle important toutefois de 29,7% à 36,4%. Le modèle donne 2 points de plus au NPD. La prédiction amène donc le NPD dans la marge d'erreur de la prédiction pour le PC.

- Pour le PLC, l'effet débat est confirmé, soit une baisse de 0,8 points par jour en moyenne depuis le débat. Ces tendances le mènent à 20,3% avec un intervalle de 19,4% à 21,2%, soit un point et demi de moins qu'avec l'analyse précédente.

- Le Bloc est à 5,5% (4,9-6,2). Nous en parlons plus loin.

A noter: Il y a peu de variation entre les firmes dans l'évaluation de l'intention de vote pour le PC  ni pour le NPD. Les derniers sondages mettent le PC entre 35% et 38% et le NPD entre 30% et 33%. Toutefois, pour le PLC on voit des estimations qui varient entre 18% (Ipsos) et 23% (Nanos). Cette dernière firme est la seule qui pose une question ouverte, question qui l'a toutefois souvent mieux amenée à estimer l'intention de vote pour le PLC que les autres firmes.

Le Québec maintenant: 

Tous les sondages récents confirment les résultats précédents avec très peu de variation pour ce qui est du Bloc (26-27%). Par contre, les estimations pour le NPD varient plus (39% à 45%), comme cela est normal lorsque les proportions sont plus élevées (la marge d'erreur augmente avec le pourcentage estimé).

- Le modèle pour le NPD non plus n'a pas beaucoup changé: Une accélération commencée un peu avant le débat le mènerait autour de 47% (si la tendance se maintient) avec un intervalle toujours très important entre 41,2% et 52,7%.

- Le modèle pour le Bloc a un peu changé depuis les dernières analyses: la baisse moyenne serait de 0,098 point par jour depuis le 16 mars, et l'effet débat est devenu moint prononcé à 0,48 point par jours en moyenne. Ceci l'amène autour de 22,2% (un point de plus que la dernière prédiction), soit entre 19,4% et 25,0%.
- Le PC serait en baisse de ,154 points en moyenne par jour depuis le 16 mars, ce qui l'amène à 14,8% avec un intervalle de 12,2% à 17,6%.
- Le PLC a une évolution un peu différente, avec une accélération de la baisse moins prononcée avec les dernières analyses. Ceci l'amène maintenant à 15,1% soit entre 13,1% et 17,1%.

 

L'Ontario se distingue:

Que ce soit pour le PLC ou pour le PC, les analyses montrent une évolution en forme de cloche soit une hausse suivie d'une diminution récente.
- Ces modèles amènent le PC à  37,4% (un point de plus que les dernières prédictions) avec un intervalle entre 35,4% et 39,4% et le PLC à 27,7% (2,23 points de moins) avec un intervalle de 25,8% et 29,7%, statistiquement en bas du PC.
- Avec les nouvelles données, le modèle pour le NPD est simplement l'inverse de celui des deux autres partis. Ce modèle prédit le NPD à 29,1% (26,8-31,5). Le NPD et le PLC sont à égalité.
 En conclusion:

Mardi matin, nous saurons jusqu'à quel point les sondages nous ont donné une image juste de l'état de l'opinion, avec un bémol toutefois.  Nous leur accordons cette fois-ci un droit à l'erreur plus important qu'à l'habitude puisque, pour le NPD surtout, les évolutions sont à ce point rapides qu'elles sont difficiles à mesurer. Toutefois, les sondages semblent donner une image très similaire. L'autre parti à surveiller est le PLC puisque les sondages ne semblent pas toujours estimer cette intention de vote de la même manière.

Par ailleurs, pendant ce temps,... il semble que le printemps est arrivé! Bonne journée d'élections.

Et la tendance se maintient...

Les derniers sondages confirment les tendances déjà observées et ceci, quelles que soient les méthodologies utilisées.  On s'étonne toutefois du fait que deux firmes n'ont pas publié de sondages cette semaine, soit Léger Marketing (ni la semaine dernière dans ce cas) et Ipsos-Reid. Pourquoi? Publication demain?

Tel que mentionné dans mon dernier message, les analyses permettent de "projeter" les résultats le jour du vote avec une marge d'erreur plus ou moins grande selon la stabilité des intentions de vote. Ce sont ces résultats qui sont présentés ici.

Au Canada,...

Comme on peut le voir, tous les partis sont en descente sauf le NPD.  Il faut toutefois être prudent parce que l'évolution de l'intention de vote pour le NPD a été difficile à modéliser et que l'on a dû choisir entre plusieurs modèles, celui qui apparaissait le plus plausible. Certains modèles, acceptables statistiquement, donnait le NPD en baisse mais avec une marge d'erreur de la prédiction très élevée (intervalle de 15 points).
 - Pour le PC, peu de changements depuis mardi. La tendance se confirme: Les intentions de vote pour le PC avaient augmenté. Elles sont maintenant en diminution. Le PC est prédit à 33,9% avec un intervalle de 31,6% à 36,2%.
- Pour le PLC, le meilleur modèle est maintenant celui d'une hausse suivie d'une baisse MAIS à laquelle s'ajoute une baisse de 0,78 points par jour depuis le débat. Ces tendances le mènent à 21,2% avec un intervalle de 19,7% à 22,6%.
- Pour le NPD, le modèle retenu est celui d'une accélération à la hausse, commencée un peu avant le débat. Ce modèle amène à prédire le NPD à 31,1% avec un intervalle important toutefois de 27,4% à 34,8%.

Ces résultats -- les intervalles des prédictions -- signifient qu'il n'y a pas de différence significative entre le PC et le NPD dans les prédictions. Ils pourraient être à égalité.Toutefois, il y a une différence significative entre le NPD et le PLC. Le NPD est significativement au-dessus du PLC.

- Nous reviendrons au Bloc en parlant des intentions de vote pour le Québec.



Pour le Québec:

Honte sur moi. Lors d'une entrevue à Patrice Roy, j'ai dit que je croyais impossible la situation qui vous est présentée en ce moment. Ça m'apprendra! Il ne faut parler que de données, c'est plus prudent. "When I do not have data, I have an opinion".

- Le modèle pour le Bloc a peu changé depuis les dernières analyses: une baisse de 0,19 points en moyenne  par jour depuis le 16 mars, à laquelle s'ajoute un baisse additionnelle de ,6 points par jour depuis le débat. Ceci l'amène autour de 21,2%, soit entre 17,9% et 24,4%.
- Le modèle pour le NPD non plus n'a pas beaucoup changé: Une accélération commencée un peu avant le débat le mènerait autour de 46,5% (si la tendance se maintient) avec un intervalle entre 40,7% et 52,3%.
- Le PC serait en baisse de ,14 points en moyenne par jour depuis le 16 mars, ce qui l'amène à 14,8% avec un intervalle de 11,7% à 17,8%.
- Le PLC a une évolution un peu différente, avec une accélération de la baisse plus récemment. Ceci l'amène à 12,8% soit entre 11,1% et 14,5%.

Statistiquement, il n'y a pas de différence dans les intentions de vote entre le PC et le PLC. Le NPD est clairement et statistiquement en haut du Bloc.  Prudence toutefois, l'intervalle de confiance est élevé et fortement dépendant des évolutions récentes. Dans ce cas, le chiffre le plus bas (40,7%) est plus plausible. Nous ferons probablement d'autres analyses dimanche pour préciser la prédiction. 

Pendant ce temps en Ontario,

Que ce soit pour le PLC ou pour le PC, les analyses montrent une évolution en forme de cloche soit une hausse suivie d'une diminution récente.

- Ces modèles amènent le PC à  36,3% avec un intervalle entre 33,9% et 38,8% et le PLC à 30% avec un intervalle de 27,9% et 32,2%, statistiquement en bas du PC.
- Le modèle pour le NPD est complexe. L'évolution serait en forme de "poisson" mais cette évolution serait atténuée par un effet débat négatif. Ce modèle prédit le NPD à 28,5% (25,9-31,2).  Toutefois, un autre modèle acceptable également prédirait le NPD à 25,4%, soit entre 22,5% et 28,2%. Il faut donc être très prudent pour ce qui est de l'évolution de l'intention de vote pour le NPD.  Les deux modèles permettent toutefois de conclure que le NPD et le PLC pourraient être à égalité.


En conclusion, pour une fois, si les sondages prédisent mal le vote, particulièrement pour le NPD, et que les sondeurs disent que c'est dû à la volatilité du vote, j'aurai tendance à penser que c'est une hypothèse plausible!.

Notice méthodologique:

1) Un point sur la marge d'erreur (encore). Dans La Presse de ce matin, on parle d'une marge d'erreur de 2,2 % pour les sondages de la région de Québec et de 2,8% pour ceux du Saguenay. Cette information serait pertinente si on présentait le total des intentions de vote pour chacune des régions. Or, on présente les intentions de vote par circonscription. Les marges d'erreur sont alors aux environs de 5%. L'information sur la marge d'erreur prêtait à ce point à confusion que le journaliste de Radio-Canada a parlé de marges d'erreur de 2% à 3% selon les circonscriptions à "C'est bien meilleur le matin". Les marges d'erreur réelles signifient que les intentions de vote sont à égalité "statistique" dans la plupart des circonscriptions. C'est le problème des sondages dans les comtés où les luttes sont serrées. En général, ils confirment que les luttes sont serrées. 

2) Je vous réfère à une critique méthodologique très intéressante des modèles de prédiction de sièges sur le site du "Pundits guide":  http://www.punditsguide.ca/.  Cette analyse permet de mieux comprendre pourquoi la plupart des modèles ne prédisent que peu de modifications dans le nombre de sièges malgré des évolutions très fortes dans les intentions de vote.


Un peu d'histoire: Voici de quoi a eu l'air l'évolution pour le Québec en 2008 telle que mesurée par les sondages.

On peut conclure que le PC qui était en bonne position en début de campagne a perdu son avantage durant la campagne et ceci au bénéfice du Bloc surtout et du PLC ensuite.

ET ca continue...

Bonjour,

Voici où on en est dans l'analyse de l'évolution des sondages réalisés depuis le 16 mars.

 Il y a quatre nouveaux sondages entrés dans la base de données depuis les analyses de jeudi dernier, un de Nanos (téléphonique roulant), un de Ipsos-Reid (téléphonique), un de Ekos et un de Forum research, ces deux derniers utilisant le téléphonique automatisé. Le sondage de Forum et celui d'Ekos ont toutefois été fait avant jeudi dernier mais n'étaient pas publiés au moment des dernières analyses.

Voici les résultats pour le Canada:

Les tendances observées lors des dernières analyses se poursuivent.
- L'évolution pour le PC est en forme de cloche (composante quadratique pour les spécialistes), comme on peut le voir sur le graphique, ce qui amène à estimer l'intention de vote pour le PC maintenant  à 35,8%
- L'évolution pour le PLC est toujours en forme de poisson (cubique pour les spécialistes), soit une baisse compensée d'abord puis une nouvelle baisse, récente. Ceci amène à estimer le PLC à 23,7%
- L'évolution pour le NPD est aussi en forme de poisson mais à l'inverse de celle du PLC. Le NPD est clairement en hausse et se situerait à 27,3%
- Enfin, le Bloc est en baisse constante. Nous reviendrons à ses intentions de vote en parlant du  Québec.
- A noter que les analyses ne montrent aucun effet des débats, une fois modélisé l'effet du temps. Il est toutefois difficile de différencier ce qui relève de l'évolution "normale" de ce qui relève d'un possible impact du débat lorsque les évolutions se situent à la même période. Toutefois, nous avons toujours vérifié la possibilité d'un effet débat indépendamment du temps. Les modèles présentés sont les "meilleurs" modèles pour expliquer les données.



Et pour le Québec:

Évidemment, ces résultats sont influencés par le denier sondage Ekos. Toutefois, Forum Research mettait aussi le NPD en avance sur le Bloc mercredi dernier et Ipsos-Reid les mettait à égalité. Les sondages ne montrent donc pas encore une stabilisation des intentions de vote au Québec.
- Les modèles ne montrent aucun effet du temps significatif pour le PLC. C'est la ligne droite. Le PLC serait à 16,6%.
- Pour ce qui est du PC, l'effet du temps donne une évolution en forme de poisson soit une baisse compensée suivie d'une nouvelle baisse. Le PC serait à 14,5%.
- Le Bloc perdrait ,2 point par jour depuis le 16 mars et se pertes se seraient accélérées depuis le débat (effet débat significatif avec composante quadratique du temps pour les spécialistes). Il se situerait à 25,8%.
- Enfin, le NPD a une évolution positive qui s'est accélérée dernièrement (composante quadratique positive significative).  Il se situerait à 35,1%.
- Ces analyses ne laissent pas encore entrevoir un arrêt de la chute du Bloc ou de la montée du NPD.
- - Par rapport à jeudi dernier, Les estimations donnent le Bloc à environ 5 points de moins et le NPD à trois points de plus.
- Notons toutefois qu'il y a des différences significatives entre les firmes pour ce qui est de l'estimation de l'intention de vote pour le NPD. Par contre, pour le Bloc, les estimations se situent à l'intérieur de la marge d'erreur.



Et maintenant, l'Ontario: 

 

- Le graphique illustre bien l'absence d'évolution avec le temps pour ce qui est du PC. Il serait à 41%
- L'évolution pour le PLC est en forme de cloche. Après une remontée significative, le PLC a entamé une descente récemment. Il serait à 31,7%.
- L'évolution pour le NPD peut être modélisée de deux manières, soit avec un effet du temps s'accélérant récemment soit avec un effet du temps positif mais seulement depuis le débat. Nous avons choisi ce dernier modèle qui est le meilleur et le même que celui présenté jeudi dernier.  Le NPD serait à 20,1%, quelle que soit la modélisation choisie.
- Par rapport à jeudi dernier, le PLC se situe à environ 3 points de moins et le NPD à trois points de plus.


En conclusion:
Bien sûr, avec de telles évolutions, on doit être prudent. Toutefois, l'ajout de quatre nouveaux sondages n'a pas beaucoup changé les estimations pour l'ensemble du Canada sinon pour une hausse de près de quatre points du NPD aux dépens du PLC surtout. Une telle évolution rappelle celle de 2005-2006 qui avait "propulsé" les Conservateurs devant les Libéraux et fait perdre au Bloc près de 9 points en fin de campagne (voir référence plus loin).
Les sondages se trompent-ils?  Lorsque les sondages se trompent, habituellement c'est en faveur de la gauche et en défaveur de la droite, ce qui signifie que les partis les plus susceptibles d'être surévalués en ce moment sont le NPD et le Bloc et ceux qui sont les plus susceptibles d'être sous évalués sont les Libéraux et les Conservateurs. 

Un peu d'histoire
Pour la petite histoire, cette campagne ressemble énormément, côté sondages, à celle de 2005-2006 mais "à l'inverse". En 2006, c'était le calme plat au Québec jusqu'à ce que ca se mette à bouger sérieusement en Ontario. Après, ca a été la "dégringolade". Les Conservateurs, cette fois-là, se sont mis à monter, le PLC s'est retrouvé en chute libre et le Bloc a perdu des appuis (9% entre le deuxième débat en français et l'élection. Le PLC avait commencé sa descente bien avant le débat. 

Au Québec, les sondages avaient surévalué l'appui au Bloc et sous-évalué significativement l'appui au PLC.
En Ontario, les évaluations étaient généralement à l'intérieur de la marge d'erreur. Voici l'analyse des sondages ce cette campagne:
http://www.mapageweb.umontreal.ca/durandc/Recherche/Publications/La_campagne_de_2005-06_racontee_par_les_sondages.pdf

Note méthodologique:
Quelle différence entre les analyses présentées sur ce blogue et celles de "308", par exemple.  Les analyses faites par 308 sont des moyennes pondérées selon divers facteurs relatifs à la taille des échantillons, au temps, à la performance passée des sondeurs.  Les analyses faites pour ce blogue sont des estimations statistiques (modèle ARIMA, pour les spécialistes) de l'évolution des intentions de vote, basées sur les moyennes quotidiennes des estimations des sondages qui sont réalisés à chaque jour. Ces estimations permettront de faire une "prédiction de jour de vote" à la fin de la semaine. Ces prédictions "toutes choses égales par ailleurs" sont toutefois d'autant plus fiables que l'évolution du vote est stable (désarroi de l'analyste...). La marge d'erreur des séries augmente avec l'instabilité des intentions de vote.

Au plaisir

Les panels web sont-ils fiables?

Suite à la publication du sondage Crop hier mettant le NPD en avance sur le Bloc au Québec, plusieurs se sont demandé si les sondages de type Panel Web étaient fiables, ceci parce que Crop a écrit ce qu'il faudrait toujours écrire pour ce type de sondage soit, que la marge d'erreur ne s'applique pas. Qu'est-ce que cela signifie?  En gros, comme les panels web n'utilisent pas d'échantillons probabilistes, on ne peut pas en estimer la fiabilité par les moyens statistiques habituels puisque ceux-ci sont basés sur le fait que l'échantillon est probabiliste. On doit donc se fier à d'autres moyens.

Un premier moyen consiste à vérifier si d'autres informations de type socio-politique données par le sondage sont conformes à ce à quoi on s'attend. Crop informe que l'intention de vote référendaire de son sondage est à 42% après répartition. Si cette intention de vote avait été particulièrement basse, on aurait pu se poser des questions. Ce n'est pas le cas. Ils serait pertinent de savoir quels moyens les sondeurs utilisent pour valider que leur échantillon n'est probablement pas biaisé (comme le vote déclaré à l'élection précédente, par exemple).

Un deuxième moyen est évidemment de vérifier si les informations données par d'autres sondages utilisant des méthodologies différentes donnent des résultats similaires. Hier, un sondage Ekos utilisant la méthode SVI (téléphonique automatisée) et un sondage Ipsos-Reid (téléphonique) donnaient un portrait similaire soit le NPD à égalité avec le Bloc au Québec (à l'intérieur de la marge d'erreur).

Il demeure que les méthodologies sont variées et peuvent toutes présenter certains biais. Les échantillons téléphoniques SVI ne font pas de sélection à l'intérieur des ménages, ce qui va à l'encontre de ce que veut la théorie probabiliste. Par contre, Ekos a ajouté des numéros de téléphone portable. La plupart des sondages téléphoniques traditionnels font une sélection par quotas, ce qui va aussi à l'encontre de la théorie probabiliste.  Certains sondeurs ont des taux de discrets qui dépassent l'entendement. La formulation de la question d'intention de vote varie. Tous ces éléments peuvent entraîner des biais. 

Pour le moment, on postule que les biais s'annulent. Ce n'est pas nécessairement le cas mais c'est la seule hypothèse que l'on peut faire en pratique. Dans les premières analyses faites à partir du début janvier, les sondages Web avaient tendance à surévaluer le NPD et à sous évaluer le PLC par rapport aux autres sondages. Ce n'est pas le cas si on se restreint aux sondages publiés depuis le début mars, au contraire. Tant les sondages Internet que SVI auraient tendance à surévaluer le PLC aux dépens du PC.

Bref, de quoi réfléchir.

Bon week-end de Pâques!

Au plaisir