Bonjour,
Les sondages ont-ils bien prédit les résultats de l'élection? Ça dépend de quel parti on parle et dans quelle province ou région. Dans ce message, je fais un bilan des écarts entre prédictions et résultats pour le Canada dans l'ensemble, pour le Québec et pour l'Ontario. Je regarde ensuite si on peut dire qu'il y a eu des différences significatives selon les méthodologies utilisées.
Commençons d'abord par le Canada. Les sondages avaient estimé que le Parti Libéral du Canada (PLC) obtiendrait la pluralité des votes avec une estimation d'un peu plus de 43%. C'est le résultat qu'il a obtenu, "pile poil", soit 43,7% (à 16h00 aujourd'hui) Par contre, pour ce qui est du Parti conservateur du Canada (PCC), les sondages estimaient sa part du vote à 39%. Il a été sous-estimé, obtenant 41,3% du vote. Pour ce qui est du Nouveau parti démocratique (NPD), ses intentions de vote étaient estimées à près de 8% d'appui. Il aura obtenu 6,3% du vote. La sous-estimation du vote conservateur et la surestimation du vote NPD est relativement "classique" mais à ces niveaux, ces biais ont semblé avoir des conséquences importantes sur le nombre de sièges que chaque parti a obtenus. Je vais parler du vote pour le Bloc Québécois en présentant les graphiques pour le Québec. Par ailleurs, je ne parle pas des deux très petits partis -- Parti Vert et Parti populaire du Canada -- dont le vote et l'estimation des intentions de vote, se retrouvent autour de 1%.
Le deuxième graphique montre l'évolution des intentions de vote en Ontario et les résultats. Le vote pour le PLC est légèrement sous-estimé. Il était estimé à environ 47,5% et le parti a obtenu 49%. Par contre, le vote pour le PCC a été plus fortement sous-estimé. Il était estimé à environ 40% mais il semblait en légère remontée en fin de campagne. Le parti a obtenu 43,8% du vote. Cette sous-estimation est concurrente à la surestimation du NPD, estimé à 7,5%, qui a obtenu à peine 4,9% du vote. On peut penser que la sous-estimation du vote conservateur au niveau national est dû en partie à l'Ontario, cette province comptant pour 38% des électeurs.
Enfin, le troisième graphique montre l'évolution des intentions de vote au Québec et les résultats. Le vote libéral est également sous-estimé (42,5% comparé à une estimation de 40%). Par contre, plutôt qu'une sous-estimation du Parti conservateur, comme en Ontario, on a assisté à une sous-estimation du Bloc Québécois. Ce parti a obtenu 27,7% du vote alors que les sondages lui prédisaient à peine plus de 25%. Toutefois, le graphique montre que les sondages estimaient que les appuis au Bloc étaient en remontée à la fin de la campagne. Cette remontée peut s'être poursuivie jusqu'à la fin. Le Bloc a aussi pu profiter de la faiblesse du NPD qui a obtenu 4,5% du vote alors qu'on lui en prédisait environ 6%.
Quel bilan tirer?
On peut penser que les sondages ont donné un portrait relativement fiable des intentions de vote pour le PLC. Toutefois, on s'est peut-être un peu trop fier sur l'apparente stabilité des intentions de vote. L'écart entre les sondages et le vote pour le PCC est significatif et en dehors de la marge d'erreur pour une bonne partie des sondeurs mais il est petit. Il est possible que des mouvements de dernière minute expliquent, du moins en partie, ces écarts.
Et les méthodes?
Le graphique suivant montre l'étendue des estimations données par les sondeurs durant les 10 derniers jours de campagne, selon le mode d'administration utilisé. On peut constater d'une part, que les sondages utilisant le mode IVR (téléphonique automatisé) ont produit une estimation plus élevée pour le PCC. D'autre part, certains sondages se sont distingués significativement des autres sondages faits avec le même mode. Un sondage Mainstreet et un sondage Innovative ont donné une trop faible estimation au PLC et le sondage Innovative a aussi donné une trop haute estimation au PCC. Enfin, un sondage MQO a donné une trop faible estimation au PCC. Le graphique permet aussi de voir qu'il y a une plus grande variation (la boite est plus étendue) dans l'estimation des appuis au PLC par les sondages WEB et, dans une moindre mesure, aux sondages pour le PCC fait avec le mode IVR.
Comme ce sont surtout les Conservateurs (PCC) qui sont mal estimés, je vais me concentrer sur ce parti. Voyons d'abord le graphique de l'évolution des intentions de vote pour le PCC selon les modes d'administration utilisés. Soulignons que plusieurs différences méthodologiques se greffent aux modes d'administration de telle sorte que l'on ne peut pas attribuer les différences strictement au mode d'administration lui-même. Le graphique montre que seuls quelques sondages ont estimé l'appui aux conservateurs en haut de 40% et ces sondages sont surtout fait en utilisant le mode téléphonique automatisé (IVR). Par ailleurs, les courbes d'évolution ne sont pas identiques.
Une manière scientifique d'analyser plus avant les données consiste à se demander quels
sondages ont proposé des estimations qui sont en dehors de la marge
d'erreur. J'ai restreint les sondages aux sept derniers jours de la campagne pour pouvoir bien présenter chaque sondage. Je présente ces sondages selon leur mode, sans les identifier, parce que je pense qu'il est fort possible pour un sondeur d'être très rigoureux mais d'avoir une mauvaise estimation (prévue une fois sur 20). La ligne de points bleus représente le vote obtenu à l'élection et les barres verticales l'estimation de chaque sondage, en incluant sa marge d'erreur appelé l'intervalle de confiance). Lorsque la barre verticale ne touche pas à la ligne de points bleus, le sondage est en dehors de la marge d'erreur. Il y a eu 21 sondages pendant cette période et huit d'entre eux ont une estimation hors de leur marge d'erreur, ce qui est élevé. Le graphique montre que deux des neuf sondages IVR ont une estimation en dehors de la marge d'erreur, comparativement à quatre des sept sondages WEB et deux des cinq sondages utilisant des modes mixtes. Les sondages IVR ont donc présenté de meilleures estimations.
En conclusion
Les sondages ont quand même donné une information relativement fiable aux électeurs en prédisant assez bien le vote pour le PLC et le fait qu'il allait obtenir la pluralité du vote et qu'il était le plus susceptible de former le prochain gouvernement. Toutefois, tant les sondeurs que les media et les agrégateurs, relayés par certains partis politiques, ont peut-être trop laissé entendre que le PLC était "loin devant" et assuré de la victoire. Ceci a pu amené certains électeurs à effectuer un vote stratégique ou à revenir à leurs "anciennes amours", entre autres à leurs intentions de vote de l'automne dernier alors qu'il y avait un appui de près de 25 points plus élevé pour le PCC que pour le PLC.
Crédit à Anthony Pelletier pour le travail d'entrée des données et de production des graphiques.
Méthodologie:
La méthodologie que j'utilise est différente de celle des agrégateurs sur deux plans. Sur les graphiques, chaque point représente une estimation de l'intention de vote faite par un sondeur, placée à la date du milieu de la période de collecte. Les lignes sont des estimations des intentions de vote utilisant la régression locale. Par contre, pour ce qui est des "tracking polls" ou sondages roulants, je les enregistre seulement une fois durant la période. En gros, si la période est de trois jours, j'enregistre les estimations une fois à tous les trois jours de façon à éviter la redondance dans les données, ce qui serait statistiquement inapproprié. Les agrégateurs ont plutôt tendance à enregistrer les estimations à chaque jour mais à leur donner un poids diminué (1/3 à chaque jour, par exemple). Par ailleurs, pour tracer les courbes d'évolution des intentions de vote, la régression locale donne moins de poids aux estimations des sondages qui sont plus loin des autres. Cette procédure permet de lisser l'évolution et de contrebalancer les sondages dont les estimations s'écartent de l'ensemble des autres.
