Lendemain de veille - vive la moyenne des sondages

Bonjour,

Vient le temps de faire le bilan de la performance des sondages de la dernière élection, une performance tout à fait acceptable en général mais qui ne doit pas nous empêcher de chercher plus loin. Est-elle acceptable pour tous, pour toutes les régions? C'est ce que je regarde dans ce billet. Dans mon prochain billet, j'analyserai la performance pour ce qui est de l'estimation du vote des francophones.

La performance générale

Voici le graphique que j'ai publié le 7 avril incluant tous les sondages publiés, à l'exception du sondage Angus-Reid puisque celui-ci ne comprenait pas les informations de base me permettant de faire une répartition non proportionnelle des discrets. Pour mémoire, j'attribue 50% des discrets au PLQ, 25% au PQ et 25% à la CAQ. Je n'attribue aucun discrets aux petits partis. Cette répartition donne une prédiction très proche des résultats finaux, surtout si on tient compte que les derniers sondages représentés datent de jeudi dernier, soit trois jours avant le vote et que les intentions de vote continuaient sans doute à évoluer. Elle donne environ 41,5% au PLQ et montre la CAQ et le PQ en train de se rejoindre. On note que certains sondages ont tendance à estimer le vote pour le PLQ plus élevé que d'autres mais ils se situent à l'intérieur de la marge d'erreur (après répartition non-proportionnelle des discrets).

Si j'utilise les estimations des sondages tels que publiés, la prédiction est moins bonne comme on peut le voir sur le graphique suivant. C'est surtout l'estimation de l'intention de vote pour le PLQ qui est un peu trop basse (à 40%).  De plus, la variation de l'estimation des intentions de vote est un peu élevée: Le dernier Forum place le PLQ à 44% alors que le dernier Léger le place à 38% et place le PQ à 29%. Ces trois estimations se situent en dehors de la marge d'erreur mais, dans le cas du PQ, on peut penser qu'au moment où le sondage a été fait, ce dernier était à un  niveau plus élevé qu'au moment de l'élection. De plus, comme les courbes se situent plus ou moins à la moyenne des sondages, cette moyenne est proche de la réalité.

 

Et les résultats par région?
Peut-on mieux comprendre comment améliorer les sondages en analysant leur performance sur le plan régional. J'ai souligné dans un message précédent que les sous-échantillons régionaux étaient assez variables, ce qui est "normal" étant donné la taille des échantillons. Il faut noter que nous n'avons pas les estimations par région pour EKOS et Angus Reid parce que leur découpage régional est différent et non comparable avec celui des autres firmes.

La région de Montréal concentre les Québécois de langue autre que française. Ces personnes peuvent être plus difficiles à rejoindre pour les sondeurs. Par ailleurs, elles peuvent également être moins portées à aller voter, ne serait-ce que parce qu'elles résident plus fréquemment dans des circonscriptions acquises au PLQ. Bien estimer le vote dans la région de Montréal constitue donc un défi pour les sondeurs. Voici ce que donne l'estimation de l'évolution des intentions de vote. On peut noter que l'estimation du vote pour le PLQ est très variable, variant de 36% (IPSOS) à 51% (Forum)  selon les sondeurs. Pour ce qui est du PQ, on trouve trois estimations à 28% et une à 21% (dernier Forum); pour la CAQ, les estimations varient de 14% à 22%. Les résultats de l'élection donnent 44,7% au PLQ, 24,5% au PQ, 19,3% à la CAQ et 8,9% à Québec solidaire. On n'est donc pas très loin du compte, en moyenne, avec une légère surestimation du PQ, toutefois. Comme il y a une variation nettement plus forte des estimations pour le PLQ, on peut penser qu'il y aurait du travail à faire pour constituer des échantillons plus représentatifs. Le graphique donne également l'estimation du vote de l'ensemble des petits partis et le situe à 11%, ce qui est tout à fait dans la marge d'erreur.

Pour ce qui est de la région de Québec, les échantillons sont habituellement très petits et donc la variation des estimations est naturellement forte. Toutefois, on arrive à une très bonne prédiction moyenne, les résultats de l'élection ayant donné 39,2% au PLQ, 17,6% au PQ et 34,8% à la CAQ.  Les deux derniers sondages donnaient 36% à la CAQ dans cette région. L'estimation du vote PLQ allait de 35% (Léger) à 39% (Forum). Québec solidaire est surestimée. Ce parti a obtenu 5,6% des voix alors qu'il constitue la majeure partie du vote aux autres partis, estimé par les sondages à 10%. Il est possible toutefois qu'il y ait eu des mouvements de dernière minute.

Enfin, pour ce qui est du reste du Québec, les résultats sont de 37,9% pour le PLQ, 29,8% pour le PQ, 23,7% pour la CAQ et 6,6% pour Québec solidaire. Le graphique montre encore là une estimation moyenne qui est très bonne. On constate une légère surestimation du PQ et de Québec solidaire et une sous-estimation du PLQ et de la CAQ, comme c'est un peu la norme lorsque les sondages ont des biais (sous-estimation de la droite, surestimation de la gauche).

En conclusion,

La performance des sondages a été bonne en moyenne. Cela souligne l'intérêt qu'il y ait plusieurs sondages en même temps, utilisant des méthodologies différentes et que l'on analyse leurs estimations conjointement. Ainsi les biais des uns compensent ceux des autres et on obtient des estimations moyennes respectables. À titre d'illustration, alors que le dernier Léger donnait 12 points d'avance au PLQ, Forum lui en donnait 20. Les résultats -- 16 points de différence -- se situent presque à la moyenne entre les deux.

Enfin, cette campagne a été marquée par l'absence de sondages pendant 10 jours à la mi-campagne, entre les deux débats, au moment où il est possible que les intentions de vote étaient en train de changer. C'est une situation à éviter si on veut donner aux électeurs une image fidèle de ce qui se passe.