Suite au débat récent sur les différences entre les récents sondages de Léger ou de CROP, je vous propose quelques analyses qui permettent d'y voir un peu plus clair. J'analyse tous les sondages publiés depuis juin 2014 par les deux firmes, soit 26 pour CROP et 19 pour Léger. Il n'est pas question pour moi de me prononcer sur "qui a raison". Je pense que les deux firmes tentent de faire leur travail le mieux possible et ont beaucoup plus d'avantages à publier de bonnes estimations qu'à prétendument pencher vers leurs supposés amis. Par ailleurs, les firmes sont sans doute les mieux placées pour examiner leurs données et voir s'il y a des corrections à apporter à leurs méthodes.
Notons que les deux firmes utilisent des panels web mais que les méthodes de recrutement sont différentes. Léger a son propre panel alors que CROP utilise un pourvoyeur, Research Now. Chaque méthode a ses avantages et ses désavantages. Enfin, rappelons que, puisque ce sont des échantillons non-probabilistes, la marge d'erreur ne s'applique pas. Il y a toutefois une tendance à parler dans ce cas, d'intervalle de crédibilité, qui se calcule comme la marge d'erreur et nous permet au moins de parler d'erreur possible.
Quelle est l'évolution des intentions de vote telle que mesurée par les deux firmes?
Le graphique suivant montre l'évolution des intentions de vote depuis juin 2014. Il montre que si l'on tient compte des sondages des deux firmes, l'appui au PLQ a diminué de cinq points durant les derniers mois de 2014 pour ensuite se stabiliser à 35%. L'appui au PQ, pendant ce temps, a augmenté de 10 points -- de 20% à 30% -- entre juin 2014 et juin 2015, pour ensuite diminuer à 27% environ. Pour ce qui est de la CAQ, ses appuis ont diminué de dix points en 2014-2015 -- de 30% à 20% -- et ont remonté depuis à 25%, très près des appuis au PQ. Les deux partis s'échangent les intentions de vote. Enfin, les appuis à Québec solidaire auraient connu une lente remontée pendant cette période mais sont maintenant revenus à leur niveau de juin 2014.
On note toutefois des estimés "atypiques" dans ces distributions. Par exemple, en mars et mai 2015, deux estimations -- points rouge -- mettent le PLQ en bas de 30%. On note plusieurs sondages mettant le PQ près de 35% durant la même période. On note aussi, en 2015, des estimations exceptionnellement hautes pour Québec solidaire -- à plus de 15% -- et exceptionnellement basses pour la CAQ -- à 16%-17%. Si on regarde les deux derniers mois, on note des estimations pour le PLQ, exceptionnellement hautes (à 38%) ou basses (à 30-31%) et des estimations pour le PQ qui varient de 24% à 30%. Ces différences sont-elles habituelles et sont-elles associées à des firmes en particulier?
Y a-t-il des différences selon les firmes?
Les prochains graphiques comparent les estimations faites par les deux firmes pour chaque parti. Je commence par le Parti Libéral du Québec. Le graphique montre que les deux firmes traçaient un portrait quasi identique des intentions de vote jusqu'à tout récemment. On peut aussi noter qu'il arrive que les estimations de CROP pour le PLQ soient plus basses que celles de Léger -- à 29% en mars et en mai 2015 -- alors que Léger mettait le PLQ à 36%-37% à la même époque.
Enfin, si l'on regarde les quatre dernières estimations, on note que les deux firmes avaient des estimations tout à fait similaires jusqu'aux deux derniers sondages. Ceux-ci provoquent un éloignement des courbes -- en hausse pour CROP, en baisse pour Léger. Il ne faudrait toutefois que deux nouveaux sondages avec des estimations similaires pour que l'on conclue que les intentions de vote pour le PLQ sont en fait stables depuis le début de 2015. Il n'y a pas de différence statistiquement significative entre les estimations des deux firmes sur l'ensemble de la période.
Passons maintenant au Parti Québécois. On note les mêmes éléments qu'au graphique précédent. Il arrive que CROP estime les appuis au PQ plus haut que Léger et vice-versa. Par ailleurs, jusqu'au début de 2016, les estimations des deux firmes étaient identiques. Ce sont surtout les deux derniers sondages CROP qui entraînent les estimations pour le PQ à la baisse pour cette firme. Notons également que le sondage CROP d'octobre qui mettait le PQ à 30% était atypique par rapport aux autres sondages de la firme mais similaires aux estimations de Léger. Il demeure que, depuis le début de 2016, les estimations de Léger sont, relativement systématiques de quatre à cinq points plus élevées que celles de CROP. Par contre, statistiquement parlant, pour l'ensemble des sondages, il n'y a pas de différence entre les estimations de CROP et de Léger.
Enfin, voici le graphique que nous obtenons pour Québec solidaire, un parti qui passe un peu sous le radar, étant donné ses faibles intentions de vote. On note une différence assez systématique entre les deux firmes, jusqu'à tout récemment. Il s'agit en fait du seul parti pour lequel il y a une différence statistiquement significative entre les deux firmes. On note que, pour Léger, les intentions de vote pour QS sont stables à 10% durant la période alors qu'elles sont plus élevées mais en diminution récente pour CROP.
Il y a chez CROP, une relation négative significative entre les intentions de vote pour le PLQ et celles pour Québec solidaire, alors que cette relation est moins forte et non significative chez Léger. Par contre, chez Léger, la corrélation est significative, négative et forte entre les appuis au PLQ et au PQ, alors qu'elle n'est pas significative chez CROP. Enfin, les deux firmes ont la même corrélation négative et forte entre les appuis au PQ et à la CAQ.
Conclusion
Contrairement à ce qu'on aurait pu penser, la différence entre les deux firmes est minime et non systématique, comme l'a d'ailleurs noté un sondeur. Par contre, la différence significative dans les appuis à Québec Solidaire qui a perduré pour presque toute la période est préoccupante et demanderait sans doute des analyses plus poussées.Il faudrait peut-être questionner également la répartition proportionnelle des indécis qui se pratique actuellement pour revenir à une répartition non-proportionnelle tel que cela se pratiquait jusqu'en 2002.
Que doit faire le citoyen moyen, l'observateur intéressé, le partisan passionné devant ces infomrations contradictoires? Une seule solution pour le moment: Prendre son mal en patience et attendre les prochains sondages. Si la situation perdurait, il faudrait sans doute que les deux firmes examinent leurs méthodes, leurs données et leurs modes de pondération avec attention pour s'assurer que toutes les décisions prises sont appropriées. Il demeure qu'il est de loin préférable que les deux firmes publient leurs estimations même lorsqu'elles diffèrent que de voir les deux firmes modifier leurs estimations pour s'aligner entre elles, comme on soupçonne que cela se fait dans certains pays. C'est la recette sûre pour un désastre dans les prédictions.
