For english readers, an english summary follows but please feel free to have a look at the Box-and-Whiskers plots before rushing to the end!
Les intentions de vote ont bougé depuis les deux dernières semaines, permettant du PLC et au PCC de se retrouver nez à nez pendant que le NPD glissait en troisième place. Je reviendrai sur l'évolution des intentions de vote dans mon prochain message, probablement demain.
Toutefois, dans ce message, je me concentre sur les différences entre les sondages selon les modes d'administration. Il s'agit d'un aspect clé qui peut nous aider à évaluer les résultats présentés. Cinquante sondages ont été réalisés depuis le début de la campagne et trois modes d'administration sont utilisés, soit le mode téléphonique automatisé (appelé IVR pour Interactive Voice Response), les panels Web et le mode téléphonique classique. Deux sondages ont été réalisés en combinant deux modes, web et téléphone dans un cas, IVR et téléphonique classique dans l'autre. Ils ont été classés respectivement dans le WEB et le IVR. Chaque mode compte pour environ le tiers des sondages.
Les sondages téléphoniques sont essentiellement faits par une seule firme, Nanos, qui publie des moyennes cumulatives sur trois jours depuis la fin août. Nous avons entré les résultats de ces sondages une fois à tous les trois jours pour ne pas entrer d'information redondante. Notons que Nanos se différencie des autres également pour ce qui est de la question posée. La firme demande aux répondants d'indiquer leurs deux préférences et publie les chiffres du premier parti préféré.
Il existe un type de graphique qui permet de comprendre les différences entre les estimations. Il s'agit de ce qu'on appelle les boîtes à moustaches en français (avouez que le terme est joli!). Le terme utilisé en anglais est box-and-whiskers plot. Ces graphiques permettent de voir jusqu'à quel point les estimations varient, si elles sont différentes selon les modes d'administration et si certaines estimations sont aberrantes, c'est-à-dire qu'elles s'écartent anormalement des estimations faites par les autres sondages. Je présente ces graphiques pour le Canada, l'Ontario, le Québec et la Colombie-Britannique.
Le Canada
Si on se concentre sur le Parti Conservateur (PCC), soit les barres bleues, le graphique montre que, sur l'ensemble de la campagne, l'appui au PCC a été estimé entre 23% et 37% pour les sondages IVR, entre 27% et 34% pour les sondages WEB et entre 28% et 33% pour les sondages téléphoniques. Les sondages IVR donnaient donc des intentions de vote beaucoup plus variables -- ce qui est reflété par la hauteur de la boîte -- que les sondages WEB et téléphoniques. Par contre, deux sondages Nanos et un sondage Environics se démarquent (points au-dessous du bâton) par une estimation nettement plus basse (26%) des intentions de vote pour le PCC. Ce sont ce qu'on appelle des cas aberrants. De plus, les médianes (ligne noire au centre des boîtes) montrent que les sondages téléphoniques ont eu tendance à donner plus fréquemment un appui plus élevé au PCC. Toutefois, les moyennes (non illustrées dans les boîtes à moustaches) sont égales pour les trois modes.
Pour ce qui est du Parti Libéral (PLC), ce sont les sondages WEB qui montrent plus de variation. Plus important encore, en moyenne, les intentions de vote estimées pour les sondages IVR est de 28,3% alors qu'elles sont de 29,6% pour les sondages WEB et de 30,8% pour les sondages téléphoniques. On note qu'un sondage Nanos qui met le PLC à 36% est un cas aberrant (qui se distingue anormalement des estimations des autres sondages).
Enfin, pour ce qui est du NPD, il est normal qu'il y ait plus de variation parce c'est le parti dont les intentions de vote ont le plus bougé. Toutefois, on constate que les intentions de vote varient fortement dans les sondages IVR (de 22% à 40%)-- et plus que dans les deux autres modes --, un peu moins dans les sondages WEB (de 24% à 37%) et nettement moins dans les sondages téléphoniques (de 23% à 34%). Par contre, en moyenne, il n'y a pas de différences de moyenne selon les modes (30% quelque soit le mode) alors qu'il existe des différences dans les médianes: Les sondages WEB donnent plus d'estimations en haut de 31% que les autres modes. Un sondage Nanos qui place le NPD à 23% est un cas aberrant.
En général, on note que les sondages Nanos, faits par téléphone varient moins dans l'ensemble mais comportent plus de cas aberrants qui sous-estiment le PCC et le NPD et surestime le PLC. La surestimation du PLC par Nanos était de 3,8 points en 2011.
L'Ontario
Il est normal qu'il y ait plus de variations lorsque les échantillons sont plus petits. Voici les variations que nous retrouvons en Ontario. Pour le PCC, on note une plus grande variation entre les estimations dans les sondages faits par IVR, soit de 22% à 42%, comparativement aux sondages WEB (28%-40%) et téléphoniques (30%-42%). Les sondages IVR et WEB donnent une moyenne similaire d'intentions de vote (33,2% et 32,7%) alors que les sondages téléphoniques ont accordé en moyenne 35,2% au PCC. Un sondage Forum est un cas aberrant (PCC à 22%).
Dans le cas du PLC, la situation est à l'inverse: Les sondages IVR varient moins en général que les sondages WEB et téléphoniques. Toutefois, ils positionnent le PLC en moyenne à 32,7% alors que les sondages WEB le positionnent à 34,9% et les sondages téléphoniques à 36,6%. Si les sondages IVR varient moins en général, on retrouve plusieurs cas aberrants en moins (Forum) ou en plus (2 Forum et un EKOS).
Les différences sont majeures pour ce qui est du NPD. Les sondages IVR sont nettement plus variables (de 17% à 37%). De plus, les moyennes sont très différentes, 27,5% pour les sondages IVR, 26,8% pour les sondages WEB et seulement 22,8% pour les sondages téléphoniques. Un sondage Angus Reid WEB constitue un cas aberrant, anormalement plus élevé que les autres sondages WEB.
On s'attendrait à ce que les sondages téléphoniques aient des estimations plus élevées pour le PCC et le PLC et moins élevées pour le NPD puisque Nanos a commencé à faire ses sondages téléphoniques roulants plus tard dans la campagne alors que les appuis au PCC et au PLC avaient monté et ceux du NPD descendu. Toutefois, cette situation ne se produit pas pour le Québec et pour la Colombie- Britannique, comme nous le verrons plus loin.
Le Québec
Les variations selon les modes d'administration sont moins importantes au Québec qu'en Ontario. mais il y a des différences de moyennes notables. Pour ce qui est du PCC, les sondages IVR l'ont mis en moyenne à 19,8% alors que les sondages WEB l'ont mis à 16,8% et les sondages téléphoniques à 15%. Ce sont des différences importantes et qui ne peuvent s'expliquer par le fait que les sondages téléphoniques étaient sur le terrain plus tard dans la campagne puisque les appuis au PCC ont monté en fin de campagne.
Les estimations pour le NPD varient plus, ceci pour deux raisons. D'une part, il y a nécessairement plus de variation quant les pourcentages d'appuis sont plus élevés. D'autre part, il s'agit également du parti pour lequel les intentions de vote ont le plus varié. Les estimations des sondages IVR ont varié de 28% à 54%, avec une moyenne de 38,3%, celles des sondages WEB, de 28% à 49% avec une moyenne de 38,7% et celles des sondages téléphoniques, de 30% à 52%, avec une moyenne de 41,1%. On note donc une tendance des sondages téléphoniques à placer le NPD un peu plus haut.
Enfin, pour ce qui est du Bloc Québécois, on note peu de différences dans les variations selon les modes. Toutefois, les sondages WEB ont eu tendance à donner un appui plus élevé au Bloc (18,2%) que les sondages IVR (16,3%) et téléphoniques (15,1%).
La Colombie Britannique (BC)
La Colombie-Britannique est une province où les trois partis sont maintenant proches les uns des autres. On note des variations importantes entre les modes d'administration. Les sondages WEB placent le PCC en moyenne à trois points de plus (30,5%) que les autres modes (IVR à 27,4% et téléphonique à 27%). Par contre, ils sont moins variables en général. Enfin, on trouve deux cas aberrants soit un sondage Léger, anormalement bas par rapport aux autres, et un sondage Abacus anormalement élevé (sondage publié aujourd'hui donnant le PCC à 37%).
Pour ce qui est du PLC, les différences sont moins importantes mais les sondages téléphoniques ont tendance à estimer l'appui à ce parti un peu plus élevé (28,4% comparativement à 26,6% pour le IVR et 26,9% pour le WEB).
Enfin, pour ce qui est du NPD, ce sont les sondages IVR qui lui donnent le plus fort appui à 35,5% en moyenne et une variation de 28% à 44% si on excepte le cas aberrant d'un Forum à 21%. Les sondages WEB donnent un appui moyen de 32,7% au NPD alors que les sondages téléphoniques lui donnent un appui de 34,1%.
En conclusion,
On note qu'il n'y a pas de patron unique qui permettrait de dire que tel mode produit toujours le même effet. Les différences selon les modes d'administration constituent un début d'explication pour comprendre des différences parfois importantes entre les résultats publiés. Toutefois, il faut aussi noter qu'il y a des différences entre les firmes utilisant le même mode d'administration. Ces différences existent quant au nombre de jours sur le terrain, à la question posée et à la proportion de discrets, à la proportion de téléphones cellulaires dans les échantillons ou à la manière dont les panellistes WEB sont recrutés. Tous ces éléments peuvent entraîner des différences d'estimation.
En général, il y a des variations dans les estimations plus importantes que ce à quoi on s'attendrait compte tenu de l'évolution des intentions de vote. Le cas de l'Ontario est préoccupant puisqu'il montre des différences importantes selon les modes et plus particulièrement des variations importantes dans les estimations des appuis au NPD pour les sondages IVR. Pour ce qui est du Québec, les différences dans les estimations moyennes pour tous les partis sont préoccupantes. Enfin, la forte variation dans les estimations des sondages téléphoniques pour le PCC en Colombie Britannique doit nous amener à faire preuve de prudence lorsque l'on regarde les intentions de vote dans cette province.
Pourquoi de telles variations? Il faut comprendre que les différences dans les manières de procéder font que les populations rejointes varient selon les sondages et selon les firmes. Il est difficile de démêler la situation. C'est la première fois qu'il y a si peu de sondages utilisant des méthodes "classiques" et donc les comparaisons sont difficiles à faire "toutes choses égales par ailleurs". L'élection nous permettra d'estimer les biais. Entre temps, il faut retenir que non seulement il y a des différences selon les modes mais que ces différences ne se produisent pas partout de la même manière.
English summary
In order to follow, it is necessary to have a look at the Box-and-Whiskers plot. What they show is that there are differences between modes in the spread of estimates as well as the mean and the median (the value where 50% of estimates are lower and 50% higher). Three modes of administration are used, each with about a third of the 50 polls published as of yesterday: IVR, WEB opt-in panels and traditional telephone polls. The telephone polls are conducted by one firm whose other methodological features also differ from the other polls.
In Canada as a whole, IVR polls give estimates that are much more variable than the other modes for the Conservative Party of Canada (CPC). However for the Liberal Pary (LPC), it is the WEB polls that are more variable and there are differences in the average estimation where telephone polls put the support for this party higher by 2.5 points than IVR polls. As for the NDP, again the IVR polls' estimates are clearly more variable than those of the other modes.
In Ontario also, the IVR polls give estimates for the CPC that are more variable than the other modes. However, it is the reverse for the LPC, i.e., IVR polls are less variable, but there are four polls that are outliers. More important, there is a major difference in the averate estimates, from 32.7% for IVR polls, to 34.9% for Web polls and 36.6% for telephone polls. For the NDP, again the IVR polls are more variable and the average estimates vary, i.e., from 22.8% for telephone polls, to 26.8% for Web polls and 27.5% for IVR polls.
In Quebec, variations according to modes of administration are less substantial than in Ontario but differences in average estimates are quite substantial. IVR polls' estimates for the CPC are 4.8 points higher (19.8%) than telephone polls (15%). The differences for the LPC and the NDP are not major ones. However, for the Bloc Québécois, the mean estimates vary between 15.1% (telephone) and 18.2% (WEB).
Finally, in BC, where the parties are not quite close to one another, there are huge differences according to mode of administration. WEB polls estimate support for the CPC three points higher than the other modes. On the reverse, telephone polls give higher estimates for the LPC. As for the NDP, IVR polls estimate their support 3 points higher on average than WEB polls.
In conclusion, there are substantial differences between modes. However, there are also differences within modes that we did not present. Pollsters do not use similar questions, do not have the same proportion of non-disclosers, do not stay in the field the same number of days, do not have the same proportion of cell phones in their sample (telephone) and do not use the same recruitment methods (WEB). We can nonetheless conclude that modes of administration do explain part of the variation between polls but their differences do not necessarily play in the same way in different regions.
Aucun commentaire:
Publier un commentaire