Que se passe-t-il donc?

Bonjour,

Première analyse de la campagne. J'essaie de répondre à quelques questions suscitées par les résultats des sondages des deux dernières semaines, soit 2 sondages pour CROP, Forum, et Léger.

Y a-t-il une évolution significative entre les deux semaines?

Le tableau présenté plus loin donne les informations détaillées.
Si on prend chacun des sondages séparément, que ce soit avant ou après répartition des discrets de façon proportionnelle, il n'y a pas d'évolution significative des intentions de vote. Si on prend en considération que les trois sondages donnent la même lecture, on peut penser qu'il y a peut-être eu une très légère montée du PQ (+1 en moyenne) et de la CAQ (+1 sauf CROP à +4). Concurremment, il y aurait une baisse du PLQ d'environ 2 points.

Y a-t-il une différence significative entre les intentions de vote pour le PLQ et pour le PQ?

Pour chaque sondage pris séparément, la réponse est oui mais parfois, c'est à la limite (ça dépend de la taille des échantillons). Que ce soit avant ou après répartition proportionnelle des discrets, il y a une avance moyenne d'environ 5 points pour le PQ. Cette avance était plutôt de 2 points la semaine dernière.

Et les discrets?

Qu'est-ce qu'un discret? La catégorie des personnes discrètes regroupe généralement les personnes qui disent ne pas savoir pour qui elles veulent voter, celles qui refusent de révéler leur intention de vote, celles qui disent qu'elles n'iront pas voter ou qu'elles annuleront leur vote. Contrairement à la croyance populaire et journalistique, la proportion de personnes discrètes ne varie habituellement pas au cours d'une campagne électorale. La forte hausse de la proportion d'indécis dans le dernier CROP est inhabituelle. Par ailleurs, on pense que les discrets sont surtout des personnes qui n'iront pas voter ou qui ne veulent pas révéler leur vote.

J'ai déjà abordé la question de la répartition proportionnelle des discrets. La Presse faisait hier une petite analyse qui montrait que 18% des discrets considéraient que l'équipe libérale était la meilleure, contre 13% pour la CAQ et 12% pour le PQ. Par ailleurs, 17% voient en Charest le meilleur PM comparativement à 12% pour Legault et 6% pour madame Marois. Enfin, il existe en ce moment une corrélation forte et significative entre la proportion de discrets dans les sondages et l'intention de vote pour le PLQ. J'ai donc fait une estimation des intentions de vote si on attribuait 50% des discrets au PLQ, 25% au PQ et 25% à la CAQ. Cette estimation avait donné  une légère sous-estimation de l'ADQ en 2003 et en 2007. Voici les résultats pour les deux premières semaines de cette campagne.:

	Évolution semaine 3 vs semaine 2 - campagne août-septembre 2012
	PLQ		PQ		CAQ		Différence PQ - PLQ
	sem. 13-08	Sem. 6-08	sem. 13-08	Sem. 6-08	sem. 13-08	Sem. 6-08	sem. 13-08	Sem. 6-08
Avant répartition
Léger	25 (-2)	27	29 (+1)	28	24 (=)	24	4	1
Crop	22 (-4)	26	28 (=)	28	20 (+1)	19	6	2
Forum	29 (-1)	30	33 (+1)	32	24 (+1)	23	4	2
Après répartition prop.
Léger	28 (-3)	31	33 (+1)	32	27 (=)	27	5	1
Crop	27 (-2)	29	34 (+2)	32	25 (+4)	21	7	3
Forum	31 (-1)	32	35 (+1)	34	25 (+1)	24	4	2
Après répartition non-prop.
(50 PLQ, 25,PQ, 25 CAQ)
Léger	30,4 (-1,6)	32	31,7 (+1,2)	30,5	26,7 (+0,2)	26,5	1,3	-1,5
Crop	31,4 (-0,2)	31,6	32,7 (+1,9)	30,8	24,7 (+2,9)	21,8	1,3	-0,8
Forum	32,1 (-1)	33,1	34,4 (+0,9)	33,5	25 (+0,9)	24,1	2,3	0,4

 Avec cette estimation, on serait passé d'une très légère avance des Libéraux, non significative, la semaine dernière à une très légère avance du PQ, non-significative, cette semaine. Bref, on se garde une petite gêne, on prend son mal en patience,... et on attend une autre semaine.

Les sondages sont-ils fiables?

Je n'ai pas encore toute l'information nécessaire pour évaluer les biais possibles des sondages actuels et je m'aperçois qu'il y a beaucoup de confusion, entre autres sur la question des sondages probabilistes ou non, de la fiabilité et des biais. Voir mon prochain message de blog pour quelques précisions sur cette question.

Au plaisir

 

Pour mettre en perspective, un peu d'histoire

Bonjour,

De retour de vacances au pays du Web 1.0 (via BB à l'extérieur ou proche d'une fenêtre ouverte) ou même 0.0 lorsqu'il vente, l'idée d'une campagne 2.0 apparaît sous un autre angle,...

Pour ce premier blogue de campagne, un retour sur la relation entre sondages et vote lors des dernières élections québécoises permet de mettre les premiers sondages en perspective.

D'abord, 1998, 

En 1998, première campagne avec Jean Charest comme chef du PLQ, tous les sondages, sauf un Léger en début de campagne, avaient mis le PQ en avance sur le PLQ, de 1 à 6 points durant la dernière semaine de campagne. A cette époque, tous les sondeurs attribuaient 60% des discrets au PLQ, 30% au PQ et 10% à l'ADQ. Les élections s'étaient terminées avec une avance de un point du PLQ sur le PQ. Des recherches que j'ai faites avec André Blais avaient montré que la différence entre les sondages et le vote n'étaient pas vraisemblablement due à des changements de dernière minute mais plutôt à un cumul de biais dus à la non réponse et à l'échantillonnage, à des problèmes méthodologiques, donc.

En 2003,

Comme le montre le graphique suivant, ce n'est qu'à la mi-campagne, à peu près au moment du débat, que l'intention de vote pour les deux principaux partis s'est mise à évoluer de façon différenciée. À cette époque, j'avais attribué 50% des discrets au PLQ, 25% au PQ et 25% à l'ADQ. En faisant cette attribution, l'ADQ avait été légèrement sous-estimée par les sondages. De fait, d'autres analyses montrent que, en 2002-2003, plus il y avait de discrets dans les sondages, moins il y avait d'Adéquistes.

 

Plus intéressant encore, si on prend l'évolution de l'ensemble des sondages à partir du début février, on voit que les trois partis sont à égalité au début et qu'au moment du déclenchement de la campagne le 12 mars, le PLQ et le PQ sont virtuellement à égalité à 38%. Toutefois, on voit dans le deuxième graphique que, chez les francophones, le PQ  mène largement avec 45% des intentions de vote comparativement à 32% pour le PLQ, toujours en attribuant seulement 25% des discrets au PQ et 50% au PLQ. Les intentions de vote sont demeurées virtuellement inchangées pour ces 2 partis jusqu'à mi-campagne le 31 mars.

 

 

Cette élection semble s'être jouée à mi-campagne et possiblement suite au débat.

Mars 2007

Cette élection restera à l'histoire comme la première élection d'un gouvernement minoritaire depuis les années 20. Il est malheureusement difficile d'analyser les sondages de cette campagne puisqu'il y en a eu peu et aucun dans les 10 jours au milieu de la campagne. L'évolution est illustrée "grossièrement" par le graphique qui suit. Les sondages ont légèrement sousestimé l'ADQ, comme en 2003 et  l'analyse des discrets montre que plus il y a de discrets dans un sondage moins la proportion d'Adéquistes et de Libéraux est importante. Par ailleurs, au moment du déclenchement de la campagne, Dumont était considéré comme meilleur premier ministre par 33% des répondants, comparativement à 27% pour Charest et 22% pour Boisclair. Enfin, chez les francophones, dans le dernier CROP avant l'élection, le PLQ était à 24%, le PQ à 34% et l'ADQ à 32%.

 Décembre 2008, finalement

En décembre 2008, très peu de sondages, les médias étant sans doute épuisés financièrement après deux campagnes, fédérale et municipale. Peu de mouvement durant la campagne et une bonne estimation de l'intention de vote par les sondages, globalement. À cette élection, tous les sondeurs, et moi-même, étions revenus à une répartition proportionnelle des discrets. Dans les derniers sondages, le PQ se situait en moyenne à 28% chez les francophones, le PLQ à 36% et l'ADQ à 17%.

Et maintenant,...

La situation actuelle ressemble plus à celles de 2003 et 2007 qu'à celle de 2008. En 2003, l'évolution a amené un gouvernement libéral majoritaire, en 2007 un gouvernement libéral minoritaire. Les campagnes se suivent mais ne se ressemblent pas nécessairement. Les 3 derniers sondages donnent une même lecture de la situation pour le PLQ et le PQ: ils sont à égalité. Les trois donnent un peu plus de points au PQ mais, il faut se rappeler qui si on faisait la répartition des discrets comme en 2003 ou en 2007, c'est le PLQ qui aurait quelques points de plus. Il existe une différence entre les trois sondages pour ce qui est de la région de Québec. Les sondages Forum et CROP mettent le PLQ et  la CAQ à égalité alors que Léger met la CAQ nettement en avance sur le PLQ. Les trois mettent le PQ 3ème, à 23% en moyenne. Nous devons attendre les prochains sondages  pour confirmer ou infirmer ces estimations. Par ailleurs, il ne faut pas oublier que les échantillons peuvent être biaisés par le fait que nombre de personnes sont encore en vacances.

Le PQ majoritaire? Attention aux titres de journaux, d'autant plus que mes dernières recherches montrent que, dans une situation propice au vote stratégique, les sondages sont susceptibles d'influencer les électeurs.

Au plaisir

Voici ce que Jean-François Lisée a répondu à mon message. La réponse que je lui ai faite il y a plus de trois heures est toujours en attente de modération. La voici donc en primeur.

JFL: :Merci pour ces précisions. Je retiens cependant que tu m’as bien dit que la sous-représentation des 18-24 ans dans le sondage CROP était tel qu’il t’a “pété dans la face” quand tu l’as vu dans le tableau samedi matin, suffisamment pour que tu appelles tout de suite la direction de La Presse pour leur signaler le problème.
>
CD: Pété dans la face oui. Pas pour que j’appelle tout de suite la direction, simplement que j’envoie un mail un peu plus tard, le temps de penser à l’impact. Je leur ai dit ce que je t’ai dit, i.e. ca parait mal mais la conséquence sur les résultats globaux est pratiquement nulle.
>
JFL: Tu m’as dit aussi ce que ce cite dans le blogue et a ajouté que, selon toi, CROP devrait modifier sa formule à l’avenir, car cela pose vraiment un problème.
>
CD: Je pense qu’ils doivent essayer de corriger cette sous-représentation, possiblement en surreprésentant ce groupe dans l’échantillon de départ ou en demandant à leur fournisseur d’essayer d’en recruter plus dans le panel. Mais comme je te l’ai dit, ca ne porte pas à conséquence sur les données d’ensemble.
>
JFL:> Tu minimises maintenant la chose en calculant une “marge d’erreur” pour les 18-34 ans. Mais comme tu le soulignes aussi, et ce que disent en chœur CROP et Léger, la marge d’erreur ne s’applique pourtant pas aux sondages internet.
>
CD: Mieux vaut calculer une marge d’erreur que de laisser croire qu’il n’y en a pas du tout. En fait, j’ai réalisé dernièrement que certaines personnes pensent que, lorsque l’on dit qu’il n’y a pas de marge d’erreur, ca veut dire que les chiffres reflètent exactement la population! En France, dans les sondages par quotas – ce qui est le cas ici — ils disent “Empiriquement, les résultats montrent que la marge d’erreur est sensiblement la même que pour les sondages probabilistes”. Je pense que je vais finir par me rallier à cette formulation.
>
JFL:> De façon plus importante,Youri Rivest de CROP affirme que s’il corrige la très grande sous-représentation des 18-24 ans dans son groupe de 18-34 ans, ça lui donne le même résultat. Il ne dit pas “dans la marge d’erreur”, mais le même chiffre ! Je démontre qu’avec Léger, il est impossible de trouver le même chiffre en faisant ce calcul.
>
CD: Je présume qu’il veut dire que ca lui donne le même chiffre au total. Par ailleurs, le groupe des 18-24 ans de Léger me semble biaisé. Ca serait très étonnant que les 18-24 ans se distinguent à ce point des 25-34 ans. Donc prudence.
>
JFL: > Finalement sur la différence entre 49% et 57% d’opposition à une loi. Je conçois bien que tu puisses juger que ces chiffres sont statistiquement équivalents. Mais comme tu le sais, ce n’est généralement pas l’opinion des titreurs.
>
CD: Parlons-en des titreurs. Good Grief! Je suis certaine que tu les aimes autant que moi!:-)

Tu comprendras que je voulais seulement apporter des précisions. J’essaie de passer toujours le même message, soit que les choix méthodologiques ou même les problèmes méthodologiques et les biais d’échantillons sont toujours présents. Personne n’est à l’abri. Il faut essayer d’évaluer leur impact, tout simplement.

Claire Durand

En complément au blogue de Jean-François Lisée,


Cher Jean-François,
Il faut que je te corrige un peu.

1) D’abord, le point important. Si on veut connaître l’opinion des jeunes, on ne se soucie pas de la proportion qu’il y a dans un sondage ou l’autre. Ils ne seront jamais assez nombreux dans un sondage pour qu'on ait une image claire de leurs opinions. Il faudrait faire une enquête auprès des jeunes!!!1000 jeunes de préférence. Tous les jeunes, pas seulement les étudiants.

2) Chaque choix méthodologique des sondeurs a des avantages et des inconvénients. Par exemple, si on pondère de façon très fine pour s’assurer de représenter de petits groupes, comme je te l’ai expliqué, on risque de provoquer un autre problème, soit de donner trop d’importance à des personnes non représentatives. C’est l’envers de la médaille. Ainsi, dans le sondage Léger dont monsieur Léger m’a gentiment fourni le rapport, on a 46% de voteurs PQ chez les 18-24 ans et seulement 32% chez les 25-34 ans. Est-ce que ça veut dire que, tout à coup, à 25 ans on cesse d’être péquiste? que le sondage est biaisé? Pas du tout, seulement qu’avec de petits nombres, la marge d’erreur est tellement grande que tout peut arriver. Et avec un panel opt-in, c’est encore pire.

3) Tu dis "S’ils avaient fait la même erreur que CROP, le groupe des 18-34 de Léger aurait du être opposé à la loi dans une proportion de 49,2%, soit une minorité. En corrigeant ces données pour représenter correctement le poids de chaque groupe, la minorité devient majorité claire, à 57,5%".  49,2% n’est pas une minorité, c’est une égalité, encore plus dans un groupe aussi petit, avec une marge d’erreur totale de 6,2%. Et donc, 57%-6%=51%; 49%+6%=55%. AUCUNE différence significative entre les deux chiffres. Bref, attention marge d’erreur (même si elle n’est pas appropriée pour ce type de sondage). Ça veut dire que les jeunes sont partagés, plus que les plus âgés.

4) Pour le fait de permettre ou non la non-réponse, les recherches ont montré que ça ne changeait pas la répartition des pour et des contre. Encore là, les choix méthodologiques des deux sondeurs ont des avantages et des inconvénients.

Conclusion: Malgré tout, les trois sondages donnent la même lecture de l’opinion: a) La majorité des gens sont pour à peu près tous les éléments de la loi sauf les amendes très fortes. b) Par contre, ils ne pensent pas que la loi va aider à régler le conflit et globalement, ils sont partagés moitié-moitié sur la loi. Ils sont majoritairement pour la hausse mais lorsque l’on chiffre cette hausse (formulation Léger), l’appui est un peu plus bas.

D’autres questions?

Claire Durand

Dites-moi quel poste de radio vous écoutez, je vous dirai pour qui vous votez? Ou serait-ce plutôt l'inverse?

Lors de l'élection de 2007, certains ont laissé entendre que des postes de radio avaient aidé à la montée de l'ADQ. Dans l'article qui suit, nous analysons la relation entre écoute de poste de radio et vote en 2007.

Durand, Dupuis et Racicot (2012) Dites-moi quel poste de radio vous écoutez, je vous dirai pour qui vous votez? Ou serait-ce plutôt l'inverse? Communication, 29 (2)