Voici ce que Jean-François Lisée a répondu à mon message. La réponse que je lui ai faite il y a plus de trois heures est toujours en attente de modération. La voici donc en primeur.

JFL: :Merci pour ces précisions. Je retiens cependant que tu m’as bien dit que la sous-représentation des 18-24 ans dans le sondage CROP était tel qu’il t’a “pété dans la face” quand tu l’as vu dans le tableau samedi matin, suffisamment pour que tu appelles tout de suite la direction de La Presse pour leur signaler le problème.
>
CD: Pété dans la face oui. Pas pour que j’appelle tout de suite la direction, simplement que j’envoie un mail un peu plus tard, le temps de penser à l’impact. Je leur ai dit ce que je t’ai dit, i.e. ca parait mal mais la conséquence sur les résultats globaux est pratiquement nulle.
>
JFL: Tu m’as dit aussi ce que ce cite dans le blogue et a ajouté que, selon toi, CROP devrait modifier sa formule à l’avenir, car cela pose vraiment un problème.
>
CD: Je pense qu’ils doivent essayer de corriger cette sous-représentation, possiblement en surreprésentant ce groupe dans l’échantillon de départ ou en demandant à leur fournisseur d’essayer d’en recruter plus dans le panel. Mais comme je te l’ai dit, ca ne porte pas à conséquence sur les données d’ensemble.
>
JFL:> Tu minimises maintenant la chose en calculant une “marge d’erreur” pour les 18-34 ans. Mais comme tu le soulignes aussi, et ce que disent en chœur CROP et Léger, la marge d’erreur ne s’applique pourtant pas aux sondages internet.
>
CD: Mieux vaut calculer une marge d’erreur que de laisser croire qu’il n’y en a pas du tout. En fait, j’ai réalisé dernièrement que certaines personnes pensent que, lorsque l’on dit qu’il n’y a pas de marge d’erreur, ca veut dire que les chiffres reflètent exactement la population! En France, dans les sondages par quotas – ce qui est le cas ici — ils disent “Empiriquement, les résultats montrent que la marge d’erreur est sensiblement la même que pour les sondages probabilistes”. Je pense que je vais finir par me rallier à cette formulation.
>
JFL:> De façon plus importante,Youri Rivest de CROP affirme que s’il corrige la très grande sous-représentation des 18-24 ans dans son groupe de 18-34 ans, ça lui donne le même résultat. Il ne dit pas “dans la marge d’erreur”, mais le même chiffre ! Je démontre qu’avec Léger, il est impossible de trouver le même chiffre en faisant ce calcul.
>
CD: Je présume qu’il veut dire que ca lui donne le même chiffre au total. Par ailleurs, le groupe des 18-24 ans de Léger me semble biaisé. Ca serait très étonnant que les 18-24 ans se distinguent à ce point des 25-34 ans. Donc prudence.
>
JFL: > Finalement sur la différence entre 49% et 57% d’opposition à une loi. Je conçois bien que tu puisses juger que ces chiffres sont statistiquement équivalents. Mais comme tu le sais, ce n’est généralement pas l’opinion des titreurs.
>
CD: Parlons-en des titreurs. Good Grief! Je suis certaine que tu les aimes autant que moi!:-)

Tu comprendras que je voulais seulement apporter des précisions. J’essaie de passer toujours le même message, soit que les choix méthodologiques ou même les problèmes méthodologiques et les biais d’échantillons sont toujours présents. Personne n’est à l’abri. Il faut essayer d’évaluer leur impact, tout simplement.

Claire Durand

En complément au blogue de Jean-François Lisée,


Cher Jean-François,
Il faut que je te corrige un peu.

1) D’abord, le point important. Si on veut connaître l’opinion des jeunes, on ne se soucie pas de la proportion qu’il y a dans un sondage ou l’autre. Ils ne seront jamais assez nombreux dans un sondage pour qu'on ait une image claire de leurs opinions. Il faudrait faire une enquête auprès des jeunes!!!1000 jeunes de préférence. Tous les jeunes, pas seulement les étudiants.

2) Chaque choix méthodologique des sondeurs a des avantages et des inconvénients. Par exemple, si on pondère de façon très fine pour s’assurer de représenter de petits groupes, comme je te l’ai expliqué, on risque de provoquer un autre problème, soit de donner trop d’importance à des personnes non représentatives. C’est l’envers de la médaille. Ainsi, dans le sondage Léger dont monsieur Léger m’a gentiment fourni le rapport, on a 46% de voteurs PQ chez les 18-24 ans et seulement 32% chez les 25-34 ans. Est-ce que ça veut dire que, tout à coup, à 25 ans on cesse d’être péquiste? que le sondage est biaisé? Pas du tout, seulement qu’avec de petits nombres, la marge d’erreur est tellement grande que tout peut arriver. Et avec un panel opt-in, c’est encore pire.

3) Tu dis "S’ils avaient fait la même erreur que CROP, le groupe des 18-34 de Léger aurait du être opposé à la loi dans une proportion de 49,2%, soit une minorité. En corrigeant ces données pour représenter correctement le poids de chaque groupe, la minorité devient majorité claire, à 57,5%".  49,2% n’est pas une minorité, c’est une égalité, encore plus dans un groupe aussi petit, avec une marge d’erreur totale de 6,2%. Et donc, 57%-6%=51%; 49%+6%=55%. AUCUNE différence significative entre les deux chiffres. Bref, attention marge d’erreur (même si elle n’est pas appropriée pour ce type de sondage). Ça veut dire que les jeunes sont partagés, plus que les plus âgés.

4) Pour le fait de permettre ou non la non-réponse, les recherches ont montré que ça ne changeait pas la répartition des pour et des contre. Encore là, les choix méthodologiques des deux sondeurs ont des avantages et des inconvénients.

Conclusion: Malgré tout, les trois sondages donnent la même lecture de l’opinion: a) La majorité des gens sont pour à peu près tous les éléments de la loi sauf les amendes très fortes. b) Par contre, ils ne pensent pas que la loi va aider à régler le conflit et globalement, ils sont partagés moitié-moitié sur la loi. Ils sont majoritairement pour la hausse mais lorsque l’on chiffre cette hausse (formulation Léger), l’appui est un peu plus bas.

D’autres questions?

Claire Durand