Les sondages sont-ils fiables?

Question complexe que celle-là. Voici une tentative d'expliquer simplement des notions dont on parle beaucoup soit les sondages probabiliste et les biais possibles des sondages.

1. Qu'est-ce qu'un sondage probabiliste?

Il s'agit d'un sondage où, à toutes les étapes, le choix de la personne qui aura à répondre au sondage a été fait au hasard. Ainsi, si j'ai la liste de tous les numéros de téléphone des ménages du Québec et que je prends, au hasard, un ménage sur 1000 et, dans chaque ménage, une personne au hasard, j'aurai un échantillon probabiliste de l'ensemble de la population rejoignable par téléphone. De même, si je pouvais constituer la liste des adresses courriel de toutes les personnes qui ont accès à Internet, je pourrais tirer un échantillon probabiliste qui représenterait l'ensemble de la population des internautes.

On dit que les échantillons probabilistes sont meilleurs parce qu'il s'agit de la méthode la plus fiable et la seule théoriquement valable pour représenter une population sans biais. Il s'agit toutefois d'un idéal puisque cela postule que toutes les personnes contactées vont accepter de répondre à l'enquête. Comme ce  n'est pas le cas, il y a des biais possibles.

2. Quels sont les biais possibles des sondages?

On parle habituellement de trois types de biais, relatifs à la couverture, à la non-réponse générale et à la non-réponse à une question en particulier. Les biais existent lorsque les personnes que l'on ne peut pas rejoindre ou qui ne veulent pas coopérer ont des caractéristiques socio-politiques différentes de celles que l'on peut rejoindre et qui coopèrent. Ces biais peuvent exister pour toutes les méthodologies de sondage. L'idée est de tenter d'estimer leur présence et leur ampleur.

Biais de couverture: 

Le biais de couverture fait référence au fait que l'on ne peut pas avoir une liste des coordonnées de l'ensemble de la population. Par exemple, les listes de numéros de téléphone ne comprennent pas nécessairement les numéros de téléphone confidentiels ou les numéros de ceux qui ont uniquement un cellulaire (10% de la population, surtout de jeunes urbains) et évidemment, ne comprennent pas ceux qui n'ont pas le téléphone. Les listes pour les sondages internet ne comprennent pas les personnes qui n'ont pas accès à internet (15-20% de la population). Dans la présente élection, on pourrait penser que les personnes qui n'ont pas Internet auraient un profil qui les rapprocheraient de celui des électeurs libéraux. Toutefois, lors de la dernière élection fédérale, les sondages internet sous-estimaient plus les Conservateurs que les autres sondages dans l'ensemble du Canada mais pas au Québec et les sondages téléphoniques interactifs avaient sous estimé le Bloc au Québec.

Biais de non-réponse:

Le biais de non réponse fait référence au fait que ce ne sont pas toutes les personnes sollicitées qui peuvent être rejointes au moment où on les sollicite et qui acceptent de répondre. Pour réduire ce biais au maximum, on tente normalement de joindre les gens à différentes heures et à différents jours de la semaine et du week-end et on tente de les convaincre de coopérer. On préfère habituellement un sondage qui se déroule sur plusieurs jours et comprend au moins une journée de fin de semaine. Les sondages internet peuvent avoir un avantage sur ce plan dû au fait que le répondant peut répondre au moment qui lui convient mais pour cela, il faut évidemment lui en laisser le temps. Traditionnellement au Québec, on a constaté que les Libéraux -- et peut-être plus récemment l'ADQ -- étaient surreprésentés dans le groupe de non-répondants. Boutade: "Les gens de gauche sont plus gentils" et donc, ils coopèrent plus aux sondages.

Biais de non-réponse aux questions:

Ce biais fait référence au fait que les répondants n'acceptent pas tous de révéler leurs opinions, et particulièrement leur intention de vote. Ces personnes ont traditionnellement été associées en plus grande proportion au PLQ et, au cours des dernières élections, à l'ADQ. En gros, on estime que plus un parti est impopulaire publiquement, en particulier tel que cela se reflète dans les médias, plus les partisans de ce parti auront tendance à taire leur intention de vote.

La synthèse:

Pour ce qui est des élections de 1998, 2003 et 2007, la tendance était à répartir les discrets de façon non proportionnelle pour tenir compte du fait que l'ensemble des biais semblaient pointer plus vers une sous-représentation des Libéraux ou, plus récemment de l'ADQ, que du PQ. Le PQ, tout comme les petits partis, n'a jamais vraiment été sous-représenté dans les sondages. Mais évidemment, les élections se suivent mais ne se ressemblent pas nécessairement. Les sondages sont-ils fiables? En général oui, surtout si on prend en compte leur biais possible. Ayant commencé à étudier les sondages durant la campagne de 1998 alors que les sondages avaient induit la population en erreur sur l'état des forces en présence, j'ai tendance à être très prudente, surtout que la possibilité existe que les sondages influencent le vote. Par ailleurs, il est plus fiable d'avoir plusieurs sondages, de surcroît utilisant des méthodologies différentes.

Au plaisir