What about the polls for the Hungarian election next Sunday?

 By Claire Durand and Tamás Bodor

We—Tamás Bodor from the University of Wisconsin - Stevens Point and Claire Durand, from the Université de Montréal—wish to draw your attention to the Hungarian elections that will be held this coming Sunday, April 12. Hungarians face a situation where pollsters are identified, according to the Wikipedia page, as being either “close to the government” (n=5) or “close to the opposition or independent” (n=7). As you can see on this Wikipedia page, https://en.wikipedia.org/wiki/Opinion_polling_for_the_2026_Hungarian_parliamentary_election, there is a significant disagreement between the two groups of pollsters.

If we consider all the polls conducted since the beginning of March, for example, the government-leaning polls forecast Fidesz, the governing coalition led by Viktor Orbán, ahead of Tisza, the opposition coalition led by Péter Magyar, by 5 to 8 points (an average of 5.8 percentage points).

Meanwhile, the polls conducted by the opposition-leaning or independent pollsters forecast a Tisza lead by 9 to 23 points, for an average of 13.4 p.p.

Who is correct? Usually, we think that pollsters, regardless of their preferences, seek to forecast the results as accurately as possible since electoral polls serve as a showcase that can help them establish their credibility. So why this situation?

We looked into a number of possible reasons. Here is what we found.

1)      We examined what happened in the 2022 election. In that election, if we take the pollsters’ last campaign poll, Fidesz was underestimated by around 3 points (2.2 to 5.1) and the opposition coalition—which was not the same as this year’s coalition—was substantially overestimated by 4.1 to 11.1 points, for an average of around 9 points. However, there were no significant or apparent differences according to presumed affiliation (most pollsters were the same as those who are active in this election).

2)      We checked whether the differences could be explained by modes of administration. There is indeed a difference between estimates according to mode of administration and there is a difference in mode use according to affiliation. All the government-leaning pollsters conduct their polls using live interviewers, while only three of the opposition-leaning or independent pollsters use this mode. The four other pollsters use mixed modes (telephone + web, sms, web + telephone), “IA assisted IVR” and “web+social media”.  However, if we keep only the live interviewer polls, there is still a clear difference remaining between the two groups of pollsters.  Using all the polls conducted since January 1, the government-leaning pollsters estimate Fidesz’s share at an average of 46.9% (45% - 51%) while the opposition/independent group estimates Fidesz’s share at 38.9% on average (35% - 41%). The pollsters using other modes—all opposition leaning or independent—estimate Fidesz’s share at 38.1 (35%-40.1%). This is not different from the polls conducted by the opposition-leaning and independent pollsters using live interviews.

3)      We examined whether there were differences in the proportion of undecided voters. Government leaning polls differ from the other polls by a much lower proportion of undecided voters, that is 14.1% on average, compared with 23.2%. However, the proportion of undecideds is not provided by three of the five government leaning pollsters. Reallocation of undecideds to one or the other coalition may contribute to explaining the differences between the two groups. Since most pollsters provided the information on the estimates before allocation of undecideds, we computed what a proportional allocation of undecideds would produce in terms of estimates. When we compared our estimates with the pollsters’ estimates, we found that three pollsters (9 polls), all in the opposition leaning group, allocated the undecideds non proportionally in a way that led to a systematic increased advantage of Tisza over Fidesz by an average of four points (between 2 and 6.4). Indeed, two of these pollsters forecast a much higher lead of Tisza than the other pollsters.

4)      We are left with not many possible other explanations for the differing estimates among pollsters. One of them may be likely voter models, if we assume that they systematically vary among pollsters according to their partisan leaning. The higher rate of “undecideds” / non-voters in opposition-leaning polls and the possibly biased allocation of these undecideds might hint at that possibility.

Moreover, the shifting political opinion climate in Hungary might have generated a profound change in patterns of respondents’ behavior. For the first time since the party’s return to power in 2010, most voters now expect Fidesz to lose the election. Accordingly, it may not be an implausible proposition that a “shy Fidesz” effect might be at play. However, theoretically, Fidesz supporters’ reluctance to disclose their party preference should affect all polls. Therefore, a hypothesized shy Fidesz effect can account for systematic differences in estimates only if it goes undetected and unaddressed by some pollsters but not by others.

It appears that Hungary is very polarized, as is usually the case when only two main groups fight in an election. This has led some people in Hungary to suggest that we should use only the polls conducted by one or the other group (usually the opposition-leaning/ independent group).  On what basis could we do that? We do not see any rationale for such a decision. The truth can probably be found in an average of all the polls. That being said, both groups agree on one point, namely, that both Fidesz and Tisza increased their share in the last few weeks. The global forecast from all the polls using local regression (Wikipedia page) has Fidesz at 42.5 and Tisza at 47.5. We need to keep in mind, however, that there are twice as many polls conducted by opposition-leaning/independent pollsters, and these polls forecast a larger difference between the two coalitions. This situation has an impact on the average forecast.

One last point: We were happy to see that, for most polls, we had access to a well-identified paragraph presenting essential information on the methodology, that is, dates of fieldwork, mode of administration, sample size, proportion of undecideds and sometimes information about the use of a likely voter model. This information was available either in the articles presenting the polls or on the pollsters’ reports. An example to follow in all election campaigns?

It will be interesting to follow the Hungarian election on Sunday. The incoming vote tally results will bring about the moment of truth and possibly a moment of reckoning: this time, not only for the losing party, but also for the polling industry in Hungary. Ultimately, we all might also be reminded that pollsters’ political preferences should not be known publicly.

 Best,

Claire and Tamas

Canada 2025 - lendemain de veille

 Bonjour,

Les sondages ont-ils bien prédit les résultats de l'élection? Ça dépend de quel parti on parle et dans quelle province ou région. Dans ce message, je fais un bilan des écarts entre prédictions et résultats pour le Canada dans l'ensemble, pour le Québec et pour l'Ontario. Je regarde ensuite si on peut dire qu'il y a eu des différences significatives selon les méthodologies utilisées.

Commençons d'abord par le Canada. Les sondages avaient estimé que le Parti Libéral du Canada (PLC) obtiendrait la pluralité des votes avec une estimation d'un peu plus de 43%.  C'est le résultat qu'il a obtenu, "pile poil", soit 43,7% (à 16h00 aujourd'hui) Par contre, pour ce qui est du Parti conservateur du Canada (PCC), les sondages estimaient sa part du vote à 39%.  Il a été sous-estimé, obtenant 41,3% du vote. Pour ce qui est du Nouveau parti démocratique (NPD), ses intentions de vote étaient estimées à près de 8% d'appui. Il aura obtenu 6,3% du vote. La sous-estimation du vote conservateur et la surestimation du vote NPD est relativement "classique" mais à ces niveaux, ces biais ont semblé avoir des conséquences importantes sur le nombre de sièges que chaque parti a obtenus.  Je vais parler du vote pour le Bloc Québécois en présentant les graphiques pour le Québec. Par ailleurs, je ne parle pas des deux très petits partis -- Parti Vert et Parti populaire du Canada -- dont le vote et l'estimation des intentions de vote, se retrouvent autour de 1%.

 

 

Le deuxième graphique montre l'évolution des intentions de vote en Ontario et les résultats. Le vote pour le PLC est légèrement sous-estimé. Il était estimé à environ 47,5% et le parti a obtenu 49%. Par contre, le vote pour le PCC a été plus fortement sous-estimé. Il était estimé à environ 40% mais il semblait en légère remontée en fin de campagne. Le parti a obtenu 43,8% du vote. Cette sous-estimation est concurrente à la surestimation du NPD, estimé à 7,5%, qui a obtenu à peine 4,9% du vote. On peut penser que la sous-estimation du vote conservateur au niveau national est dû en partie à l'Ontario, cette province comptant pour 38% des électeurs. 

Enfin, le troisième graphique montre l'évolution des intentions de vote au Québec et les résultats. Le vote libéral est également sous-estimé  (42,5% comparé à une estimation de 40%). Par contre, plutôt qu'une sous-estimation du Parti conservateur, comme en Ontario, on a assisté à une sous-estimation du Bloc Québécois. Ce parti a obtenu 27,7% du vote alors que les sondages lui prédisaient à peine plus de 25%. Toutefois, le graphique montre que les sondages estimaient que les appuis au Bloc étaient en remontée à la fin de la campagne. Cette remontée peut s'être poursuivie jusqu'à la fin. Le Bloc a aussi pu profiter de la faiblesse du NPD qui a obtenu 4,5% du vote alors qu'on lui en  prédisait environ 6%.

Quel bilan tirer?

On peut penser que les sondages ont donné un portrait relativement fiable des intentions de vote pour le PLC. Toutefois, on s'est peut-être un peu trop fier sur l'apparente stabilité des intentions de vote. L'écart entre les sondages et le vote pour le PCC est significatif  et en dehors de la marge d'erreur pour une bonne partie des sondeurs mais il est petit. Il est possible que des mouvements de dernière minute expliquent, du moins en partie, ces écarts.

 Et les méthodes? 

Le graphique suivant montre l'étendue des estimations données par les sondeurs durant les 10 derniers jours de campagne, selon le mode d'administration utilisé. On peut constater d'une part, que les sondages utilisant le mode IVR (téléphonique automatisé) ont produit une estimation plus élevée pour le PCC. D'autre part, certains sondages se sont distingués significativement des autres sondages faits avec le même mode. Un sondage Mainstreet et un sondage Innovative ont donné une trop faible estimation au PLC et le sondage Innovative a aussi donné une trop haute estimation au PCC. Enfin, un sondage MQO a donné une trop faible estimation au PCC.  Le graphique permet aussi de voir qu'il y a une plus grande variation (la boite est plus étendue) dans l'estimation des appuis au PLC par les sondages WEB et, dans une moindre mesure, aux sondages pour le PCC fait avec le mode IVR.

 

Comme ce sont surtout les Conservateurs (PCC) qui sont mal estimés, je vais me concentrer sur ce parti. Voyons d'abord le graphique de l'évolution des intentions de vote pour le PCC selon les modes d'administration utilisés. Soulignons que plusieurs différences méthodologiques se greffent aux modes d'administration de telle sorte que l'on ne peut pas attribuer les différences strictement au mode d'administration lui-même. Le graphique montre que seuls quelques sondages ont estimé l'appui aux conservateurs en haut de 40% et ces sondages sont surtout fait en utilisant le mode téléphonique automatisé (IVR). Par ailleurs, les courbes d'évolution ne sont pas identiques.

 

Une manière scientifique d'analyser plus avant les données consiste à se demander quels sondages ont proposé des estimations qui sont en dehors de la marge d'erreur. J'ai restreint les sondages aux sept derniers jours de la campagne pour pouvoir bien présenter chaque sondage. Je présente ces sondages selon leur mode, sans les identifier, parce que je pense qu'il est fort possible pour un sondeur d'être très rigoureux mais d'avoir une mauvaise estimation (prévue une fois sur 20). La ligne de points bleus représente le vote obtenu à l'élection et les barres verticales l'estimation de chaque sondage, en incluant sa marge d'erreur appelé l'intervalle de confiance). Lorsque la barre verticale ne touche pas à la ligne de points bleus, le sondage est en dehors de la marge d'erreur. Il y a eu 21 sondages pendant cette période et huit d'entre eux ont une estimation hors de leur marge d'erreur, ce qui est élevé. Le graphique montre que deux des neuf sondages IVR ont une estimation en dehors de la marge d'erreur, comparativement à quatre des sept sondages WEB et deux des cinq sondages utilisant des modes mixtes. Les sondages IVR ont donc présenté de meilleures estimations.

 

 

En conclusion 

Les sondages ont quand même donné une information relativement fiable aux électeurs en prédisant assez bien le vote pour le PLC et le fait qu'il allait obtenir la pluralité du vote et qu'il était le plus susceptible de former le prochain gouvernement. Toutefois, tant les sondeurs que les media et les agrégateurs, relayés par certains partis politiques, ont peut-être trop laissé entendre que le PLC était "loin devant" et assuré de la victoire. Ceci a pu amené certains électeurs à effectuer un vote stratégique ou à revenir à leurs "anciennes amours", entre autres à leurs intentions de vote de l'automne dernier alors qu'il y avait un appui de près de 25 points plus élevé pour le PCC que pour le PLC.

 

Crédit à Anthony Pelletier pour le travail d'entrée des données et de production des graphiques.

Méthodologie:

La méthodologie que j'utilise est différente de celle des agrégateurs sur deux plans. Sur les graphiques, chaque point représente une estimation de l'intention de vote faite par un sondeur, placée à la date du milieu de la période de collecte. Les lignes sont des estimations des intentions de vote utilisant la régression locale. Par contre, pour ce qui est des "tracking polls" ou sondages roulants, je les enregistre seulement une fois durant la période. En gros, si la période est de trois jours, j'enregistre les estimations une fois à tous les trois jours de façon à éviter la redondance dans les données, ce qui serait statistiquement inapproprié. Les agrégateurs ont plutôt tendance à enregistrer les estimations à chaque jour mais à leur donner un poids diminué (1/3 à chaque jour, par exemple).  Par ailleurs, pour tracer les courbes d'évolution des intentions de vote, la régression locale donne moins de poids aux estimations des sondages qui sont plus loin des autres. Cette procédure permet de lisser l'évolution et de contrebalancer les sondages dont les estimations s'écartent de l'ensemble des autres.