sur les sondages - à lire pour comprendre

Coup de sonde

Depuis le début d’après-midi, c’est l’émeute un peu partout : le Parisien a sorti un sondage donnant Marine Le Pen en tête au 1er tour avec 23% des voix, et Sarkozy/Aubry au coude à coude, à 21%, affichant pour la première fois en Une non plus le spectre, mais bien la possibilité d’un nouveau 21 avril, dans un sens ou dans l’autre.

Tremblez, Français...

La montée de Marine Le Pen est indiscutable (en espérant qu’elle ne soit pas inexorable) : si son niveau réel est difficile, voire impossible à évaluer précisément, la tendance, elle, est claire – et c’est bien ainsi et seulement ainsi que doivent se lire les sondages d’intention de votes : en tendance.

Tendance sur les vagues successives d’un même baromètre : à méthodologie égale, les évolutions ont un sens (à condition qu’elles soient suffisamment importantes).

Tendance sur l’ensemble des enquêtes mises en parallèle : quand tous les sondages font état d’un même phénomène, même à des niveaux différents, il faut bien admettre que la probabilité que ledit phénomène soit réel est élevée.

Mais revenons un peu sur ce sondage. Je lis beaucoup d’entre vous, sur Twitter, vouer les sondages aux gémonies, les jeter avec l’eau du bain comme autant d’inutiles bébés. Exerçant moi-même une profession qui repose en grande partie sur ces outils, je me dois de nuancer vos propos, non pas pour défendre ma boutique, mais parce que j’ai souvent vu de mes yeux des enquêtes donnant des résultats d’une précision diabolique, confirmés par les faits.

Non, tous les sondages ne sont pas bons à jeter à la poubelle – mais malheureusement, les meilleurs sont souvent ceux qui ne sont pas publiés. En politique, beaucoup sont discutables, notamment de par la formulation des questions. A cet égard, le sondage des Echos paru cette semaine montrant DSK atomiser tous ses rivaux, était exemplaire : demander qui est « le plus crédible », et non pas pour chacun s’il est crédible, et aborder essentiellement des thèmes liés aux points forts évidents d’un des candidats (économie, stature internationale), donne forcément les résultats que l’on a vus.

Et puis il y a les questions méthodologiques, dont le mode de recueil. Autrefois, on sondait en face à face à domicile. On est ensuite passé au téléphone – méthode décriée à l’époque où cet ustensile était loin d’être généralisé. Et aujourd’hui, pour des raisons uniquement économiques, c’est le web qui a le vent en poupe. Car il faut le souligner : un sondage en ligne, ça ne coûte quasiment rien à produire, en regard d’une enquête téléphonique, qui présente le défaut majeur de devoir payer des gens pour passer les appels.

Le web dans les sondages n’est pas le mal absolu, et je ne m’apprête pas à refuser devant vous le progrès technologique. Il est parfaitement adapté dans certains cas, et notamment lorsque l’on cible la population… des internautes.

Car pour répondre à un sondage en ligne, figurez-vous qu’il faut avoir Internet. Et que prétendre représenter des gens qui n’ont pas Internet avec des gens du même profil ayant Internet est une ESCROQUERIE INTELLECTUELLE. Car aujourd’hui, quoi de plus segmentant que ce critère ? Comment oser prétendre qu’une femme de 75 ans habitant Mouilly-lès-Noyaux et maîtrisant cet outil est ÉQUIVALENTE à sa voisine qui n’a pas Internet ? Utiliser Internet à cet âge avancé témoigne d’un comportement atypique, qui a de fortes chances de se retrouver sur d’autres aspects de la vie et des opinions. (Je prends cet exemple car naturellement, la frange de la population dans laquelle l’usage d’Internet est minoritaire est celle-là).

Mais intéressons-nous plus précisément à ce sondage qui agite notre petit monde aujourd’hui.

Enquête réalisée en ligne par l’institut Harris Interactive du 28 février au 3 mars 2011. Echantillon de 1618 individus issus de l’access panel Harris Interactive, représentatifs de la population française âgée de 18 ans et plus. Méthode des quotas et redressement appliquée aux variables suivantes : sexe, âge, catégorie socioprofessionnelle de l’interviewé et taille d’agglomération et vote au premier tour de l’élection présidentielle de 2007.

1. Enquête en ligne, je vous ai dit ce que j’en pensais.

2. Harris Interactive : des gens tout à fait respectables, j’ai même déjà travaillé avec. Mais on va dire que sur les intentions de vote, c’est quand même un peu des nouveaux venus, et qu’on peut présumer qu’ils manquent un peu de recul et de bases de données passées à étudier pour calculer leur redressement, clé de voûte du système.

3. Issus de l’access panel : on est donc en train de parler de gens qui se sont VOLONTAIREMENT inscrits à un panel pour répondre RÉGULIÈREMENT à des sondages (un coup sur le prix des batavias chez Carrefour, un coup sur Marine Le Pen, un coup sur la taille des fauteuils en 1ere dans le TGV), contre rétribution. Désolé, mais ces gens ne sont pas des vraies gens, c’est le fan club de Ciao.fr. Un cadre sup de 50 ans faisant cette démarche ne fonctionne pas comme un cadre sup de 50 ans ne la faisant pas.

4. Représentatifs de la population française : NON. Non, non et non. On applique ici la structure de TOUTE la population française à la population des internautes français, ce qui est un contresens majeur. La mauvaise nouvelle étant que les gens qu’on interroge pas (les vieux à la campagne, en gros) sont les plus enclins à voter à droite.

5. Vient ensuite le redressement, cette fameuse recette secrète qui fait tant jaser. Le redressement, ça consiste à donner plus ou moins de poids à chaque individu interrogé, pour qu’au final la population à laquelle il appartient retrouve son poids dans la réalité. En gros : j’ai interrogé 200 personnes de plus de 60 ans alors que dans la vraie vie il y en aura eu 400, donc je compte leurs voix double. En politique, c’est particulièrement délicat, car il faut tenir compte d’un phénomène qui a été le cauchemar des sondeurs : la honte d’avouer certains votes politiquement incorrects, en particulier le vote FN. On le sait, tous les sondeurs, depuis des années, gonflent fortement le score de Le Pen par rapport à leurs résultats bruts, qu’ils savent inférieurs à la réalité. Rien de tel d’annoncé ici, puisque le seul critère politique sur lequel un redressement est opéré est le vote 2007. En clair : on considère qu’en reconstituant les scores de 2007, on a un résultat correct pour 2012. C’est un peu court, jeune homme, et ce modèle bien simpliste.

Vous l’aurez compris, je n’accorde aucune valeur à ce sondage, qui me semble être surtout l’occasion pour le Parisien de faire un coup, et pour Harris Interactive de se faire un nom.

Autre question pour les sondeurs en général : je suis curieux de savoir si vous avez changé votre formule de redressement suite au remplacement de Jean-Marie par Marine ? Car vous aurez noté que dans la France décomplexée que nous a concoctée notre bon Lider Minimo, il devient de plus en plus facile de dire qu’on vote pour Marine Le Pen, d’une part parce que ses idées semblent bien moins honteuses, à l’aune de celles de l’UMP, et d’autre part parce que Marine arbore un profil moins repoussoir que son distingué géniteur. Je suis personnellement persuadé que moins de gens cachent leur intention de vote Le Pen aujourd’hui qu’hier, et qu’il faut donc réduire le coefficient de gonflage des résultats du candidat FN.

J’aimerais aussi voir des sondages indiquant quelle proportion des électeurs putatifs de la fille ont déjà voté pour le père, et surtout quelle proportion n’auraient jamais envisagé de voter pour lui. On aurait ainsi enfin une idée de l’ampleur et de la gravité du phénomène, en termes de recrutement de nouveaux fans.

Pour terminer, une petite note positive : des sondages plaçant Marine Le Pen très haut voire devant, c’est sans doute le meilleur moyen de les faire mentir, en remobilisant et réunifiant les autres camps, en particulier à gauche, camp indiscipliné et prompt à la dispersion, mais suffisamment traumatisé par 2002 pour ne pas prendre le risque de revivre cette expérience en pire. Et oui, les sondages peuvent s’auto-tirer des balles dans le pied, leurs résultats pouvant induire des changements de comportements…

Je reste persuadé que si un sondage avait donné JM Le Pen devant Jospin avant le premier tour, un certain nombre de gens seraient rentré de week-end assez tôt pour voter, et quelques candidats de gauche auraient fait des scores nettement inférieurs, et que l’histoire aurait été bien différente.

------

[EDIT, le 7 mars 2011]

J’apprends que devant l’ampleur de la polémique suscitée par ce sondage, Harris Interactive a décidé de procéder au même sondage avec les hypothèses DSK et Hollande, afin de répondre à l’une des critiques les plus fréquentes : pourquoi cette configuration et rien que cette configuration.

Les copains d’Harris, désolé, mais ce ne sera pas le même sondage, à moins de le faire auprès d’un échantillon représentatif de la population française habitant dans une grotte. Ca fait 2 jours que tous les médias ne parlent QUE DE CA, vous croyez vraiment que les gens vont se trouver dans les mêmes conditions pour répondre que ceux qui ont mis, avec votre aide, Marine en tête ?

Les sondages que l’on a l’habitude de voir testent plusieurs hypothèses au même moment auprès des mêmes gens, qui disposent au moment de répondre des mêmes informations face aux X configurations testées. Cette condition évidente de comparabilité des résultats n’étant pas respectée, vous pouvez déjà mettre votre nouveau sondage à la poubelle.

Ce que vous proposez de faire, c’est un peu tester Martine Aubry le lundi, puis tester François Hollande le jeudi alors qu’on aurait appris le mardi que Nicolas Sarkozy se prête à des rites vaudou avec sacrifices de poulets dans les salons de l’Elysée.

Merci donc d’arrêter de toute urgence de vous foutre de notre gueule, et de flinguer au passage tout le crédit que peut encore avoir la profession dans l’opinion.

http://diegosan.me/2011/03/05/coup-de-sonde/