La machine de promotion pro-Legault de l’empire Quebecor s’est-elle déjà mise en marche? Ce matin, 2 août, les commentateurs politiques parlent d’une légère remontée de François Legault dans les sondages, en s’appuyant sur le sondage Léger Marketing publié hier dans le Journal de Montréal.
Pourtant, comme le démontre le mathématicien Charles Castonguay dans l’article qui suit, ce type de sondage effectué sur Internet n’a rien de scientifique.
Nous avons vu, lors de la campagne électorale fédérale, comment, à partir d’un sondage douteux, on a créé de toutes pièces une vague orange avec Jack Layton. S’apprête-t-on à répéter une manipulation semblable avec Legault?
Il faut se rappeler que la Coalition Sirois-Legault est une création de l’empire Quebecor à coups de sondages Léger Marketing favorables et de pages frontispices élogieuses à l’endroit de François Legault. L’objectif politique était très clair : marginaliser le Parti Québécois.
La manœuvre n’a pas fonctionné, Legault n’étant pas à la hauteur des attentes. Mais, il se pourrait bien maintenant qu’on assiste au cours des prochaines semaines à un deuxième essai. La série des trois débats proposée par le Quebecor a tout pour donner la plus grande visibilité possible à Legault, en le mettant sur le même pied que Charest et Marois.
Si on ne réussit pas à faire de Legault un nouveau Jack Layton, on pourrait se rabattre sur le plan B : se servir de la CAQ pour diviser le vote souverainiste et reporter au pouvoir Jean Charest.
Pour comprendre ces manœuvres, il faut se rappeler les liens serrés qui existent entre Pierre-Karl Péladeau et Stephen Harper. Les journaux de Péladeau au Canada anglais, regroupés dans Sun Media, sont dirigés par un proche de Harper et ont fait campagne pour le Parti conservateur lors de la dernière campagne électorale fédérale.
Rappelons également la récente rencontre entre Harper, Mulroney et Charest et le fait que Brian Mulroney siège au conseil d’administration de Quebecor.
Nous vous invitons donc à lire attentivement la critique que faisait Charles Castonguay de ce type de sondage lors du conflit étudiant, le printemps dernier.

Sondages en ligne et marchandisation du savoir
Par Charles Castonguay
Dans le débat sur la nature et le financement des universités, la frénésie de sondages non probabilistes nous offre un exemple pertinent de là où nous mène la marchandisation du savoir.
Ce fut bien rafraîchissant d’écouter l’émission The Current sur CBC au lendemain des récentes élections en Alberta. Sondages téléphoniques probabilistes et sondages en ligne non probabilistes confondus, tous accordaient la victoire au Wild Rose Party par une marge de 6 ou 7 points sur le Parti conservateur. Résultats : les conservateurs ont triomphé par 10 points du Wild Rose.
Au cours de cette salutaire autopsie, la sondeuse indépendante Janet Brown a rappelé aux auditeurs que les meilleurs sondeurs soulignent que, dans leur métier, la certitude n’existe pas. Elle estime, en particulier, que des instantanés simplistes ne sont pas très fiables et que, de façon plus générale, l’activité du sondeur relève davantage d’un art que d’une science.
Pareille humilité est à des années-lumière de l’attitude des tandems CROP/La Presse et Léger Marketing/Journal de Montréal, qui rivalisent de sensationnalisme dans la présentation d’un flot incessant de sondages non probabilistes sur la grève étudiante au Québec. Il y a de l’argent à faire en abusant de la crédulité des gens.
Un étudiant en démographie vient finalement de battre la casserole du bon sens. Dans une lettre à La Presse, Guillaume Marois a opiné que les universités devraient obliger les aspirants journalistes à suivre un cours de statistique.
Il déplore notamment que CROP a mené, en plein dévoilement du projet de loi 78, un sondage qui a inspiré à La Presse du 19 mai dernier des manchettes trompeuses, voire mensongères, dont « Sondage favorable à la loi spéciale » et « Les Québécois en faveur de la ligne dure ».
Marois relève que le sondage en question était non probabiliste et, donc, non représentatif de la population. Pour de semblables sondages, note-t-il, l’échantillon est auto-sélectionné, c’est-à-dire que les sondés ont eux-mêmes choisi de faire partie d’une liste d’envoi électronique. Ajoutons qu’en outre, ils répondent contre rémunération. Et que cette méthode passe à la trappe les nombreux Québécois analphabètes ou qui ne sont pas branchés sur Internet.
Ces répondants internautes ont-ils les mêmes opinions que le reste de la population? Des fois oui, des fois non, estime Marois.
S’il comprend que pour des raisons pratiques et d’économie les sondeurs peuvent parfois recourir à ce genre de méthode, Marois considère qu’« il faut alors apporter toutes les nuances nécessaires aux résultats obtenus et, surtout, ne pas les utiliser de manière à influencer l’opinion publique ». Tout le contraire de ce que font La Presse et le Journal de Montréal.
Un autre article paru en même temps sur le site d’Acrimed, une association française de critiques des médias, qualifie la performance CROP/La Presse du 19 mai de véritable farce. Son signataire, Martin Gauchery, note par ailleurs que la bataille des sondages sur la grève étudiante représente une manne financière pour les tandems concernés.
L’animatrice Catherine Perrin a invité Marois à exprimer ses réserves sur les ondes de Radio-Canada. Il s’est retrouvé coincé entre Alain Giguère, président de CROP, et Christian Bourque, vice-président de Léger Marketing, qui se sont évidemment portés à la défense de leur industrie.
Bourque a avancé que les sondages non probabilistes sont fiables et comparables aux sondages probabilistes et que la méthode non probabiliste n’est pas attaquable. Mais, dit-il, « on est conscient des limites de notre science [sic] ».
Marois a répliqué qu’un échantillon non probabiliste peut être non représentatif, c’est-à-dire biaisé.
Plus racoleur que Bourque, Giguère a souligné que contrairement à Léger Marketing, CROP n’emploie pas le mot « représentatif » en parlant d’échantillons non probabilistes. Il reconnaît en outre que les sondages non probabilistes sont « un peu plus imprécis » que les probabilistes. Giguère ajoute qu’il faut cependant vivre avec l’époque, c’est-à-dire que le taux de réponse aux sondages probabilistes, réalisés au téléphone, est devenu extrêmement faible, proteste que les résultats non probabilistes obtenus au moyen de panels d’internautes ne sont « pas si mal, comme la météo » et soutient que La Presse n’a jamais déformé ou mal interprété les résultats des sondages en ligne. « J’ai jamais vu La Presse aller trop loin », a-t-il dit, et jure que CROP « ne se laisserait pas dicter le libellé de ses questions ».
Sous la manchette « Les Québécois en faveur de la ligne dure », La Presse du 19 mai précise pourtant que l’échantillon non probabiliste de 800 personnes « est pondéré pour s’assurer qu’il représente fidèlement l’ensemble de la population selon les critères de sexe, d’âge, de scolarité et de langue maternelle ». Ce n’est pas loin de prétendre que l’échantillon est représentatif, pratique honnie par Giguère. La Presse y déclare d’ailleurs que « Les résultats de ce type d’enquête sont aussi fiables qu’une enquête téléphonique ».
Dans ses explications supplémentaires publiées dans La Presse des 19 et 26 mai sous les titres « Sondage CROP-La Presse : la méthodologie expliquée » et « L’ABC des sondages », Giguère brode autour de la question de façon semblable.
Au moyen des sondages non probabilistes « il me semble qu’on se débrouille pas si mal, affirme-t-il dans l’édition du 19 mai […] Je ne suis pas sûr [que les sondages probabilistes] soient plus fiables […] Nous avons été les premiers à détecter la vague orange des dernières élections fédérales avec un sondage non probabiliste. Elle s’est vraiment produite. Malgré toutes les limites, on n’est pas si mal ! » Et si ce sondage non probabiliste avait justement déclenché la vague orange ?
Mais face aux critiques comme celles de Marois et d’Acrimed, la pression monte. Dans ses explications du 26 mai, Giguère soutient que les internautes ont été sollicités au hasard pour faire partie des panels Web. « Certains ont accepté », écrit-il. Fort bien. Mais combien ont refusé ? Et lors d’un sondage, quel est au juste le taux de réponse des internautes auxquels on a expédié le questionnaire ? CROP ne nous le dit jamais.
Cela laisse deviner que le taux de participation à un panel Web ainsi que le taux subséquent de réponse des internautes au questionnaire font problème, tout comme pour les sondages probabilistes faits au téléphone.
Giguère poursuit : « Le profil socio-démographique de ces internautes est ensuite établi par CROP. Âge, sexe, revenus, valeurs. Ensuite, ce panel initial est ajusté par CROP de façon à reproduire la population québécoise avec la plus grande exactitude, telle qu’elle apparaît dans les chiffres de Statistique Canada. La banque de données finale reflète donc fidèlement l’image de la population. »
Valeurs ? Comme dans accès universel et gratuit aux services de santé, valeur censée faire la différence entre Canadiens et Américains ? Ou comme dans l’accès universel et gratuit aux études postsecondaires, valeur qui distinguerait peut-être les Québécois des autres Canadiens ? Impossible. Statistique Canada ne chiffre pas les valeurs de la population.
Et si, par quelque autre moyen de son cru, CROP connaît déjà la position de la population en ce qui concerne notamment la valeur que représente l’accès gratuit à l’éducation postsecondaire, afin d’« ajuster » la représentativité ou le « reflet de l’image de la population » – trêve de finasserie sémantique ! – de son panel, à quoi bon alors faire un sondage ?
La vérité, c’est qu’aucune pondération rétroactive d’un échantillon d’internautes auto-sélectionnés, opérée en fonction d’une poignée de variables, ne saurait garantir en tout point sa représentativité. Seul un sondage probabiliste, avec un échantillon élaboré entièrement au hasard, peut offrir cette garantie, en plus de permettre d’accompagner ses résultats d’une marge d’erreur.
Giguère décoche ensuite une flèche à Léger Marketing. « Aucun sondage réalisé par Internet n’a de marge d’erreur. C’est vrai pour CROP, c’est vrai pour tous ses concurrents […] Prétendre afficher une marge d’erreur pour un sondage Internet est carrément mensonger. Pourquoi ? Parce que l’échantillon utilisé pour sonder n’a pas été établi avec le hasard le plus total. »
Giguère ne s’emploie pas moins, comme Bourque, à revêtir d’une aura scientifique ce qui ne le mérite pas. Au fond, que vaut une approximation lorsqu’on n’a aucun moyen d’estimer de combien elle est susceptible d’avoir manqué sa cible ?
Le jupon à Giguère dépasse encore quant au libellé de ses questions. Voyons comment CROP s’y prend pour faire croire que « Les Québécois [sont] satisfaits du travail de Line Beauchamp », troisième titre choc dans La Presse du 19 mai.
Une première question se lit comme suit : « Line Beauchamp a annoncé sa démission comme ministre de l’Éducation du Québec en disant souhaiter que son geste aide à solutionner le conflit sur la hausse des frais de scolarité. Pensez-vous que Mme Beauchamp a pris la bonne décision en démissionnant ? »
Le préambule de la question cherche manifestement à susciter la sympathie des répondants pour Beauchamp. Pas étonnant qu’une question subséquente : « Est-ce que vous considérez que son travail comme ministre de l’Éducation du Québec pour gérer le conflit sur la hausse des frais de scolarité a été très bon, assez bon, plutôt mauvais ou très mauvais ? » ait dégagé une majorité de réponses positives.
Giguère termine ses explications du 26 mai en faisant valoir que son nouveau sondage CROP, dont La Presse fait état dans la même édition, se fonde sur un échantillon de 1500 répondants. « C’est près de deux fois plus de personnes sondées que notre dernier sondage et 30 % de plus que le sondage publié mardi dans les pages du Journal du Montréal. »
« Mon échantillon est plus gros que le tien », quoi. Encore du bluff. Pour un sondage probabiliste, les lois de la statistique garantissent que lorsqu’on augmente la taille de l’échantillon, la marge d’erreur se rapetisse. Mais dans le cas d’un sondage non probabiliste, on n’est même pas capable d’estimer de marge d’erreur. La taille de l’échantillon perd alors sa pertinence et insister dessus revient à détourner l’attention du problème de fond, soit celui de l’éventuel défaut de représentativité des échantillons non probabilistes de l’une ou de l’autre maison de sondage, c’est-à-dire de leur caractère éventuellement biaisé.
Au sondage CROP/La Presse du 19 mai, qui comptait 800 répondants, le tandem Léger Marketing/Journal de Montréal répliquait le 22 mai avec un sondage Internet qui en comptait 1186. « Un vrai sondage », claironne le titre de la longue note méthodologique en page 2. La note vante son échantillon « qui compte près de 50 % plus de répondants que celui de La Presse ». Encore le syndrome « le mien est plus gros que le tien ».
La note poursuit : « Les données finales ont été pondérées selon l’âge, le sexe, la langue maternelle, le degré de scolarité, la composition du foyer (avec ou sans enfant) et la région, de façon à garantir [sic] un échantillon représentatif [resic] de la population québécoise. La science des sondages ne l’exige pas [sic] pour les questions posées par Internet, mais à des fins comparatives, un échantillon probabiliste de 1186 répondants aurait une marge d’erreur de +/- 3,0 %, 19 fois sur 20. »
On ne peut garantir la représentativité de l’échantillon en pondérant de la sorte. Et associer ainsi des sondages par Internet à la « science » et aux sondages probabilistes qui permettent d’estimer de combien on a peut-être raté la cible frôle justement l’usage mensonger que dénonce le président de CROP.
Cette longue note de Léger Marketing/Journal de Montréal ne nous dit pas plus que ne le fait CROP quel pourcentage au juste des internautes sollicités par téléphone ont accepté de participer au panel Web, ni quel est le taux de réponse au questionnaire du sondage.
Léger Marketing ne dédaigne pas, lui non plus, de formuler ses questions de manière tendancieuse. Par exemple : « Le gouvernement a décidé d’augmenter les frais de scolarité de 325 $ par année pendant les cinq prochaines années, pour une augmentation totale de 1625 $. Les étudiants contestent cette décision et demandent le gel des frais de scolarité. Êtes-vous davantage favorable à la position du gouvernement ou davantage favorable à celle des étudiants ? »
Le gouvernement « a décidé » alors que les étudiants « contestent ». Difficile pour ceux qui ont élu un gouvernement avec « les deux mains sur le volant » d’être contre un gouvernement qui « décide ».
Et s’il est vrai que « les Québécois n’aiment pas la chicane », comme nous le répète jusqu’à plus soif Christian Bourque, de Léger Marketing, cela rend plus difficile aussi d’être en faveur des étudiants qui « contestent ».
Pas surprenant, dès lors, que les réponses à cette question, posée depuis trois mois de la même façon, appuient systématiquement le gouvernement davantage que les étudiants. Tout comme CROP, Léger Marketing sait où est son intérêt.
Le tandem Léger Marketing/Journal de Montréal ne se contente pas de nous mener par le bout du nez en nous faisant suivre les hauts et les bas de ses coups de sonde successifs effectués au moyen d’une question biaisée, en généralisant allègrement à l’ensemble de la population les opinions puisées contre rémunération dans son panel d’internautes et en nous assommant avec les clichés éculés de Christian Bourque sur la nature profonde de la société québécoise : ce tandem pousse l’imposture jusqu’à présenter carrément ses sondages Web comme s’il s’agissait de sondages probabilistes. Humilité devant l’inconnu ? Connais pas.
Par exemple, sous des manchettes tonitruantes du Journal de Montréal du 17 avril, genre « Un appui à son plus bas » et « Les étudiants perdent du terrain », on trouve en sous-titre et en caractères gras « L’appui de la population aux étudiants en grève contre la hausse a diminué de façon significative depuis deux semaines » et, dans le texte, « La marge d’erreur du sondage est élevée, mais c’est une baisse significative, évalue Christian Bourque ». C’est ça, être « conscient des limites de notre science ».
Non. Votre sondage, M. Bourque, n’est pas probabiliste. C’est mensonger d’y associer une quelconque marge d’erreur. Et c’est abuser encore plus vos lecteurs que de laisser entendre qu’on puisse accorder un quelconque degré de signification statistique à l’écart entre les résultats de deux sondages non probabilistes.
Les journaux à sensation ne sont pas seuls à véhiculer de semblables faussetés. Le Devoir s’y adonne itou. Voyons, par exemple, l’écho qu’on y trouve au sondage Léger Marketing/Journal de Montréal du 10 mai.
Fondé sur un échantillon de 400 répondants, ce sondage enregistrait un appui de 60 % à la position du gouvernement, contre 34 % à celle des étudiants. Le Journal de Montréal du 11 mai termine son reportage avec l’habituel tour de passe-passe : « Un échantillon probabiliste de 400 répondants aurait une marge d’erreur de plus ou moins 4,9 %, 19 fois sur 20 ».
Qu’est-ce que ça veut dire ? D’abord, que le sondage était fondé sur un échantillon non probabiliste, ce qui, comme d’habitude aussi, n’est précisé clairement nulle part dans le texte. Pas de marge d’erreur, donc. Le 60 % n’est qu’une estimation ponctuelle, à prendre ou à laisser. De préférence à laisser, à en juger par la probité que pratiquent Christian Bourque et Léger Marketing dans leurs prestations publiques.
Ce n’est pas tout. S’il s’agissait d’un échantillon probabiliste – ce qu’il n’est pas – cela voudrait seulement dire que sur un total de 20 estimations semblables, fondées chacune sur 400 réponses, 19 rateraient la cible, soit le degré d’appui « réel » au gouvernement, par moins de 5 points de pourcentage, soit la marge d’erreur. Et qu’une de ces 20 estimations raterait même la cible par encore plus de 5 points.
Compliqué ? Pas vraiment. Mais surtout, démontrable en théorie et vérifiable en pratique. Comme toute science véritable.
Dans ce cadre, c’est-à-dire si le sondage Léger Marketing en question avait été probabiliste, pourrait-on dire que l’appui au gouvernement est de 60 % ? Non. Il faudrait dire que cette estimation particulière situe l’appui entre 55 et 65 %. Et que 19 autres estimations pareillement menées situeraient l’appui dans 19 autres intervalles de quelque 10 points d’envergure, par exemple, entre 52 et 62 %, 61 et 71 % ou 47 et 57 %.
Mais parmi ces 20 intervalles, quels sont donc les 19 qui recouvrent l’appui « réel », et quel est celui qui a raté la cible par encore plus de 5 points ? Il faut l’admettre : on l’ignore. On ne connaît justement pas le degré d’appui « réel » ! En matière de sondage, comme ailleurs, le premier pas vers le savoir c’est d’avouer son ignorance.
C’est ainsi qu’il convient d’apprécier une estimation dans la meilleure des circonstances, c’est-à-dire même quand on dispose d’un échantillon probabiliste. Combien doit-on alors demeurer prudent lorsqu’il s’agit d’une estimation non probabiliste provenant d’une source peu scrupuleuse.
Dans Le Devoir du lendemain, mon chroniqueur préféré n’en concluait pas moins, sur la foi des réponses de 400 internautes à une question biaisée posée par Léger Marketing à un échantillon non probabiliste, qu’« Il est clair que le gouvernement a gagné le débat sur la hausse des droits de scolarité […] une nette majorité de Québécois (60 %) approuve la hausse ».
Non. Le débat n’a fait que commencer. Et quant au résultat de ce sondage particulier, notons qu’en plus des réserves exprimées ci-dessus, un autre sondage, cette fois probabiliste et mené précisément au même moment, suggère que le gouvernement n’avait rien gagné du tout. Nous y reviendrons.
Il y a pire. Prenons le sondage Léger Marketing/Le Devoir/The Gazette sur la faveur accordée aux différents partis politiques fédéraux, tel que rapporté dans Le Devoir du 7 avril. À la une : « Mulcair propulse le NPD ». Comme d’habitude, le reportage ne précise pas qu’il s’agit d’un sondage non probabiliste. Les initiés que nous sommes peuvent le deviner, à partir de la formule rituelle à la fin : « Un échantillon probabiliste de cette taille aurait une marge d’erreur de 2,5 %, 19 fois sur 20 ». Traduction en langage ordinaire : « Ce sondage est non probabiliste. Il est par conséquent impossible d’associer aux opinions recueillies une quelconque marge d’erreur. »
Dans le corps du texte, on fait état de l’appui à tel ou tel parti au Québec. Le Bloc récolte ci, les conservateurs ont ça. Le Devoir ajoute : « Il faut toutefois préciser que la marge d’erreur de cet échantillon régional atteint 4,9 % ». Hein ? Qué marge d’erreur ?
Toujours selon Le Devoir : « À l’échelle nationale [sic], le NPD obtient 33 % des intentions de vote après répartition, soit un point devant les conservateurs – une égalité statistique. » Encore non. Il est possible que l’échantillon, non probabiliste, soit biaisé en faveur de l’un ou de l’autre. Et la notion d’égalité statistique n’a de sens que dans le cas d’un échantillon probabiliste.
Pour revenir à la grève étudiante, le 19 mai la Fédération canadienne des étudiant(e)s a communiqué aux médias les résultats d’un sondage probabiliste Harris/Decima qui comprenait la question suivante : « À votre avis, croyez-vous que les frais de scolarité au collège et à l’université dans votre province devraient être diminués, gelés aux niveaux actuels, ou augmentés ? » Du 10 au 14 mai, Harris/Decima a complété des interviews téléphoniques avec 1000 Canadiens dont 250 Québécois, ce qui se traduit en une marge d’erreur de 6 points de pourcentage pour les résultats au Québec. Une majorité de 56 % des répondants québécois se sont déclarés en faveur de geler les frais à leur niveau actuel ou de les réduire, contre 40 % en faveur de les hausser.
Selon ce sondage, entre 50 et 62 % des Québécois seraient donc contre une hausse. Cette estimation a-t-elle touché la cible ? Le pourcentage « réel » de Québécois contre une hausse se trouve-t-il quelque part entre 50 et 62 % ? Soit oui, soit non. Mais lequel des deux ? On l’ignore ! Ce qui est évident, par contre, c’est que cette estimation probabiliste suggère le contraire de ce que Léger Marketing répand avec des hauts et des bas depuis trois mois sur la foi de son panel non probabiliste.
Notons que l’ordre des réponses proposé à la question de Harris/Decima met d’abord de l’avant celle qui favorise la position des étudiants – « diminués » et « gelés » sont suivis en dernier lieu par « augmentés » –, alors qu’à l’inverse, la question que privilégie Léger Marketing demande en premier lieu si l’on est davantage favorable à la position du gouvernement et, en second lieu, si l’on est davantage favorable à celle des étudiants. L’ordre des réponses proposées lors d’un sondage ou d’un recensement exerce un effet certain sur le résultat : cela rapporte de figurer en premier. Sans doute pas assez toutefois dans le cas présent pour provoquer l’écart observé entre les résultats probabilistes et non probabilistes en question.
Le rôle de premier plan que cherchent à jouer les tandems CROP/La Presse et Léger Marketing/Journal de Montréal ou, si l’on veut, les Desmarais et Péladeau de ce monde au cours de la grève étudiante donne à réfléchir. Un sondage non probabiliste a l’avantage de se réaliser plus rapidement et de coûter moins cher qu’un sondage probabiliste. On peut par conséquent multiplier les sondages non probabilistes à souhait et s’en servir pour occuper, voire orienter les esprits avec d’incessants commentaires simplistes portant sur un flot continu de résultats, tout en voilant d’un flou artistique leur fiabilité douteuse.
Guillaume Marois a donc raison. Dans une ère où la marchandisation du savoir et de l’information nous assène sondage par-dessus sondage à la place d’analyses approfondies et de débat, tout étudiant en journalisme devrait suivre des cours de base en statistique. Il serait tout aussi essentiel que les journalistes actifs suivent un cours d’initiation ou de ressourcement en la matière.
Mais cela ne suffirait pas pour assainir de façon rapide et efficace l’utilisation des sondages. Dans les années 1960 et 1970, le Québec a traversé de grandes turbulences. Des sondages de tout acabit se sont mis de la partie. Sous la direction entre autres du professeur Serge Carlos, le Centre de sondage de l’Université de Montréal avait alors rendu de fiers services à la population en déterminant des normes méthodologiques rigoureuses pour les sondages et en veillant à leur respect. Le Centre a malheureusement fermé ses portes au milieu des années 1980.
Il semble que le Québec soit entré dans une période d’effervescence similaire. Il serait fort utile que journalistes, chercheurs, acteurs sociaux, universitaires, etc., remettent sur pied un semblable observatoire critique pour veiller à ce que le public ne soit pas abusé par des tandems sondeurs/journaux à sensation.
Et pour l’immédiat, afin de ramener un peu de calme, vivement un moratoire… sur les sondages non probabilistes !