Calculs arbitraires, manipulation de statistiques : la méthodologie d'Influence Communication, dont les chiffres sont abondamment cités par les médias depuis une décennie, n'a rien de scientifique, dénoncent 11 anciens employés. Enquête sur la plus médiatisée des firmes québécoises de veille médiatique.
Les mystérieuses fluctuations du « poids médias »
Sur le plateau de l'émission Dans les médias, à Télé-Québec, Pierre Lapointe s'emporte dans une furieuse envolée à la défense de la culture.
Ce qui a provoqué la colère de l'artiste ? Cette tendance alarmante dévoilée par un chroniqueur de l'émission : en 10 ans, la couverture médiatique des arts et spectacles a fait une chute vertigineuse de 30 % dans l'ensemble des radios, télés et journaux du Québec.
C'était le 23 novembre dernier. Un bon moment de télé, sans aucun doute. Sauf que la baisse d'intérêt des médias pour la culture constatée par Influence Communication, partenaire de l'émission, contredit... les propres chiffres de la plus médiatisée des firmes québécoises de veille médiatique.
Les bilans annuels d'Influence Communication indiquent plutôt que la part de nouvelles consacrées à la culture a légèrement augmenté, passant de 3,66 % en 2007 à 3,86 % en 2017.
Lorsqu'on lui souligne cette contradiction, Jean-François Dumas, président d'Influence Communication, explique qu'un changement de méthodologie l'a poussé à réviser ses statistiques. Il soutient avoir déterminé a posteriori qu'en 2007, la proportion de nouvelles consacrées à la culture était plutôt de 5,80 %.
Mais de quelle méthodologie parle-t-on, au juste ?
Depuis plus de 10 ans, les médias québécois diffusent largement les chiffres d'Influence Communication, qui se présente comme « le plus important courtier de nouvelles au Canada ».
En plus d'offrir un service de veille et d'analyse des médias à des entreprises et à des organismes gouvernementaux, la firme est connue pour dresser le portrait exhaustif du paysage médiatique du Québec, en calculant très précisément le « poids médias » de chacune des nouvelles diffusées dans la province.
Sans remettre en cause les services offerts aux clients d'Influence Communication, 11 anciens employés affirment toutefois que le calcul du poids médias n'a rien de scientifique.
Méthode de calcul « complètement aléatoire », application de « coefficients arbitraires » basés sur la seule « intuition » de Jean-François Dumas... les trois ex-directeurs, trois ex-analystes et cinq ex-conseillers consultés par La Presse dressent un dur portrait d'Influence Communication.
Ces 11 personnes ont travaillé pour la firme entre 2010 et 2017 et ont demandé à témoigner sous le couvert de l'anonymat pour ne pas nuire à leur carrière ou par crainte de représailles de la part de leur ancien employeur. Les 11 témoignages concordent en tous points.
Le calcul du « poids médias »
Comment calcule-t-on le « poids médias » d'une nouvelle ? « On a des gens qui écoutent la radio, la télé et qui découpent les journaux, répond M. Dumas. Nos recherchistes écoutent tout parce qu'on vend cette nouvelle à nos clients. » Il affirme ainsi posséder « 100 % de l'inventaire » des reportages diffusés chaque jour par l'entièreté des médias du Québec.
Les anciens employés racontent une tout autre histoire. Pour calculer le « poids médias » d'une nouvelle, « tu prends un chapeau et tu tires un chiffre », ironise un ancien analyste principal de la firme. « On fait une approximation en utilisant des facteurs de pondération au pif », résume une autre ex-analyste.
Dans son bilan annuel 2011, Influence Communication soutient qu'une valeur est donnée à chaque nouvelle « en fonction du lectorat, du tirage et des cotes d'écoute ». L'importance des nouvelles est ensuite pondérée « en fonction de sa taille (longueur, durée), de son emplacement dans le média (par exemple : page A1 ou D8, début de bulletin de nouvelles ou fin de bulletin de nouvelles, etc.) et, enfin, de son format ou traitement ».
En entrevue, M. Dumas admet que le « poids médias » ne tient compte d'aucun de ces facteurs. « Il n'y a pas de pondération, c'est le nombre de mentions, tout simplement. »
En d'autres termes, Influence attribue exactement le même poids médiatique à un reportage de fond publié en manchette d'un grand quotidien de Montréal qu'à un entrefilet enfoui dans les pages d'un hebdomadaire régional.
La méthode décortiquée
La Presse a pu consulter un fichier Excel détaillant la méthode de calcul du « poids médias » des nouvelles diffusées au Québec sur une base hebdomadaire, entre le 1er janvier 2013 et le 23 juin 2014. Depuis, la méthode est demeurée la même, selon des employés qui y ont travaillé jusqu'à récemment.
La méthodologie consiste à faire une recherche par mots-clés dans Eureka. Cette base de données, propriété de Cision, archive la majorité des articles de la presse écrite québécoise. Le nombre de mentions obtenues est ensuite multiplié par un coefficient censé refléter la diffusion de la nouvelle dans les médias électroniques.
« Il n'existe aucun logiciel capable de calculer le poids d'une nouvelle à la radio et à la télévision, et cela coûterait très cher de tout surveiller. Jean-François a réglé le problème avec le "facteur Jean-François", qui est peut-être valide, mais qui est très intuitif », dit un ancien conseiller.
Ainsi, les nouvelles considérées comme « ordinaires » sont fréquemment multipliées par 2,7, alors que celles qui sont jugées plus importantes sont multipliées par 3,3. Tout ce qui concerne le Canadien de Montréal est généralement multiplié par 5,5. Les tragédies, comme le drame de Lac-Mégantic, sont multipliées par 6,6 - parfois moins, parfois davantage. Les chiffres fluctuent sans logique apparente, au gré des nouvelles.
Des chiffres manipulés
Nous avons soumis le fichier Excel à l'analyse de Christian Léger, professeur au département de mathématiques et de statistique à l'Université de Montréal. « Les facteurs multiplicateurs sont vraiment surprenants », dit-il en parcourant les colonnes de chiffres. « Comment peut-on déterminer que Stephen Harper a le même multiplicateur que le Festival de Cannes ? Quel est le point de référence pour déterminer qu'une tuerie à Moncton doit être multipliée par 6,1 ? »
Ces facteurs « semblent sortir de nulle part », s'étonne M. Léger, qui compare la méthode à une sorte de formule magique. « Il serait très surprenant qu'ils aient été déterminés à partir de méthodes statistiques formelles. »
« Les facteurs de multiplication sont manipulés en fonction des événements. Les chiffres peuvent être augmentés de façon arbitraire, sans que cela ne soit basé sur des observations objectives », confirme un ancien analyste.
M. Dumas conteste cette affirmation. « Ce n'est pas arbitraire dans la mesure où c'est l'arithmétique à laquelle on est arrivés » pour refléter la médiatisation d'une nouvelle à la radio et à la télé. Dans le cas du hockey, par exemple, « on avait estimé à ce moment-là qu'il y avait en moyenne 5,5 fois plus de contenu de sports, avec toutes les chaînes continues, qu'il y avait de faits divers ».
En pratique, les chiffres sont manipulés, soutient pourtant un ex-analyste, qui se souvient d'un fait divers particulièrement tragique dont il avait calculé le poids médias en suivant la formule habituelle. Il raconte que son patron lui avait alors intimé : « Cela doit être plus élevé que cela. Augmente le chiffre. »
« On arrivait à un résultat et Jean-François disait : "Ben non, on en a parlé bien plus que ça, me semble, dans les médias." Et il faisait monter la nouvelle dans le bilan » de la semaine, confirme une ex-directrice.
Les directeurs tenus dans l'ignorance
Quand cette ancienne directrice demandait des explications sur l'apparente manipulation des résultats, le président lui répondait seulement : « Moi, j'ajoute la sauce secrète du Big Mac », en refusant de donner plus de détails sur sa formule.
« Même à l'interne, on ne savait pas comment il avait calculé ses coefficients. Ça avait déjà été mesuré il y a plusieurs années, semble-t-il, mais on ne savait pas comment », dit un autre ancien directeur.
« On n'a jamais compris la formule de Jean-François. L'équation finale nous échappait et c'est là qu'on se posait des questions sur la rigueur », confie une troisième ex-directrice.
M. Dumas admet avoir utilisé des facteurs pour « compenser la faiblesse de certaines données qu'on n'avait pas ». Il ajoute cependant que, depuis l'acquisition de la firme Démo en décembre 2016, Influence possède tout l'inventaire des nouvelles diffusées au Québec et « n'utilise plus ce genre de coefficient-là ».
Quatre employés ayant travaillé au sein d'Influence après l'acquisition de Démo assurent pourtant que la méthode de calcul est demeurée inchangée. « La méthodologie n'a pas évolué, dit l'un d'eux. On n'a pas revalidé ces facteurs de multiplication, alors que le portrait médiatique a énormément changé dans les 10 dernières années. »
De quoi gâcher considérablement la recette du poids médias, estime le professeur Léger : « Le Big Mac, je ne suis pas sûr que, 10 ans plus tard, il goûte la même chose ! »
***
Un million d'articles par jour ?
« Chaque jour, Influence collige et traite plus d'un million d'articles provenant des quatre coins du monde et rédigés en 22 langues différentes », lit-on sous la rubrique « Qui est Influence » du site web de l'entreprise. « Influence possède un réseau de partenaires médias et de services de presse efficace dans plus de 160 pays qui lui permet d'accéder à des sources d'information locales. »
En entrevue, M. Dumas admet qu'Influence n'a pas les moyens de colliger, encore moins de traiter un million d'articles par jour. La firme est tout simplement abonnée à des banques de données, dont les principales sont Eureka pour le Québec, Infomart pour le Canada anglais et Factiva pour l'international. Propriété de la société Dow Jones, Factiva est présentée par plusieurs bibliothèques universitaires comme un outil de recherche donnant accès aux sources de 159 pays en 22 langues.
Qu'est-ce que le poids médias ?
« Le poids médias est un indice quantitatif et comparatif développé par Influence Communication. Il permet de mesurer la place qu'un individu, une organisation, un événement, un sujet, voire un thème, occupe dans un marché donné. »
- État de la nouvelle : Bilan 2017, Influence Communication
La « moulée à journalistes »
Publié à 8h36 du matin, le tweet d'Influence Communication a provoqué un feu de paille virtuel : « Le mot clic #nigger en association avec Subban a généré plus de 17 000 messages sur Twitter depuis hier soir. »
C'était le 2 mai 2014. La veille, les Bruins de Boston et le Canadien de Montréal avaient disputé un match de séries éliminatoires, au cours duquel le défenseur du Canadien, P.K. Subban, avait marqué deux buts.
« Jean-François Dumas appelle ça de la moulée à journalistes : les affaires qu'il sort le matin en espérant faire la tournée des médias », dit une ancienne directrice de la firme.
Ce jour-là, Influence Communication s'est retrouvée sur les ondes d'au moins cinq stations de radio, de TVA Sports, de Radio-Canada et de la CBC, en plus d'être citée dans La Presse, dans le Journal de Montréal et jusque dans le journal Le Matin en Suisse.
Le chiffre lancé par la firme était pourtant faux.
Selon Social Sphere, une entreprise de Cambridge consultée par le Boston Globe, seuls... huit tweets racistes ont été diffusés le soir du match. En réponse, 347 messages reprenant les mêmes mots condamnaient ces propos.
Une autre firme, Crimson Hexagon, a retracé 2617 tweets contenant « Subban » et des variations de l'insulte raciste dans les 24 heures suivant le match, selon le Boston Globe. De ces tweets, seulement 11 % étaient offensants.
« Celle-là, on l'a échappée, admet M. Dumas. On aurait dû revérifier trois fois avant de publier parce que ce n'était pas le chiffre final auquel on est arrivés par la suite. »
L'ENFLURE MÉDIATIQUE DÉGONFLÉE
« L'attentat à la mosquée de Québec, la nouvelle de la décennie », a titré Le Devoir en décembre. « L'événement le plus médiatisé depuis 2001 dans la province », a renchéri La Presse canadienne.
Selon Influence Communication, aucun événement n'avait encore provoqué une telle éclipse médiatique.
Qu'on y songe : pendant une semaine, à la fin janvier 2017, pas moins de 57,99 % des nouvelles diffusées au Québec avaient porté sur l'attentat de la mosquée.
L'intérêt des médias avait été encore plus soutenu que pour la tragédie ferroviaire à Lac-Mégantic de juillet 2013 (38,93 %). Son poids médias était même presque trois fois plus lourd que celui des attentats du 11 septembre 2001 (21,11 %).
Pourquoi cette enflure médiatique ? C'est « dans les gènes des médias de faire toujours plus que la dernière fois », a tweeté Influence Communication en 2013, en réponse à un internaute qui s'étonnait de l'ampleur de la couverture accordée à Lac-Mégantic par rapport au 11-Septembre.
Mais l'explication se trouverait plutôt dans une faille méthodologique, selon d'anciens analystes de la firme.
C'est qu'Influence calcule le « poids médias » hebdomadaire d'une nouvelle en interrogeant la banque de données Eureka, puis en divisant le nombre de mentions récoltées par 49 000, soit le nombre estimé de nouvelles diffusées au Québec en une semaine.
Or, selon les ex-employés, cette estimation n'aurait pas changé pendant des années, alors que les médias répertoriés par Eureka sont toujours plus nombreux. C'est ce qui ferait gonfler les statistiques au fil du temps.
« L'un des premiers éléments d'une bonne méthodologie, c'est de définir la population, dit un ancien analyste. Chez Influence, on ne le fait pas. Quand Eureka ajoute des médias à sa base de données, cela fait varier le volume de nouvelles, mais on n'en tient pas compte. »
M. Dumas estime « possible » que les chiffres soient artificiellement gonflés en raison de la méthodologie. « Cependant, les constantes, le nombre de nouvelles, on les a ajustées avec le temps. Donc, je doute que cela ait eu un gros impact. »
LA POLITIQUE, UNE BOÎTE DE SAVON
« Un parti politique, c'est comme une boîte de savon. Pour qu'on l'achète, il faut qu'il soit visible », expliquait Jean-François Dumas au Journal de Montréal lors de la campagne électorale québécoise d'avril 2014. Sa théorie : « Jusqu'à présent, le parti politique le plus médiatisé est toujours celui qui est élu. »
Cette fois, pourtant, les données récoltées par la firme ne semblaient pas vouloir confirmer la théorie. Jour après jour, pendant la campagne, Pauline Marois obtenait une plus grande couverture médiatique que son rival, Philippe Couillard.
« À la veille des élections, les sondages donnaient les libéraux favoris et Jean-François est arrivé avec son calcul final. Tout d'un coup, le PLQ était le parti le plus médiatisé de la campagne. C'était surréaliste, un changement de cap complet », s'étonne un analyste en poste à l'époque.
Non seulement la théorie était-elle confirmée dans le calcul final, mais la corrélation entre le poids médiatique des partis et les résultats électoraux était parfaite.
« Les conclusions présentées ne correspondaient pas à mes recherches et à mes vérifications. Je n'ai pas vraiment eu d'explications. On m'a dit que d'autres facteurs avaient été pris en considération. » - Un ex-conseiller
M. Dumas nie s'être inspiré des sondages. Il soutient avoir mesuré la couverture consacrée non seulement aux chefs, mais aussi aux candidats et aux partis eux-mêmes. Il dit avoir ainsi découvert que, contrairement à ses rivaux, Philippe Couillard avait été moins médiatisé que son parti. En répartissant le tout, cependant, il en est venu à la conclusion que le PLQ avait bel et bien été le parti le plus médiatisé de la course électorale !
Le lourd poids médias d'Influence
Depuis une décennie, les chiffres d'Influence Communication sont abondamment cités par les journalistes, tous médias confondus, pour jauger l'importance d'un événement ou même pour interpréter certains phénomènes de société.
Au fil des ans, M. Dumas a notamment été chroniqueur au magazine Infopresse, à l'émission Salut Bonjour Week-End de TVA et à l'émission Dutrizac du 98,5FM. On l'a entendu au 93,3FM à Québec et au 91,9 Sport à Montréal, on l'a vu à RDS comme à Radio-Canada, on a lu ses analyses dans La Presse, Le Journal de Montréal, le journal Métro, Les Affaires et ailleurs encore.
Bref, Influence Communication fait partie du paysage médiatique québécois, une position qui lui confère crédibilité et notoriété auprès de la population. Les journalistes devraient-ils faire plus de vérifications avant de diffuser ces statistiques ?
« Il y a beaucoup de confiance aveugle. On sait que les médias sont très friands de chiffres ; cela fait image. Mais il ne faut pas les balancer n'importe comment. » - Colette Brin, directrice du Centre d'études sur les médias de l'Université Laval
LA DÉCLARATION DE BARCELONE
En juillet 2010, l'Association internationale pour la mesure et l'évaluation des communications a adopté la Déclaration de Barcelone. La Société québécoise des professionnels en relations publiques, dont Jean-François Dumas est vice-président du conseil d'administration, a adhéré à ce texte, qui stipule que « la transparence et la reproductivité sont de première importance pour la valeur des mesures ».
« La Déclaration de Barcelone dit très bien que les recettes secrètes à la Colonel Sanders ou à la Caramilk n'ont pas leur place pour évaluer les parutions médiatiques, explique Pierre Bérubé, professeur spécialisé en relations publiques de l'UQAM. Au contraire, on vise le côté scientifique : il faut être capable de répéter cette évaluation pour en connaître la valeur. »
Dans une « clarification » diffusée récemment sur son site web, Influence Communication explique avoir « maintenu une certaine confidentialité autour de la méthodologie [...] parce que dans un domaine aussi compétitif que celui des relations publiques, c'est une question de vie ou de mort pour une PME comme Influence Communication de protéger son expertise ».
