« Cash Investigation » ou 97 % de « cash obstination »
Le « Cash Investigation » diffusé par France 2, une chaîne de télévision publique devant répondre à une mission de service public, le mardi 2 février 2016 en prime time, est décidément une mine d'or. « Produits chimiques : nos enfants en danger » relève en effet de l'investigation autant que la pseudo-science relève de la science : la conclusion a été prédéfinie et on s'est attaché à trouver des éléments permettant de l'étayer (voir par exemple ici et ici).
Un élément a pu être démonté en 30 secondes : « 97% des denrées alimentaires contiennent des pesticides » était-il dit en voix off en début de « reportage ». Une affirmation reprise par Mme Élise Lucet en fin d'émission, dans ce qui devait être un débat.
Ce démontage ultrasimple – il suffit de lire le communiqué de presse, au titre certes ambigu, de l'EFSA – restait relativement indolore tant qu'il était confiné à la blogosphère et à des agitateurs d'idées qu'on pouvait soit censurer, soit envoyer paître avec l'habituel ultime stratagème, celui du lobbyiste suppôt de Monsanto et autre multinationale honnie.
Mais patatras : Libération a publié le 11 février 2016, sous la plume de Mme Pauline Moullot, un « Pesticides : le chiffre bidon de Cash Investigation » dans sa série Désintox. Comble de méchanceté, il a aussi mis en ligne l'excellente « Baliverne #07 » d'Agriculture&Environnement. Dommage que l'auteure ait cru bon de qualifier le site de « un autre site prônant le tout pesticide » ce qui dénigre aussi l'Association française pour l'information scientifique (AFIS)). Mais comme elle entend revenir sur le sujet, elle aura peut-être à cœur de corriger.
Notons que l'information diffusée par cet article commence à se répandre. Par exemple dans le Figaro ou 24 Matin. Ce dernier, par son titre, « Pesticides : Quand Cash Investigation arrange les chiffres à sa sauce », monte d'un cran. Arranger les chiffres ? Ce n'est plus « Cash Investigation », mais « Cash Malversation ».
Pour reprendre l'analogie avec la science faite ci-dessus, on n'est plus, selon ce titre, dans le domaine de l'erreur de bonne foi, mais dans celui de la fraude.
L'équipe de « Cash Investigation » a cru bon de répondre sur PLTV, leur propre site, avec « Cash Investigation répond à Libé Désintox ». C'est tomber de Charybde en Scylla.
Voici le premier morceau de bravoure :
« Tout d’abord, ce que Libé Désintox appelle sans nuance "le chiffre bidon de Cash Investigation" provient d’un rapport de l’EFSA, l’Agence européenne de sécurité des aliments (à lire ici). Revenons donc sur ce fameux chiffre : "Plus de 97 % des aliments contiennent des résidus de pesticides dans les limites légales". Vous en conviendrez, le titre de l’EFSA est très clair. Mais comme vous, nous avons été interloqués par la phrase suivante : "54,6% of the samples contained no quantifiable residues". Cette phrase est très importante : elle évoque 54,6% de résidus non-quantifiés et non pas 54,6 % de résidus non-détectés. Le seuil de LOQ (Limit of Quantification) est en effet 10 à 20 fois supérieur au seuil de LOD (Limit of Detection). »
Décryptons pas à pas.
Le chiffre de 97 % provient, non pas d'un rapport, mais du communiqué de presse, montré dans le « reportage ». Cela a son importance, car la deuxième citation provient, elle, du rapport, qui n'existe qu'en anglais
On fait aussi usage du sophisme de l'appel à témoin. Mais non, nous ne pouvons pas convenir que le titre est très clair. Pour la simple raison qu'il y a bien polémique grâce à l'équipe de « Cash Investigation » et qu'il est infirmé par la première phrase :
« Plus de 97 % des échantillons alimentaires évalués par l’Agence européenne de sécurité des aliments (EFSA) contiennent des concentrations de résidus de pesticides qui se situent dans les limites légales autorisées, dont presque 55 % sans aucune trace détectable de ces produits chimiques. »
Pourquoi « détectable » dans cette phrase (et généralement dans le rapport) ? Parce que l'honnêteté scientifique exige de tenir compte du fait les appareils de mesure ont une limite de détection et que s'il n'y a pas eu de signal, on ne peut pas conclure qu'il n'y a pas le produit recherché. Et comme on ne peut pas conclure qu'il n'y a pas de traces, on ne peut pas non plus conclure qu'il y en a...
C'est pareil pour une émission d'« investigation » : ne pas détecter de tricherie, parce qu'on n'a pas eu les moyens de détecter une tricherie, ne signifie pas que l'émission est indemne de tricherie...
Le sophisme de l'appel à témoin est réitéré en introduction de la citation en anglais : « 54,6 % des échantillons ne contenaient pas de résidus quantifiables ». Cela figure dans le résumé succinct (abstract), mais la citation est tronquée :
« Overall, 97.4 % of the tested food samples fell within the legal limits and 54.6 % of the samples contained no quantifiable residues at all. » (C'est nous qui graissons.)
En résumé, est-il dit, 97,4 % des échantillons de produits alimentaires testés tombaient dans les limites légales – notez : on ne dit pas « contenaient des pesticides » – et 54,6 % des échantillons ne contenait pas de résidus quantifiables du tout.
Là, c'est le mot « quantifiable » qui pose problème. Mais une exégèse byzantine ne s'impose pas. L'équipe de « Cash Investigation » y succombe du reste avec : « Cette phrase est très importante : elle évoque 54,6% de résidus non-quantifiés ». Il suffit de constater qu'une phrase affirme (l'évocation, c'est le ressenti personnel) et que « quantifiable » n'a pas le même sens que « quantifié ».
Ce qui importe, c'est le texte. On lit, en page 2, dans le résumé :
« 54.6 % of the samples tested were free of detectable residues while 42.8 % of the samples analysed contained measurable residues not exceeding the permitted residue concentrations. 2.6 % of all the samples exceeded the Maximum Residue Levels (MRL) (2 116 samples); 1.5 % of the samples clearly exceeded the legal limits, taking into account the measurement uncertainty. »
Le même genre de phrase est répété dans le texte à la page 60 et à la page 84. « Detectable residues » (écrit sur la même ligne) apparaît 132 fois ; « quantifiable residues », quatre fois, en plus de l'occurrence dans l'abstract.
À l'évidence, l'équipe de Cash Investigation a tenté d'exploiter une erreur de rédaction de l'abstract.
Quant aux considérations sur la LOD et la LOQ, c'est manifestement de l'esbroufe ; et c'est manifestement faux, du moins en général. Cet article scientifique montre par exemple que le rapport se situe plutôt en dessous de 5.
Pour parfaire une démonstration foireuse, rien ne vaut le sophisme de l'appel à l'autorité (bien sûr anonyme) :
« Pour nous assurer de ce chiffre, nous avons contacté l’une de nos sources à l’EFSA pour comprendre. Elle nous a confirmé que ces 54,6% correspondaient bien à des échantillons avec des résidus dont les niveaux de pesticides étaient en-dessous des limites de quantification mais pas en-dessous des limites de détection. »
Très intéressant, « l’une de nos sources »... La source devra expliquer pourquoi le rapport dit : « ...54.6 % of the samples tested were free of detectable residues ». Ou, si on fait crédit à sa thèse, pourquoi l'EFSA n'a pas publié le pourcentage de produits avec des résidus entre la LOD et la LOQ.
Pontifier est aussi une méthode d'enfumage :
« En d’autres termes, sous cette limite de quantification, on ne peut pas conclure à l’absence de pesticides. On pourrait même dire qu’il y en a, qu’on les a détectés mais qu’on ne sait pas les quantifier précisément pour les relier à des molécules chimiques. »
Pontifier... à condition de ne pas tomber dans le ridicule. Car c'est en-dessous de la limite de détection qu'on ne peut pas conclure. Dans l'intervalle entre la LOD et la LOQ, le choix est binaire : il y a – ou il n'y a pas – de résidus détectables. Si on n'en a pas détecté, c'est qu'il y en a – ou qu'il n'y en a pas – en-dessous de la LOD. Cette conclusion, l'incertitude sur la situation en-dessous de la LOD, s'impose en vertu du principe selon lequel absence de preuve ne vaut pas preuve de l'absence.
« On pourrait même dire... » Encore une démonstration éclatante de la méconnaissance totale du dossier : ce qu'on détecte (rappel : nécessairement au-dessus de la LOD et en-dessous de la LOQ – rappel (bis) : si on était au-dessus de la LOQ, on quantifierait) est lié à une molécule précise.
Le lecteur n'échappe pas non plus au sophisme de l'homme de paille :
« ...contrairement à ce que Libé Désintox laisse entendre, à aucun moment dans le documentaire nous ne disons ni ne laissons penser que 97 % des aliments contiennent des résidus de pesticides au-delà des limites légales. »
Ben non ! Libé Désintox n'a pas laissé entendre ça.
Homme de paille aussi et appel à l'autorité (sous forme négative, en citant la partie « adverse ») : M .Jean-Charles Bocquet, directeur général de l’ECPA (European Crop Protection Association) – dont il est invariablement dit que c'est le « lobby des pesticides en Europe » – n'aurait pas « contesté ce chiffre de 97%... ». Pourquoi l'aurait-il fait ? 97 % des produits alimentaires se situent dans les limites légales du point de vue des résidus de pesticides.
Il y a un mea culpa au sujet des 3 % restants attribués intempestivement et à tort au bio lors d'un clavardage. « Nous avons depuis corrigé notre réponse ». Ah bon ? Nous n'avons rien vu sur le site en question. Mais qu'importe ! Si l'équipe de « Cash Investigation » tient mordicus à ses 97 % de produits qui contiennent des résidus de pesticides et admet maintenant que les 3 % restants en contiennent aussi, mais au-delà des limites légales, elle n'a toujours pas corrigé son information première : ce ne seraient pas 97, mais 100 % ! Les amis du « bio » doivent être ravis...
La diversion est aussi une arme dont on ne saurait se passer. Petit déluge de chiffres prétendument de la DGCCRF. Premier problème : il n'y a pas de référence... donc chiffres invérifiables. Deuxième problème : la meilleure source détaillée disponible sur la toile ne semble pas confirmer les chiffres. Troisième problème, ces gens annoncent « 89% des salades » avec des résidus, et FranceTVInfo, citant le plan de surveillance de la DGCCRF, « près de 58% ».
Quatrième problème : les données de la DGCCRF alimentent le rapport de l'EFSA. Le graphique à la page 63 donne comme résultat général : 41,0 % des échantillons avec « detectable residues ≤ MRL » et 3,3 % avec « residues > MRL ». Nous épargnerons la démonstration à nos lecteurs : la différence à 100, soit 55,7 %, correspond aux échantillons sans résidus détectables.
Cinquième problème : la DGCCRF publiait dans le temps un rapport succinct. Le dernier semble être celui de décembre 2012 sur les mesures de 2010. Un résultat :
« Concernant les résultats du plan de surveillance des "fruits et légumes" (2.917 échantillons) y compris d’autres matrices comme le thé par exemple, 41,1 % des échantillons contiennent des résidus détectables. »
Le lecteur aura compris : 58,9 % sans résidus détectables. Mais l'équipe de « Cash Investigation » argumentera peut-être qu'entre 2010 et 2013...
Pour conclure, on laissera le soin aux lecteurs de ce billet de découvrir sur le site de l'équipe de « Cash Investigation » les débordements sur l'AFIS. Prévoyez, selon votre état d'esprit, une pause pipi ou un vomitoire. Ou plutôt, appliquez le principe de précaution : prévoyez les deux !