Les études scientifiques anti-OGM ne prouvent rien !

Les études scientifiques anti-OGM ne prouvent rien !

Voilà un article qui ne fera pas les grands titres, ni même les petits, dans nos médias et notre blogosphère largement acquis à l'idéologie anti-OGM. Pour rappel : nos préventions – partagées et même promues par nos gouvernants – ne nous empêchent pas d'importer en masse du soja GM pour nourrir notre cheptel et nous nourrir ensuite de ses produits (pour ceux qui n'ont pas fait le choix du « bio » ou du « nourri sans OGM »).

Elle arrive alors qu'une partie du monde scientifique s'offusque devant ce qu'il convient d'appeler maintenant le scandale Infascelli (voir ici et ici), d'une série d'études exploitées par la mouvance anti-OGM qui semblent – ce verbe d'état est utilisé pour respecter la présomption d'innocence – reposer sur des fraudes.

Résumé :

« Un certain nombre d'articles de recherche largement commentés alléguant de possibles problèmes de santé liés à la technologie ont influencé l'opinion publique sur la sécurité des aliments génétiquement modifiés. Nous avons effectué une nouvelle analyse statistique et un nouvel examen des données expérimentales présentées dans certaines de ces études et constaté que très souvent, en contradiction avec les conclusions des auteurs, les données fournissent en fait des preuves ténues de dangers qui ne peuvent pas être différenciées du hasard. À notre avis, le problème de la non-prise en compte des comparaisons multiples dans l'analyse statistique a conduit à certaines des allégations anti-OGM relatives à la santé les plus citées de toute l'histoire. Nous espérons que cette analyse mettra les résultats de ces études dans le bon contexte. »

Imaginez que vous jouez aux petits chevaux avec votre petit-fils – je m'adresse à des lecteurs de ma tranche d'âge – qui arrive avec son propre dé et aligne un nombre impressionnant de 6. Le dé est-il pipé ? La question est intéressante, en ce qu'un début de réponse peut s'obtenir avec une bonne certitude mathématique, pourvu que l'on ait défini sa règle de décision au préalable. Le dé pipé ne produira certainement pas un 6 à tous les coups (à moins de n'avoir qsue des 6 sur toutes ses faces), mais un excès de 6. Dans le cadre de la recherche scientifique (la vraie... pas la science parallèle), de manière contre-intuitive pour le commun des mortels, on cherchera à démontrer que le dé... n'est pas pipé. L'hypothèse : « le dé n'est pas pipé », s'appelle l'hypothèse nulle, et on cherchera donc à en vérifier sa véracité (sur un mode forcément probabiliste, le dé ne tombant pas systématiquement sur un 6), en procédant à des séries de lancers. On considérera par exemple que l'hypothèse nulle n'est pas vérifiée si la probabilité d'obtenir, par le seul fait du hasard, le résultat qu'on aura obtenu avec ces séries de lancers est inférieure à 5 %.

On touche là un problème fondamental d'incompréhension entre recherche et opinion publique – et de manipulation de l'opinion publique par des chercheurs soit trop enthousiastes sur la valeur de leur production scientifique, soit animés par un agenda politique, ainsi que par des vulgarisateurs du même acabit : ce qui a été démontré, ce n'est pas que le dé est pipé, mais qu'on a obtenu un résultat dont la probabilité de survenue avec un dé régulier est faible. Et par conséquent qu'il est fort possible que le dé soit pipé. C'est souvent avec la répétition des essais, avec des résultats allant (pour leur majorité) dans le même sens, qu'on renforce sa certitude sur la conclusion.

On connaît – enfin, certains connaissent – l'adage juridique « testis unius, testis nullius » (témoin unique...). Une règle similaire devrait s'appliquer en science (celle-ci ayant l'avantage que l'expérience peut d'ordinaire être répétée).

La recherche scientifique ne porte généralement pas sur des situations pour lesquelles les conditions de l'essai sont totalement maîtrisées et les probabilités connues d'avance. On a donc élaboré des outils statistiques pour évaluer la probabilité d'obtenir la valeur trouvée dans l'essai (ou une valeur encore plus extrême) si l'hypothèse nulle était vraie. Cette probabilité c'est la « valeur-p » (« p-value » en anglais).

D'une manière générale, on applique les règles suivantes :

• p < 0,01 (1 %) : très forte présomption contre l'hypothèse nulle (le résultat est « statistiquement très significatif »)

• 0,01 < p < 0,05 (5 %) : forte présomption contre l'hypothèse nulle (le résultat est « statistiquement significatif »).

La valeur-p est un fétiche pour nombre de chercheurs, voire le Saint Graal. Mais il y a un chausse-trape : « statistiquement significatif » ne signifie pas nécessairement que le résultat est objectivement – par exemple biologiquement dans le cas d'une expérience en biologie – significatif.

Exemple simple : testons les connaissances en orthographe des élèves d'une école par rapport à la pointure des chaussures. L'hypothèse nulle est : les connaissances en orthographe ne sont pas liées à la taille des pieds. Votre test vous donnera certainement un résultat statistiquement significatif qui tend à invalider l'hypothèse : plus la pointure augmente, moins les élèves font de fautes. Peut-on en déduire que le don de l'orthographe réside dans les pieds ? Bien sûr que non : les grandes pointures correspondent aux élèves les plus âgés, qui ont acquis le plus d'expérience. L'âge est une « variable de confusion ».

On en profitera ici pour recommander chaudement l'ouvrage de M. Nicolas Gauvrit, Statistiques : Méfiez-vous !

Vous vous sentez un peu patraque, le médecin vous fait faire une analyse de sang avec de nombreux paramètres, et il y en a un qui sort imprimé en gras... panique ? Il y a de fortes chances que le médecin vous explique qu'il n'y a pas de quoi en faire une maladie.

Nous nous rapprochons de Panchin et Tuzhikov.

Imaginez qu'il s'agit d'analyses du sang en relation avec un essai d'alimentation dans lequel on a comparé un lot de rats... terrain judiciairement glissant en France... ou de porcs nourris pour un groupe avec une alimentation « conventionnelle » et pour pour un autre ou plusieurs autres groupes avec une alimentation contenant des OGM (et, le cas échéant, abreuvés au Roundup, même à la moitié de la concentration du produit épandu...). Vous contrôlez 40 paramètres et trouvez des différences (statistiquement) significatives à p = 0,05. Quelle importance attacher à ces différences ?

Si p = 0,05 signifie qu'il y a une probabilité de 5 % d'obtenir la valeur trouvée dans l'essai (ou une valeur encore plus extrême) si l'hypothèse nulle était vraie, la formule signifie aussi qu'on a une probabilité de 5 % de se tromper si on déclare que l'hypothèse nulle est fausse ; dans notre exemple, que déclarer que l'alimentation GM a un effet sur les paramètres sanguins.

Mais si on multiplie les tests, on augmente la probabilité de trouver un résultat statistiquement significatif trompeur qui, pris isolément, incite à affirmer la fausseté de l'hypothèse nulle (la dangerosité des OGM). Que faire ? Les paroles d'apaisement d'un médecin n'ont pas cours en science – et encore moins dans les sciences parallèles où on s'attache à « démontrer » une hypothèse conçue non comme une hypothèse, mais comme une vérité en attente de preuves, fût-ce au prix d'une essai bidonné.

Puisqu'on peut pécher par l'usage inconsidéré des statistiques, il est judicieux d'utiliser une réponse statistique. Il en est une : la correction de Bonferroni.

C'est très simple : lorsqu'on teste n facteurs dans un même essai et qu'on veut conclure sur la base de cet ensemble à un seuil de signification p (par exemple 0,05), il faut, appliquant la correction de Bonferroni, examiner chaque facteur au seuil p/n (par exemple, pour 10 facteurs, 0,05/10 = 0,005).

L'outil de correction statistique a un gros avantage : le bon sens n'étant pas la vertu la mieux partagée dans le monde, même chez les scientifiques, il ne souffre d'aucune discussion, si ce n'est avec des arguments qui résistent à la rationalité mathématique.

Les deux Alexander ont donc repris six études portées au pinacle par la mouvance anti-OGM et réanalysé brièvement sept affirmations. Résultat (voir le tableau reproduit ci-dessus) : pour cinq études initiales, les différences que leurs auteurs prétendaient (statistiquement) significatives s'écroulent après application de la correction de Bonferroni.

Les auteurs ont eu l'audace d'analyser également des affirmations de l'équipe Séralini issues de la fameuse « étude », bien qu'elles ne fussent pas étayées statistiquement à l'origine. Ils notent avec un brin de malice que « les auteurs ont choisi de laisser tomber entièrement la "partie statistique" relative aux conclusions principales de l'article ». Et MM. Panchin et Tuzhikov concluent, bien évidemment, que ces affirmations ne l'étaient a fortiori pas non plus après correction.

Mais ce sont là des choses connues depuis longtemps, les études en cause ayant été largement critiquées et, pour certaines, taillées en pièces menu menu. MM. Panchin et Tuzhikov ne font qu'ajouter une pierre de plus à ce grand édifice de critiques sur des études dont certaines ont manifestement été conçues pour alimenter – par la présentation d'arguments prétendument étayés ou par la création de doutes – une pierre qui a l'avantage d'être constituée d'arguments statistiques facilement compréhensibles et difficilement réfutables.

Leur conclusion morale :

« Malheureusement, il suffit d'un seul article affirmant une légère différence entre l'OGM et le non-OGM pour alimenter le débat public et provoquer une hystérie de longue durée. Bien que l'article de Séralini ait été rétracté, il est toujours cité par les médias. Nous sommes convaincus que les décideurs politiques, les médias et le public devraient accorder moins d'attention à des articles isolés sur les préoccupations de santé issues des OGM jusqu'à ce que leurs résultats auront été confirmés par des études indépendantes. Ces études devraient être soumises à un examen rigoureux, y compris sur le plan statistique. Citons Carl Sagan : « les affirmations extraordinaires exigent des preuves extraordinaires. »

Il y a aussi une jolie déclaration sur les conflits d'intérêts :

« Les auteurs ne rapportent aucun conflit d'intérêts. Les auteurs sont seuls responsables du contenu et de la rédaction de cet article. Cet article n'a été financé par aucune organisation non gouvernementale et n'a fait l'objet d'un lobbying par aucune entité, sauf pour faire prévaloir le bon sens. »