La validité d'une grande partie des recherches scientifiques publiées est discutable (2e partie)

La validité d'une grande partie des recherches scientifiques publiées est discutable (2^e partie)

Henry I. Miller et S. Stanley Young, ACSH*

Wikimedia commons

Dans la première partie de cette série, nous avons présenté les preuves qu'une part non négligeable des publications scientifiques et des « connaissances » qui en découlent sont erronées. Il y a de nombreuses raisons à cela, notamment la négligence expérimentale, les différences dans la manière dont les chercheurs abordent les analyses statistiques, les préjugés des revues contre la publication de résultats négatifs et la malhonnêteté pure et simple des chercheurs. La deuxième partie décrit comment les scientifiques militants peuvent utiliser les méta-analyses pour manipuler les données afin de parvenir à une conclusion prédéterminée, mais erronée.

Quelle est l'ampleur de la fraude aux données qui pollue la recherche scientifique et quelles en sont les sources ?

Lorsque des dizaines, des centaines ou des milliers d'études traitent d'une question ou d'une controverse scientifique, les conclusions divergent invariablement, ne serait-ce qu'en raison du hasard ou de l'utilisation de données contradictoires. Alors, comment ces controverses sont-elles jugées et résolues ? Une approche privilégiée par l'establishment scientifique consiste à effectuer ce que l'on appelle une méta-analyse, une analyse statistique qui combine les résultats de plusieurs études scientifiques, y compris souvent des essais contrôlés randomisés. De nombreux chercheurs estiment que la combinaison systématique de données qualitatives et quantitatives provenant de plusieurs études, dont le nombre peut parfois atteindre des centaines, est statistiquement plus solide que n'importe quelle étude isolée, transformant le bruit en signal.

Un exemple : résoudre le débat sur la supériorité nutritionnelle des aliments biologiques

Souvent, le processus fonctionne. Pendant des années, on a cru que les aliments biologiques étaient plus sains que les produits conventionnels. Certaines études individuelles suggèrent que les aliments issus de l'agriculture biologique sont plus nutritifs, présentent moins de risques pour la santé et peuvent réduire le risque d'exposition aux pesticides. Mais de nombreux professionnels de la santé avaient des doutes.

La question a intrigué deux éminentes chercheuses du Centre des Politiques de Santé de l'Université de Stanford, Mmes Dena Bravata et Crystal Smith-Spangler. Mme Dena Bravata, médecin en chef de la société Castlight Health, spécialisée dans la transparence des soins de santé, a lancé le projet, dit-elle, parce qu'un grand nombre de ses patients lui demandaient si les aliments biologiques valaient la peine d'être achetés à des prix plus élevés, souvent deux fois plus élevés, voire plus, que les produits conventionnels.

Mme Bravata a découvert qu'elle ne pouvait pas s'appuyer sur des études individuelles pour résoudre la controverse. Il en existait littéralement des milliers, chacune avec son propre ensemble de données et aboutissant souvent à des conclusions contradictoires. Lesquelles sont les plus fiables ?

« Il s'agissait d'un domaine propice à la réalisation d'un examen systématique », a déclaré le premier auteur, Mme Smith-Spangler, qui s'est associée à Mme Bravata et à d'autres collègues de Stanford pour réaliser une méta-analyse.

Selon les auteurs principaux, ils ont passé au crible des milliers d'articles pour en identifier 237 qu'ils jugeaient les plus pertinents à inclure dans l'analyse. Leur conclusion a choqué et ébranlé l'industrie alimentaire.

« Certains pensent que les aliments biologiques sont toujours plus sains et plus nutritifs », a déclaré Mme Smith-Spangler, coauteure de l'étude. « Nous avons été un peu surpris de ne pas trouver cela. » Plus important encore, bien qu'ils aient constaté que les aliments biologiques contenaient moins de pesticides ajoutés, ils ont également constaté que les niveaux dans tous les aliments se situaient dans les limites de sécurité autorisées.

La conclusion de l'étude de Stanford a déclenché une tempête, avec des réactions furieuses de la part d'acolytes et d'éléments intéressés de la filière biologique, tels que les auteurs gastronomiques Michael Pollan et Mark Bittman.

Cependant, de nombreuses méta-analyses indépendantes (non financées par la filière alimentaire biologique ou conventionnelle) n'ont pas contredit les conclusions de l'étude de Stanford. La plus convaincante : un rapport de suivi publié en 2020 et basé sur 35 études extraites de 4.329 articles potentiels par des chercheurs de l'université australienne Southern Cross a conclu que « les preuves actuelles ne permettent pas de se prononcer définitivement sur les bénéfices pour la santé de l'apport alimentaire biologique ».

Qu'est-ce qui peut mal tourner ?

Paradoxalement, les méta-analyses sont souvent à l'origine du type de désinformation qu'elles sont censées combattre.

Comment les méta-analyses sont-elles réalisées ? Une recherche informatique permet de trouver les articles publiés qui traitent d'une question particulière – par exemple, si la prise de grandes quantités de vitamine C prévient les rhumes. Les données des études considérées comme méthodologiquement valables sont consolidées et intégrées à la méta-analyse. (En général, la personne qui effectue la méta-analyse n'a pas accès aux données brutes utilisées dans les études individuelles, de sorte que les statistiques sommaires de chaque étude individuelle sont reportées dans la méta-analyse). Si le poids de la preuve, basé sur une analyse très formalisée, favorise l'affirmation, celle-ci est jugée exacte et souvent canonisée.

Le problème est qu'il n'y a pas forcément de sécurité dans les chiffres, car de nombreux articles individuels inclus dans l'analyse peuvent très bien être exagérés ou erronés, en raison d'un biais de publication et du p-hacking (manipulation inappropriée de l'analyse des données pour permettre à un résultat favorisé d'être présenté comme statistiquement significatif).

Le p-hacking potentiel peut être détecté en créant un « graphique des valeurs de p » (p-hacking plot), c'est-à-dire la probabilité qu'une différence observée entre les groupes soit due au hasard. Par exemple, la figure de gauche ci-dessous représente une méta-analyse comportant 19 articles ; dans la figure de droite, la méta-analyse comporte 14 articles.

Rappelons qu'une petite valeur de p signifie qu'un effet est réel, et qu'il n'est pas dû au hasard. Plus la valeur de p est petite, plus l'effet est probable. Si le graphique des valeurs de p qui en résulte ressemble à une crosse de hockey, avec de petites valeurs de p sur la lame et de plus grandes valeurs de p sur le manche (comme dans les deux figures ci-dessous), il y a lieu de penser qu'il y a eu p-hacking.

Les figures ci-dessus sont tirées de méta-analyses portant sur les effets prétendument bénéfiques des acides gras oméga-3 (figure de gauche) et sur la prétendue relation directe entre le dioxyde de soufre dans l'air et la mortalité (figure de droite). Ces méta-analyses ont été présentées dans une grande revue médicale et ont prétendument montré des effets positifs. Mais ces conclusions sont, au mieux, douteuses.

Les valeurs de p sont représentées en ordonnée dans chaque graphique. Plusieurs petites valeurs de p sont inférieures à 0,05 ; prises isolément, elles indiqueraient un effet réel. Cependant, il y a plus de valeurs de p supérieures à 0,05, ce qui indique que l'effet allégué était un mirage.

Il est clair que les deux ne peuvent pas être correctes puisqu'il y a plus d'études négatives. Le hacking est une explication logique de la présence d'un petit nombre de valeurs de p faibles. La conclusion la plus probable est que ces méta-analyses ont donné des résultats faussement positifs et qu'il n'y a pas d'effet.

Un défi pour la communauté des chercheurs scientifiques

Un article d'information paru dans la revue Nature s'est récemment penché sur les données relatives à la fraude en matière de recherche. L'ampleur des fautes identifiées par l'auteur, rédacteur en chef de la revue, est choquante, tant par son ampleur que par le succès de l'institutionnalisation et de la commercialisation de la fraude :

« La littérature scientifique est polluée par de manuscrits bidons produits par des usines à papiers – des entreprises qui vendent de faux travaux et de fausses signatures à des chercheurs qui ont besoin de publications dans des revues pour leur CV. Mais quelle est l'ampleur du problème des usines à papiers ?

Une analyse non publiée communiquée à Nature suggère qu'au cours des deux dernières décennies, plus de 400.000 articles de recherche présentant de fortes similitudes textuelles avec des études connues, produits par des usines à papiers, ont été publiés. Environ 70.000 d'entre eux ont été publiés rien que l'année dernière (voir "The paper-mill problem" [le problème des usines à papiers]). L'analyse estime que 1,5 à 2 % de tous les articles scientifiques publiés en 2022 ressemblent étroitement à des travaux produits par des usines à papiers. Parmi les articles de biologie et de médecine, ce taux s'élève à 3 %. »

Ainsi, un pourcentage substantiel des publications scientifiques et des affirmations canonisées qui en découlent sont probablement erronées, ce qui pousse les chercheurs à suivre de fausses pistes. Sans l'intégrité de la recherche, nous ne savons pas ce que nous savons. Il incombe donc à la communauté scientifique – chercheurs, éditeurs de revues, universités et bailleurs de fonds – de trouver des solutions.

_______________

Henry I. Miller, médecin et biologiste moléculaire, est le Glenn Swogger Distinguished Fellow de l'American Council on Science and Health. Il a été le directeur fondateur du Bureau des Biotechnologies de la FDA. Retrouvez Henry sur X @HenryIMiller.

S. Stanley Young est un statisticien qui a travaillé dans des entreprises pharmaceutiques et à l'Institut National des Sciences Statistiques sur des questions de statistiques appliquées. Il est professeur adjoint dans plusieurs universités et membre du Conseil consultatif scientifique de l'EPA.

Spurce : The Validity of Much of Published Scientific Research is Questionable (Part 2) | American Council on Science and Health (acsh.org)