/image%2F1635744%2F20150606%2Fob_b8319b_2015-06-06-les-champs-de-l-au-dela-tom.jpg)
La validité de nombreuses recherches scientifiques publiées est discutable (1ère partie)
Henry I. Miller et S. Stanley Young, ACSH*
/image%2F1635744%2F20240518%2Fob_925078_capture-validite.jpg)
Wikimedia Commons
Une grande partie des publications scientifiques et des « connaissances » qui en découlent sont probablement erronées et envoient les chercheurs sur de fausses pistes. Sans l'intégrité de la recherche, nous ne savons pas ce que nous savons. Il incombe donc à la communauté scientifique de trouver des solutions.
La validité d'une grande partie des recherches scientifiques publiées est sujette à caution – quelle confiance devons-nous donc leur accorder ?
Un aphorisme appelé « effet Einstein » affirme que « les gens jugent les absurdités crédibles s'ils pensent qu'un scientifique les a dites ». Nous sommes d'accord, et il s'agit d'une préoccupation majeure, car la confiance dans la science n'a jamais été aussi faible. Beaucoup d'absurdités se faisant passer pour de la science circulent ces jours-ci. Malheureusement, comme l'indique une étude de PEW publiée en novembre dernier, la situation ne fait qu'empirer.
/image%2F1635744%2F20240518%2Fob_f85ef0_capture-validite-2.png)
Les non-réponses ne sont pas incluses.
Il y a près de cinq ans, nous avons écrit sur le manque de fiabilité d'une grande partie de la littérature scientifique évaluée par les pairs, en particulier dans les domaines de la biomédecine et de l'agriculture. Depuis, selon un récent article de la revue Nature qui a quantifié le problème, celui-ci est bien plus important que ne l'avaient supposé les pessimistes.
La corruption est monnaie courante. La semaine dernière [l'article d'origine est daté du 20 février 2024], la revue Science a rapporté que même les éditeurs de revues scientifiques de premier plan se sentent « assiégés » : « Un porte-parole d'Elsevier a déclaré que chaque semaine, ses rédacteurs se voyaient offrir de l'argent en échange de l'acceptation de manuscrits. Sabina Alam, directrice de l'éthique et de l'intégrité de l'édition chez Taylor & Francis, a déclaré que des tentatives de corruption ont également été dirigées contre des rédacteurs en chef de revues et qu'il s'agit d'un "véritable sujet de préoccupation". »
En 2022, le coprésident du comité éditorial de la publication Chemistry – A European Journal de Wiley a reçu un courriel d'une personne prétendant travailler avec de « jeunes chercheurs » en Chine et lui proposant de lui verser 3.000 dollars pour chaque article qu'il l'aiderait à publier dans sa revue. Ce type d'opération est devenu une affaire importante.
Cet article, ainsi que la partie II qui suivra, aborde plusieurs façons dont le manque de fiabilité peut se produire, intentionnellement ou non.
La science est rarement un ensemble de faits immuables ; les conclusions peuvent et doivent changer à mesure que les instruments d'interrogation deviennent plus sophistiqués. La science doit plutôt être considérée comme une méthode d'enquête – un processus – qui ajuste le consensus au fur et à mesure de la collecte d'informations.
La science repose sur la corroboration, c'est-à-dire sur la vérification par les chercheurs des résultats obtenus par d'autres, ce qui leur permet souvent d'avancer progressivement. La nature de la science veut qu'aucun article de recherche ne soit jamais considéré comme le dernier mot, mais il y a de plus en plus d'exemples d'articles dont les résultats ne sont pas reproductibles.
Pourquoi en est-il ainsi ? La complexité croissante des systèmes expérimentaux, la mauvaise compréhension (et souvent la mauvaise utilisation) des statistiques et les pressions exercées sur les chercheurs pour qu'ils publient sont autant d'explications. Le plus préoccupant est la prolifération de revues « prédatrices » de mauvaise qualité, payantes, qui acceptent de publier des articles défectueux produits par des « usines à papiers », qui perpètrent une sorte de fraude industrielle répandue dans le secteur de l'édition. Il s'agit d'organisations louches à but lucratif qui produisent et vendent des manuscrits fabriqués ou manipulés qui ressemblent à de véritables travaux de recherche.
/image%2F1635744%2F20240518%2Fob_02c4f4_capture-validite-3.png)
En 2011 et 2012, deux articles ont ébranlé le monde scientifique. L'un faisait état d'une tentative de reproduction des résultats de 53 articles de recherche préclinique considérés comme des études « historiques »[du point de vue de leur importance]. Les résultats scientifiques n'ont été confirmés que pour six d'entre eux (11 %). Il est étonnant de constater que même les chercheurs à l'origine des affirmations n'ont pas pu reproduire leurs propres travaux.
Le deuxième article a montré que les affirmations faites à partir de données d'observation ne pouvaient pas être reproduites dans des essais cliniques randomisés (c'est pourquoi ces derniers sont connus comme « l'étalon-or »). Au total, 52 affirmations ont été testées et aucune n'a été reproduite dans le sens escompté, bien que la plupart d'entre elles aient bénéficié d'un solide soutien statistique dans les articles originaux.
Pourquoi cette divergence ? Plusieurs facteurs peuvent en être la cause : la découverte d'un effet inconnu, une variabilité inhérente, des témoins différents, des pratiques de recherche inférieures aux normes, le hasard – et de plus en plus, ce qui est de plus en plus inquiétant, des fraudes perpétrées par des parties intéressées dans la recherche originale ou dans la recherche de suivi.
Plus récemment, en 2015, 270 co-chercheurs ont publié les résultats de leur tentative systématique de reproduire les travaux présentés dans 98 articles originaux provenant de trois revues de psychologie, afin de comparer leurs résultats. D'après les évaluations qualitatives des chercheurs, seules 39 des 100 tentatives de reproduction ont été couronnées de succès.
La même année, un groupe multinational a tenté de reproduire 21 études expérimentales en sciences sociales sélectionnées de manière systématique et publiées dans les revues Nature et Science entre 2010 et 2015. Ils ont trouvé « un effet significatif dans la même direction que l'étude originale pour 13 (62 %) études, et l'ampleur de l'effet des réplications est en moyenne d'environ 50 % de l'ampleur de l'effet original ».
Bien que ces résultats puissent paraître choquants pour le public, qui, jusqu'à récemment, accordait une grande confiance aux conclusions des scientifiques, ils ne surprennent pas les scientifiques eux-mêmes. Dans une enquête réalisée en 2016 auprès d'environ 1.500 scientifiques, 90 % d'entre eux ont déclaré que la reproduction des expériences posait des problèmes majeurs ou mineurs.
Les taux d'échec pour des articles publiés dans des revues de premier plan sont étonnants – et inquiétants, car de fausses affirmations peuvent être canonisées et influer sur le cours des recherches ultérieures menées par d'autres chercheurs.
Bien sûr, les problèmes techniques liés aux expériences de laboratoire – contamination des lignées cellulaires ou des réactifs, équipement peu fiable, difficulté de réaliser une expérience complexe en plusieurs étapes de la même manière à chaque fois, etc. – sont une explication possible.
Une autre explication est le tour de passe-passe statistique. L'une des techniques utilisées à cet effet est le « p-hacking », la pêche aux valeurs de p : les scientifiques tentent une manipulation statistique ou de données après l'autre jusqu'à ce qu'ils obtiennent une petite valeur de p qui peut être qualifiée de « signification statistique », bien que le résultat soit le fruit du hasard et non de la réalité.
Des chercheurs australiens ont examiné la littérature accessible au public et ont trouvé des preuves que la pêche aux valeurs de p était courante dans presque tous les domaines scientifiques. L'examen par les pairs et la surveillance éditoriale ne sont pas suffisants pour garantir que les articles publiés dans les revues scientifiques reflètent la réalité et non des chicaneries statistiques.
/image%2F1635744%2F20240518%2Fob_9d1f1a_capture-validite-4.png)
Crédit : Statistically-Funny.blogpsot.com
« Si vous torturez les données suffisamment longtemps, elles se mettront à table. »
Ce problème est déjà assez grave dans les sciences exactes, mais il s'agit d'une épidémie dans les sciences sociales, où tout peut être interprété à travers une lentille post-moderne. Diverses études ont exploré la variabilité analytique dans différents domaines et ont constaté une variabilité substantielle entre les résultats, bien que les analystes disposent des mêmes données et de la même question de recherche. Si la modélisation statistique était objective et réellement prédictive, tous les résultats devraient être identiques. Notamment, l'examen par les pairs n'a pas réduit de manière significative la variabilité des résultats.
Un autre problème réside dans le fait que, souvent, les scientifiques concurrents ne testent pas à nouveau les questions ; s'ils le font, ils ne font pas savoir qu'ils n'ont pas réussi à reproduire les expériences antérieures. Il en résulte d'importantes lacunes dans la littérature publiée qui, bien entendu, est produite principalement dans les universités et financée par les contribuables.
De nombreuses affirmations figurant dans la littérature sont reproduites, mais même celles-là ne sont souvent pas fiables. Par exemple, de nombreuses affirmations dans la littérature psychologique ne sont répliquées qu'« indirectement ». Si X est vrai, Y, une conséquence, devrait l'être aussi. Souvent, Y est accepté comme correct, mais il s'avère que ni X ni Y ne sont répliqués lorsqu'ils sont testés de novo.
Il est compréhensible que les rédacteurs et les pairs aient un préjugé défavorable à l'égard des articles qui font état de résultats négatifs ; ils préfèrent de loin les résultats positifs et statistiquement significatifs. Les chercheurs le savent et, souvent, ne soumettent même pas d'études négatives – c'est ce qu'on appelle « l'effet tiroir ». Une fois qu'un nombre suffisant d'articles de confirmation nominalement positifs sont publiés, l'affirmation devient canonisée, ce qui rend encore plus difficile la publication d'un article faisant état d'un résultat contraire. Cette tendance inquiétante se retrouve également dans les médias, qui amplifient la désinformation.
Le complexe médiatico-académique sape ainsi la confiance du public, pervertit la méthode scientifique, la valeur des données accumulées et les canons de la science. Cela nous amène à nous demander si les scientifiques qui pratiquent le trucage statistique ne comprennent pas les statistiques ou s'ils sont tellement sûrs du « bon » résultat qu'ils prennent des raccourcis pour y parvenir.
Dans ce dernier cas, cela nous rappellerait l'observation mémorable de Richard Feynman, grand physicien et communicateur scientifique aujourd'hui décédé : « Le premier principe est que vous ne devez pas vous tromper vous-même – et vous êtes la personne la plus facile à tromper. »
Un nombre inacceptable de publications scientifiques et d'affirmations canonisées sont erronées, ce qui pousse les chercheurs à suivre de fausses pistes. Sans l'intégrité de la recherche, nous ne savons pas ce que nous savons. Il incombe à la communauté scientifique, y compris les superviseurs gouvernementaux, les éditeurs de revues, les universités et les bailleurs de fonds qui les soutiennent, de trouver des solutions. Dans le cas contraire, les perturbations et les tromperies dans la recherche scientifique ne feront que croître.
La deuxième partie abordera les problèmes des méta-analyses et des scientifiques qui achètent des articles douteux dans des « usines à papiers ».
_______________
/image%2F1635744%2F20240518%2Fob_0c908e_capture-henry-miller-2.png)
Henry I. Miller, médecin et biologiste moléculaire, est le Glenn Swogger Distinguished Fellow de l'American Council on Science and Health. Il a été le directeur fondateur du Bureau des Biotechnologies de la FDA. Retrouvez Henry sur X @HenryIMiller.
S. Stanley Young est un statisticien qui a travaillé dans des entreprises pharmaceutiques et à l'Institut National des Sciences Statistiques sur des questions de statistiques appliquées. Il est professeur adjoint dans plusieurs universités et membre du Conseil consultatif scientifique de l'EPA.
/image%2F1635744%2F20261016%2Fob_99bd47_capture-erreur.jpg)
/image%2F1635744%2F20261015%2Fob_b4a01e_capture-femmes.jpg)
/image%2F1635744%2F20261014%2Fob_83773f_capture-milpa.PNG)
/image%2F1635744%2F20261014%2Fob_d1298f_capture-bloom.PNG)
