« Les études statistiques sont-elles hors de contrôle ? » – un super-article de M. David Louapre sur Science étonnante

« Les études statistiques sont-elles hors de contrôle ? » – un super-article de M. David Louapre sur Science étonnante

Glané sur la toile 885

(Source)

Vos connaissances en statistiques sont-elles limitées aux notions de moyenne et de médiane ? Cela ne vous empêche pas de lire « Les études statistiques sont-elles hors de contrôle ? » de M. David Louapre, « créateur de la chaîne "Science étonnante" (la nuit) & Directeur scientifique @Ubisoft (le jour) ».

C'est un formidable exercice de pédagogie. La mise en route :

« En matière de statistiques, je viens de prendre une grosse claque. J’ai lu il y a quelques semaines un article scientifique que je ne connaissais pas, et ce dernier est en train de modifier radicalement mon opinion sur pas mal d’études scientifiques basées sur des analyses statistiques.

Aujourd’hui on va parler de facteurs de confusion, et notez que même si vous êtes déjà versé en stats, lisez quand même : ça pourrait vous étonner.

En bref : je vais maintenant avoir beaucoup de mal à accorder du crédit à toute étude  observationnelle qui prétend "avoir contrôlé les facteurs de confusion".

Voyons de quoi il retourne avec un petit exemple fictif.

L'article est fondé sur « Statistically controlling for confounding constructs is harder than you think » (contrôler statistiquement des constructions confondantes est plus dur que vous ne le croyez) de Westfall, J., et Yarkoni, T. (2016).

En voici le résumé :

« Les chercheurs en sciences sociales cherchent souvent à démontrer qu'une construction a une validité incrémentale par rapport à d'autres constructions connexes. Cependant, ces affirmations sont généralement soutenues par des modèles au niveau de la mesure qui ne tiennent pas compte des effets de la (non-)fiabilité de la mesure. Nous utilisons des exemples intuitifs, des simulations de Monte Carlo et un nouveau cadre analytique pour démontrer que les stratégies courantes pour établir la validité incrémentale d'une construction à l'aide d'une analyse de régression multiple présentent des taux d'erreur de type I extrêmement élevés dans des régimes de paramètres communs à de nombreux domaines psychologiques. De manière contre-intuitive, nous constatons que les taux d'erreur sont les plus élevés – dans certains cas, ils approchent les 100 % – lorsque la taille des échantillons est importante et que la fiabilité est modérée. Nos résultats suggèrent qu'une proportion potentiellement importante des affirmations de validité incrémentale faites dans la littérature sont fausses. Nous présentons une application web (http://jakewestfall.org/ivy/) que les lecteurs peuvent utiliser pour explorer les propriétés statistiques de ces arguments et d'autres arguments de validité incrémentale. Nous concluons en passant en revue les approches statistiques fondées sur le SEM qui contrôlent de manière appropriée le taux d'erreur de type I lorsque l'on tente d'établir la validité incrémentale. »

Cet article se fonde sur les sciences sociales, mais il s'applique à bien d'autres domaines... les articles « scientifiques » prétendant démontrer les vertus de l'alimentation biologique, par exemple.

C'est de l'ironie... (source)

Paraphrasant un aphorisme célèbre, M. David Louapre résume sur Twitter :

« Il y a trois types de mensonges : les petits mensonges, les gros mensonges,... et les études qui prétendent contrôler les facteurs de confusion. »

Comments

[Hbsc Xris]

Koonin, qui ne conteste pas le réchauffement climatique, mais juste son exagération, écrit dans son livre "Unsettled" des choses interessantes sur la façon dont sont "faits" les chiffres en matière de température.
Personnellement, dans ma vie professionnelle antérieure, j'ai été confrontée à un type de manipulation particulière qui ne touche pas directement les chiffres, mais les rubriques. Vous gardez inchangé le nom de la rubrique mais vous modifiez au cours du temps les critères d'entrée dans cette rubrique, selon les nécessités "politiques". Je n'en dirais pas plus... Et après, vous avez des sociologues qui font des études sur ces "stats" et en tirent des conclusions. Conclusions méga bullshit !