Overblog
Suivre ce blog
Editer l'article Administration Créer mon blog
Agriculture, alimentation, santé publique... soyons rationnels

Carton rouge et statistiques

10 Octobre 2015 , Rédigé par Seppi Publié dans #Article scientifique

Carton rouge et statistiques

 

Une mise en garde contre le jeu dur en sciences

 

Source : http://caricaturiste.canalblog.com/archives/2009/05/16/13748374.html

 

 

Nous y sommes parvenus par un gazouillis : « Peut-être une explication de pourquoi il ne faut pas simplement croire les études de Greenpeace et de Séralini », et par une étape par le Spiegel [1].

 

Nous voici donc sur Nature et « Crowdsourced research: Many hands make tight work » (recherches aboutisssant à la rédaction de contenus sur un modèle participatif : beaucoup de mains produisent des résultats rigoureux – traduction sans garantie aucune) de Raphael Silberzahn et Eric L. Uhlmann [2].

 

Il s'agit certes de sociologie et d'études dans lesquelles le contrôle des données brutes est restreint par des contraintes sociales et matérielles. L'homme de laboratoire, en revanche, peut éliminer de nombreux biais et facteurs de confusion et concevoir son essai de manière à optimiser ses chances d'obtenir un résultat ayant un sens. Il peut aussi...

 

Les auteurs rapportent donc dans Nature qu'ils avaient publié un article en 2013 suggérant que les patronymes allemands à consonance « noble », comme König (roi) et Fürst (prince) étaient un bon passeport pour la carrière. Un psychologue de l'Université de Pennsylvanie, Uri Simonsohn, a repris la base de données et, lui appliquant sa propre méthode analytique, a conclu à l'absence d'avantage. Les auteurs initiaux ont dû admettre que l'analyse de Simonsohn était meilleure. Se montrant bons... princes (ce n'est pas donné à tous les chercheurs...), ils rédigèrent un commentaire à trois.

 

Et ils conçurent une expérience de crowdsourcing.

 

 

La couleur de la peau a-t-elle une influence sur le risque pour le joueur de se voir infliger un carton rouge dans un match de football ? Telle était la question.

 

On a donc constitué une base de données avec 2053 joueurs de la saison 2012/13 des championnats de première division allemand, anglais, espagnol et français. Et prié 29 équipes de chercheurs de l'exploiter à leur guise pour répondre à la question.

 

Résultats en bref : 20 équipes ont trouvé un lien – en grande majorité statistiquement significatif – entre couleur de peau et carton rouge. La plupart ont trouvé que les joueurs à peau sombre avaient une probabilité de se faire exclure 1,2 à 1,5 fois plus grande que les joueurs à peau claire (les joueurs avaient été rangés dans cinq classes de teint). Quatre n'ont pas trouvé de différence. Pour deux autres, la différence était largement supérieure à 2, mais avec un très grand intervalle de confiance.

 

 

Les adeptes des sciences et, plus particulièrement des statistiques, se délecteront à la lecture de la documentation disponible. Nous soulignerons quatre points.

 

1.  Est-ce étonnant ?

 

Non. Chaque équipe a abordé le problème avec sa propre vision, sa propre analyse des différents facteurs inclus dans la base de données, et ses propres outils statistiques.

 

2.  Quelle a été la réaction des chercheurs ?

 

Les équipes ont été priées de débattre des choix des uns et des autres (présentés sous forme anonymisée). Certains de ces choix ont été considérés comme moins défendables que les autres, mais il n'y a pas eu de consensus sur une méthode qui serait la plus appropriée.

 

Les auteurs de l'étude ont conclu qu'au final, le consensus du groupe a été beaucoup moins ferme que la conclusion qui serait attendue de l'analyse par une seule équipe.

 

Ils disent aussi que l'expérience les a convaincus que la réunion de beaucoup d'équipes de chercheurs expérimentés peut équilibrer les discussions, valider les résultats scientifiques (étonnant si l'on considère cette seule expérience... aucun choix particulier n'ayant été validé comme le meilleur) et mieux informer les décideurs politiques.

 

3.  Crowdsourcing (la rédaction de contenus sur un modèle participatif), une solution ?

 

C'est une démarche parmi d'autres. Mais si le contenu représente le consensus sans montrer la variabilité des approches et des résultats individuels, on aura perdu en informations.

 

L'exercice qui a été mené a tout de même produit un groupe de résultats qu'on peut qualifier de très homogène et mis en évidence d'autres qui peuvent être considérés comme des valeurs aberrantes par rapport au groupe précité.

 

Les auteurs proposent une analyse nuancée :

 

« Dans le système actuel, les gros titres l'emportent sur les résultats peu clairs. Pire encore, une fois qu'un résultat a été publié dans un journal, il devient difficile de le contester. Les idées se figent trop rapidement, et les déraciner crée plus de perturbations qu'il n'est nécessaire. L'approche de crowdsourcing donne de l'espace aux opinions dissidentes. »

 

4.  Et alors ?

 

Il y a beaucoup de vœux pieux là-dedans. C'est à notre sens une illusion de croire qu'un mode de construction de savoirs impliquant plusieurs équipes ou plusieurs experts dans une démarche collective – démarche qui est aussi, d'une manière ou d'une autre, celle des méta-analyses, des expertises collectives, des examens par des organismes de régulation tels que l'ANSES et le HCB en France ou l'EFSA en Europe – mettra un frein à la science ou, pire, la pseudo-science militantes.

 

Les producteurs de résultats tonitruants ne se laissent en effet pas perturber dans leurs démarches par la science orthodoxe, celle qui représente le courant dominant. Être dans la marginalité – avoir prétendument raison seul contre tous, être le défenseur incorruptible de la vérité – est en fait leur meilleur argument de vente. Et ils s'entendent – à la fois au sens de savoir y faire et de disposer des relais nécessaires dans les médias – pour faire les gros titres...

 

Pour le public et les décideurs politiques, la conclusion principale à tirer de cette très intéressante et très utile étude est qu'il faut faire preuve de discernement et ne pas se fier à une seule étude.

 

Nous ne pouvons qu'ajouter : surtout si elle provient d'une équipe sulfureuse. Et encore plus s'il s'agit d'un sujet qui reçoit un large écho dans l'opinion publique.

 

 

On – enfin, les gens rationnels – le savait déjà. Mais cette étude l'illustre magistralement. Que nous apprend le graphique ci-dessus (repris de Naure) ?

 

Les quatre premières études n'auraient jamais fait leur chemin dans les médias grand public : pas de discrimination raciale... aucun intérêt médiatique ! On peut même penser qu'elles auraient eu quelque mal à trouver une revue scientifique prête à les accueillir.

 

Imaginez en revanche les grands titres que permettent les deux dernières – artistiquement customisées pour les besoins de la médiatisation, pour cacher l'énorme incertitude– avec un odds ratio autour de trois... surtout au lendemain d'un match dans lequel l'arbitre aurait exclu du terrain, par une décision peut-être discutable, un joueur de couleur apprécié.

 

Et transposez cela dans d'autres domaines tels que les pesticides, les OGM, les perturbateurs endocriniens, les vertus du bio, les horreurs de la restauration rapide...

 

________________

 

[1] http://www.spiegel.de/wissenschaft/mensch/wissenschaft-absurd-ein-datensatz-29-ergebnisse-a-1056704.html

 

[2] http://www.nature.com/news/crowdsourced-research-many-hands-make-tight-work-1.18508

 

Partager cet article

Commenter cet article

Cultilandes 10/10/2015 22:42

Dans cet exemple, évidemment, on présuppose qu'il ne peut y avoir statistiquement aucune explication sociologique à une propension à commettre des fautes de jeu selon l'origine sociale de tel ou tel, donc à la couleur de peau... Seul les préjugés des arbitres -forcément blancs? - serait en cause...

Seppi 11/10/2015 00:41

Bonjour,

Merci pour votre commentaire.

Je n'ai pas lu l'article proposé en prépublication (j'ai l'excuse d'une vue basse... et je n'ai pas envie de constater l'état de décrépitude de mes connaissances en statistiques). L'article contient un tableau montrant les covariables utilisées par les différentes équipes. Les plus fréquemment utilisées: la position sur le terrain, la taille, le poids et l'âge.

Deux équipes ont tenu compte de l'identité de l'arbitre (et ont a priori testé l'hypothèse d'un biais possible de l'arbitre). Leurs résultats sont dans le groupe principal.

Quant aux joueurs, il me semble que, couleur de peau mise à part, toutes les données concernaient le jeu et qu'il n'y avait pas de présupposé sociologique.