Nicole Nelson : « Les travaux des métascientifiques auront probablement des effets inattendus »

Beaucoup de métascientifiques sont issus de la psychologie. D’où cela vient-il ?

Vers 2011, la psychologie a connu une période terrible. En l’espace d’une seule année, un cas de fraude de la part d’un chercheur très en vue, Diederik Stapel, a été révélé, puis une revue réputée, le Journal of Personality and Social Psychology, a publié un article de parapsychologie au sujet de la prédiction de l’avenir. Cette publication a fortement interpellé les chercheurs de la discipline car, alors même que les conclusions étaient manifestement fausses, les statistiques paraissaient correctes. La méthode était donc remise en cause. Enfin, la même année, une étude a démontré qu’il était facile d’obtenir de faux résultats positifs : malgré l’usage de statistiques, il y avait toujours beaucoup de place pour l’interprétation. Cela signifiait que des pans entiers de la littérature dans le domaine pouvaient alors être erronés.

« Certains estiment qu’il faut parler ouvertement du problème. Pour d’autres, laver le linge sale en public n’est pas une bonne idée »

Cette crise de reproductibilité est l’une des préoccupations majeures de la communauté de la métascience. Est-elle limitée à la psychologie?

Les psychologues ont tendance à penser que le problème est spécifique à leur domaine mais un phénomène très similaire s’est produit en biologie [que Nicole Nelson a étudié, NDLR], provenant de deux articles sur la même période. En 2011, un groupe de recherche de la société pharmaceutique Bayer a fait état de ses efforts pour reproduire des résultats publiés par d’autres et le taux de réussite était extrêmement faible : environ 25%. Six mois plus tard, un second papier en oncologie rapportait des conclusions encore plus inquiétantes : seulement 11% de réussite. Savoir que dans neuf cas sur dix, les chercheurs n’étaient pas capables de reproduire des résultats publiés a beaucoup effrayé. Il était temps d’agir pour tenter de résoudre ce problème.

L’administration Trump a dernièrement émis une directive ayant pour but de “restaurer les standards de référence de la science”. La métascience pourrait-elle nourrir des arguments contre la science ?

Cette préoccupation a été au cœur du mouvement depuis les toutes premières discussions autour de la reproductibilité. Certaines personnes estimaient que le plus important était de parler ouvertement du problème. Pour d’autres, laver le linge sale en public n’était pas une bonne idée car la science était, déjà en 2011, attaquée. On peut penser aux tentatives de discrédit de la part des climato-dénialistes [lire notamment les Marchands de doute par Naomi Oreskes et Erik Conway, NDLR]. Cette appréhension à admettre les faiblesses de la science ne date donc pas d’hier, et les figures du mouvement de la métascience ont pris grand soin de souligner qu’il existe de la recherche de grande qualité mais aussi des problèmes à régler [le Centre for Open Science a tout récemment réagi au sujet du décret de Trump, NDLR].

« Il s’est passé l’inverse de ce que nous imaginions dans le monde parfait de la science ouverte »

Cette tentative de récupération est-elle une première ?

L’adoption par les Républicains du langage de la métascience s’inscrit dans une histoire beaucoup plus longue [que Nicole Nelson a également étudiée, NDLR] : l’objectif n’était pas de rendre la science meilleure mais au contraire plus perméable aux acteurs hors du champ académique. Au milieu des années 1990, l’université de Harvard a publié une étude montrant que les habitants des villes où la pollution de l’air était plus forte avaient plus de problèmes de santé. L’Agence de protection de l’environnement (EPA) s’est appuyée sur cette étude pour recommander des réglementations, impliquant pour les industriels d’installer des filtres sur leurs cheminées, avec un coût de plusieurs millions de dollars. Les grands groupes ont alors demandé l’accès aux données, en prétendant vouloir vérifier les résultats de l’étude. Les chercheurs de Harvard ont refusé de leur communiquer, ce qui peut paraître surprenant aujourd’hui mais, il y a 30 ans, partager des données n’était pas la norme. Finalement, la réglementation de l’EPA a été mise en place et les Républicains ont continué de réclamer l’accès à l’ensemble des données. Ceci a débouché sur l’un des premiers mécanismes de science ouverte aux Etats-Unis : le sénateur républicain Richard Shelby a formulé en 1999 un amendement permettant l’accès sur demande aux données produites dans le cadre de recherches financées par des fonds fédéraux.

Vous avez souligné durant la conférence Metascience certains effets pervers de l’ouverture des données. Quels sont-ils ?

Lorsque les données sont ouvertes, elles sont en théorie accessibles à tous mais pas forcément utilisables par tous. Par exemple, développer des modèles d’IA comme ChatGPT requiert une puissance de calcul massive. Seules les très rares entités en disposant peuvent effectivement profiter de ces données. Il y a un effet similaire dans la recherche : lorsqu’on partage ses données, on peut penser que cela va aider les chercheurs de pays plus pauvres ou de laboratoires de tailles plus modestes. En réalité, les personnes les plus susceptibles de les utiliser proviennent de laboratoires mieux dotés, qui vont pouvoir prendre encore plus d’avance. Il est difficile de suivre leur réutilisation mais les recherches de Sabina Leonelli et Louise Bezuidenhout sont très parlantes. Elles ont travaillé avec des scientifiques en Afrique : ces derniers, au lieu d’être aidées par des données de haute qualité produites par les pays occidentaux, craignaient au contraire de partager leurs propres données qui, de par leur expérience, seraient ensuite récupérées par les pays occidentaux. C’est tout l’inverse de ce que nous imaginons dans le monde parfait de la science ouverte : partager les données a plein d’avantages, mais cela pourrait contribuer à renforcer les inégalités dans la recherche.

« Parler de qualité et de rigueur plutôt que de reproductibilité reste plus productif à mon sens »

La recherche biomédicale semble très puissante dans la métascience. Au point d’imposer sa façon de penser ?

Il y a certes beaucoup de chercheurs dans ce domaine, qui est beaucoup plus financé que la plupart des autres représentés ici, notamment la psychologie. Les impacts de la recherche biomédicale ne sont pas non plus de la même magnitude : une mauvaise étude de personnalité peut faire échouer un entretien d’embauche, un essai clinique faux peut entraîner le décès de patients. Dans les années 1980, la recherche clinique a connu de nombreuses réformes et ces innovations ont eu des répercussions dans d’autres domaines. Le système des registered reports [nous vous en parlions, NDLR], par exemple, au départ développée pour les essais cliniques, est maintenant appliquée à de nombreux autres types de recherche. De leur côté, les psychologues ont mis en place des infrastructures clés comme le Center for Open Science [très influente dans le milieu de la métascience, NDLR]. La crainte que les solutions provenant d’une discipline soient mal appliquées à d’autres se retrouve de tous les côtés. La meilleure façon d’atténuer ces risques est de continuer à avoir une bonne représentativité de façon à ce qu’il y ait toujours quelqu’un pour souligner qu’une unique solution ne peut souvent pas s’appliquer dans tous les cas. Aujourd’hui, la majorité des participants au mouvement de la métascience semble en être conscients.

Peut-on reproduire les études en sciences sociales ?

Dans les études qualitatives, les chercheurs qui les mènent en sont un élément clé : ils ou elles sont subjectifs, influencent les relations humaines et introduisent donc des biais. De plus en plus, ils font état de leur positionnement – par exemple leur relation avec les personnes étudiées, ou leur genre – de sorte que les biais peuvent être mieux compris, mais jamais éliminés. Ainsi, plutôt que d’essayer de reproduire une étude et de s’attendre à obtenir les mêmes résultats, une meilleure pratique consiste à mener des études similaires par plusieurs chercheurs ayant des positionnements différents et de voir ce qui est commun et ce qui est propre à chaque chercheur. Parfois utilisées en ethnographie, ces études collectives sont très prometteuses. De manière générale, parler de qualité et de rigueur plutôt que de reproductibilité reste plus productif à mon sens.

« Une seule des 80 personnes que j’ai interviewées n’avait jamais rencontré ce problème [de reproductibilité] »

Des historiens, dont vous faites partie, critiquent parfois les métascientifiques en pointant qu’ils réinventent parfois la roue. Pourquoi ?

Lorsque ces questions de reproductibilité ont émergé vers 2011, la plupart de ceux qui s’en sont emparés étaient des chercheurs en psychologie et en biomédecine qui n’étaient pas au courant de tous les travaux existants en sociologie, en histoire ou en philosophie des sciences. Alors, quand celles et ceux qui étudiaient la science et la technologie depuis longtemps ont vu ces nouveaux venus attirer beaucoup d’attention et d’argent avec des projets tape-à-l’oeil, cela a évidemment créé certaines frustrations ! Réinventent-ils la roue ? Ils reprennent certes une partie du travail mais avec des méthodes et des objectifs différents… et les résultats ne sont pas tout à fait les mêmes.

Est-ce que leurs objectifs diffèrent, également ?

La majeure partie de la communauté de la métascience est partie d’un problème pratique : être capable de lire un papier et d’obtenir les mêmes résultats dans son laboratoire. Dans le cadre de mes recherches, j’ai interviewé des doctorants en biomédecine et presque tous ont témoigné d’échecs à reproduire des résultats publiés par d’autres ou obtenus précédemment dans leur équipe : une seule personne sur 80 n’avait jamais rencontré ce problème. Les échecs de réplication ont très souvent été mis sur le dos des doctorants, jusqu’à ce que certains chercheurs réalisent que, au moins certains cas, les publications originales étaient en fait erronées. Il fallait alors identifier les publications dont les résultats étaient vraiment impossibles à reproduire et les retirer de la littérature. Tout le monde peut s’entendre sur le fait que tenter de reproduire des résultats non reproductibles n’est pas une situation souhaitable.

« Des trois conférences Metascience auxquelles j’ai assisté, celle-ci est assurément la plus diverse »

Avec quelles conséquences pour les doctorants ?

Cela a un impact direct sur leur santé mentale – c’était l’une des principales conclusions de mon travail. Beaucoup ont abandonné leur thèse, craignant de ne pas être assez compétents,  à tel point que cela a pu avoir  des répercussions sur leur sommeil ou leurs relations sociales. Les étudiants font confiance à la littérature scientifique et se remettent systématiquement en cause. Donc, si vous encadrez des doctorants, expliquez-leur qu’il est possible que l’expérience ne fonctionne pas à cause d’une erreur dans l’article original. Le doctorat est déjà assez intense sur le plan émotionnel pour ne pas en ajouter. Et ces problèmes de reproductibilité ralentissent la science : le temps gâché à essayer de comprendre pourquoi les expériences ne fonctionnent pas comme prévu pourrait être mis à profit pour corriger la littérature scientifique.

Au global, la métascience contribue-t-elle à améliorer la science ?

Absolument. Les réformes basées sur les travaux des métascientifiques auront probablement des effets inattendus, comme celui que nous avons mentionné au sujet des données ouvertes. Les conséquences négatives sont cependant difficiles à prévoir et je ne pense pas que ce soit une raison pour ne pas mener les réformes. Nous devons faire de notre mieux avec les connaissances que nous avons entre les mains et évaluer continuellement. Des trois conférences Metascience auxquelles j’ai assisté, celle-ci est assurément la plus diverse : beaucoup de domaines et de méthodes sont représentés. Même si tout le monde n’est pas d’accord au sein de la communauté [notamment sur la définition même de la métascience, NDLR], les avoir tous dans le même espace est passionnant.