Vous avez chacun votre objet de recherche : un virus, un trou noir, une période de l’histoire ou un groupe social. Mais certains de vos collègues ont choisi un objet qui vous surprendra peut-être : vous. Ils sont sociologues, bibliomètres, chercheurs en sciences de l’information et de la communication, ethnographes, informaticiens ou même médecins et scrutent le monde académique. Science of science, research on research, metascience… Les appellations de la discipline sont multiples et changent selon les modes. Deux chercheuses du domaine, Chérifa Boukacem-Zeghmouri, professeure à l’Université Claude Bernard Lyon 1 en sciences de l’information et de la communication, et Frédérique Bordignon, chargée des indicateurs bibliométriques à l’École nationale des ponts et chaussées ont choisi de n’oublier personne en organisant le bien nommé colloque Métascience, Recherche sur la Recherche et Science Ouverte en Dialogue. Entièrement en français, celui-ci avait lieu vendredi 15 novembre 2024 à Lyon, attirant des participants de la France entière et même du Québec. Nous y étions.
« Pour les détectives, l’image de la littérature scientifique est très pure : elle doit être parfaite et dire la vérité. »
Mady Malheiros Barbeitas
Comme de l’eau de roche. Pourquoi “métachercher” ? Tout d’abord pour dénoncer les mauvaises pratiques et les faire évoluer, parfois au sein de sa propre discipline. Clara Locher, pharmacologue au CHU de Rennes, et Florian Naudet, professeur à l’Université de Rennes et praticien au sein du même hôpital que sa consœur, se sont fait connaître au moment de la Covid en signalant les dérives de l’IHU de Marseille. Dans une étude publiée en 2022, les deux scientifiques rennais — entre autres — révélaient ainsi au grand jour le népotisme au sein de certaines revues pour lesquelles jusqu’à 40% des publis étaient signées par le même auteur. Un phénomène observable dans la revue New Microbes and New Infections, dont l’éditeur était un proche de Didier Raoult, comme le soulignait Science mag. D’une manière plus générale, Clara Locher et Florian Naudet scrutent les méthodes de leurs collègues dans le domaine de la recherche clinique et leurs pratiques en termes de science ouverte, pointant toujours le même problème : le manque de transparence.
Soft power. L’objectif est aussi d’influer sur les politiques de recherche pour rendre la science plus fiable. Florian Naudet a co-introduit la journée en présentant l’initiative européenne Global Research Initiative on Open Science visant à « informer les politiques de science ouverte par la recherche », peut-on lire sur le site dédié. « Les méthodes de science ouverte peuvent-elles améliorer la reproductibilité ? Nous faisons l’hypothèse que oui mais il faut le démontrer », nous expliquait Florian Naudet lors d’une interview en juin dernier. Il participe ainsi à un projet européen de recherche baptisé Osiris, s’appuyant sur des protocoles inspirées de sa propre discipline.
« En dix ans, on est passé des faceless judges aux chevaliers blancs »
Catherine Guaspare
Critique. Relancé dans les années 2000 par des praticiens de la recherche en médecine ou en psychologie inquiets de la “crise de la reproductibilité”, notamment le professeur à Stanford John Ioannidis et son fameux Why Most Published Research Findings Are False téléchargé des millions de fois, ce mouvement de la métascience ne fait pas l’unanimité : « La question de la reproductibilité est étudiée depuis les années 1970 en sciences humaines et sociales, une littérature qui est aujourd’hui complètement ignorée », nous confiait récemment l’historien des sciences Alexandre Hocquet, non présent au colloque. D’autant plus que la majorité des nouveaux “métachercheurs” arrivent avec leurs propres méthodes – principalement statistiques – et, aux yeux de certains, considèrent la science comme un objet monolithique, imposant leur vision et balayant au passage les spécificités disciplinaires… Mais ce 15 novembre à Lyon, une excellente entente régnait entre tous ces participants d’horizons variés.
Souterrain. La deuxième session donnait justement la parole aux sciences humaines et sociales. Les sociologues Michel Dubois et Catherine Guaspare y présentaient non pas leurs enquêtes sur l’intégrité scientifique menées au CNRS et à l’Inserm (nous avions traité de l’une et de l’autre) mais une étude bien plus ciblée sur les détectives scrutant les publications scientifiques à la recherche de fraudes. « En dix ans, on est passé des faceless judges, comme Paul Brookes qui se faisait passer pour une femme sur Pubpeer, aux chevaliers blancs dont les portraits s’affichent dans le Monde », lance Catherine Guaspare en introduction. « Le sentiment d’une crise de confiance envers la science, révélé par nos enquêtes, exacerbe la visibilité et le rôle de ces détectives », complète Michel Dubois. Mais qui sont ces vengeurs masqués (ou pas) ? Spécialiste de la détection d’images manipulées, Elisabeth Bik est une des rares à avoir quitté le monde académique pour devenir consultante (nous l’avions interviewée). Mais la plupart de ses acolytes jouent aux détectives en dehors de leur temps de travail et se retrouvent sur un Slack pour échanger sur leurs prises. Le “collège invisible”, comme il se nomme lui-même, compte aujourd’hui une centaine de membres.
« Les méthodes de science ouverte peuvent-elles améliorer la reproductibilité ? Nous faisons l’hypothèse que oui mais il faut le démontrer »
Florian Naudet
Cobaye consentant. Et puisqu’ils ne sont pas légion, il est logiquement encore plus rare qu’ils fassent eux-mêmes l’objet d’une étude. C’était pourtant le cas ce 15 novembre avec la présence dans l’auditoire de certains des détectives cités, dont Guillaume Cabanac, devenu le sujet d’étude de l’ethnographe Mady Malheiros Barbeitas. Si vous l’ignorez, l’enseignant chercheur en informatique à l’université de Toulouse 3 est devenu une référence mondiale dans l’identification d’articles bidons générés tout ou partie par des machines (nous l’avions interviewé avec avec son collègue Cyril Labbé) en co-développant le Problematic Paper Screener. Récité d’un accent chantant, le récit ethnographique de Mady Malheiros Barbeitas était incroyable à entendre. Pourtant, elle ne narrait pas son immersion au fin fond de l’Amazonie mais son excursion dans le bureau de Guillaume Cabanac, l’observant traquer les publications problématiques en compagnie d’un de ses collègues. Avec force détails : avant de publier sur X (ex-Twitter) en taggant bien évidemment la revue et ses éditeurs, l’informaticien choisit avec soin les émojis, nous raconte l’anthropologue. « Contrairement au mouvement métascience, les détectives – ou sleuth en anglais – n’ont pas pour objectif de changer les pratiques scientifiques ni de devenir une bureaucratie », analyse Mady Malheiros Barbeitas. Ils s’amusent, apprécient pour certains la visibilité médiatique, mais ne veulent pas édicter de normes. « Leur image de la littérature scientifique est très pure : elle doit être parfaite et dire la vérité. »
« Depuis des siècles, on râle tel le grand-père de la famille Simpsons : “il y a trop de papiers !” Mais dans quelle mesure ? »
Paolo Crosetto
Drame antique. Le troisième acte du colloque était consacré aux approches bibliométriques. Analysant les bases qui indexent les productions scientifiques et leurs métadonnées (on reste évidemment dans le méta), l’économiste Paolo Crosetto – qui organisait également les replication games en juin dernier, relire notre papier – s’est converti récemment à la discipline. « Depuis des siècles, on râle tel le grand-père de la famille Simpsons : “il y a trop de papiers !” Mais dans quelle mesure ? » Le chercheur à Inrae a trouvé sur Twitter des collègues partants pour analyser le système de publication et leur étude récemment publiée dans la revue Quantitative Science Studies a fait le tour des blogs et rédactions, y compris à TheMetaNews, avec ce constat choc : le nombre de publications augmente plus vite que le nombre de chercheurs – un problème de taille pour retrouver des reviewers. L’économiste présentait ensuite cinq indicateurs pour évaluer la pression s’exerçant sur les éditeurs : des temps de relecture raccourcis au maximum ou des taux de rejet proches de zéro. Deux signes d’une dégradation de la qualité de la revue qui s’observent notamment chez des éditeurs comme MDPI ou Frontiers (relire notre analyse).
« Et si l’on se débarrassait des affiliations ? Plus d’affiliations (…) plus de problèmes ! »
Yves Gingras
Shanghai fort et vert. Les bibliomètres sont parfois eux-mêmes pressés par leurs institutions qui veulent progresser dans les classements internationaux en s’appuyant sur les indicateurs individuels de leurs chercheurs ou de ceux qu’ils espèrent débaucher : « Si on me demande dix fois le h-index d’un chercheur, dix fois je réponds que ce n’est pas un bon indicateur », explique Frédérique Bordignon depuis le public. Et puisqu’il n’y a pas que le “quanti“ dans la vie, certains comme Lauranne Chaignon, ingénieur bibliomètre à PSL et doctorante en sociologie, vont interroger les concepteurs des fameux Highly cited researchers (HCR) : « Créée dans les années 1980, la liste était une base avec des informations biographiques, utilisée par les chercheurs eux-mêmes ».
Foin des affiliations ? Les choses ont bien changé : cet indicateur qui rentre dans le calcul du classement de Shanghai devient la cible de nombreuses manipulations : « Environ 1000 chercheurs ont été exclus du classement en 2023, plus de 2000 le seront pour l’édition 2024 qui paraîtra dans quelques jours », nous annonçait Lauranne Chaignon en avant première (la liste a été publiée le 19 novembre). Alors comment soigner le système et soulager les chercheurs de la pression à la publication ? Le sociologue Yves Gingras qui animait la session a tenté une proposition volontairement provocante (nous avions également observé ce trait de personnalité lors de notre interview) : « Et si l’on se débarrassait des affiliations ? Plus d’affiliations, plus de classements, et donc plus de problèmes ! » Est-ce aussi simple ? On attend que les métachercheurs se penchent sur la question.