Pourquoi les classements font toujours la loi

Shanghai, Leiden, QS, THE… La période des classements se termine. Avec une question lancinante : les universités doivent-elles continuer à tout faire pour y tenir leur rang ?

— Le 11 octobre 2023

Entre nous. Nous sommes le 7 septembre dernier dans un amphithéâtre de l’Institut Curie à Paris au sein duquel se sont réunis de nombreux experts hexagonaux des classements universitaires. Au menu du jour : le rayonnement de la France dans les “rankings” de Shanghai et de Leiden, dont les représentants respectifs se sont déplacés pour en vanter les mérites. Le tout sous l’égide de la société Clarivate analytics, co-organisatrice de l’événement. Il  n’y a pas de hasard : cette multinationale opère notamment le Web of science et le Journal of citation reports, fournissant à Shanghai et Leiden tout ou partie de la “data” dont ils ont besoin pour classer les universités mondiales. Leurs concurrents (THE, QS) ayant recours à d’autres sources comme Scopus (Elsevier), ainsi que de celles récoltées directement auprès de l’écrasante majorité des établissements qui acceptent de jouer le jeu. Parfois à leur corps défendant.

« Les classements sont un non-sujet pour beaucoup de présidents mais un sujet pour les politiques et les médias »

Dean Lewis, président de l’université de Bordeaux

Tableau d’honneur. Avec ceux édités par Times Higher Education (THE) et son demi-frère jumeau QS (Quacquarelli Symonds), Shanghai et Leiden constituent donc tous les ans la quadrature du cercle des universités : les promus se vantent, les éconduits se taisent au fur et à mesure de la divulgation des résultats dans ce qu’il est convenu d’appeler la “rentrée des classements”. Une période qui commence en juin et juillet avec Leiden et QS, culmine mi-août avec le plus médiatique — Shanghai — et se clôt le 27 septembre avec la parution du THE. Et la France a cette année encore tenu son rang dans le concert des nations de la recherche dominé de la tête et des épaules par la Chine, les Etats-Unis et, dans une moindre mesure, le Royaume-Uni. Malgré la stabilité des universités françaises — les critères chinois étant fixes, le classement évolue peu — la parution du classement de Shanghai cette année a pourtant réservé quelques surprises.

Insu du plein gré. En effet, pas moins de sept erreurs s’étaient “glissées” — non prise en en compte de médailles Fields ou de Highly cited researchers… — dans les premiers résultats publiés mi-août suite à un problème dans les datas envoyées sous embargo aux journalistes quelques heures avant publication pour préparer la couverture de l’événement. Gêné aux entournures, le Shanghai ranking n’a publié ni explication ni correctif malgré des remous en interne, comme nous l’a attesté une source proche du dossier. La représentante de l’institution chinoise présente le 7 septembre dernier à l’Institut Curie n’était pas habilitée à parler à la presse. Si les arguties sont légion dans les classements — notamment l’attribution des prix scientifiques, comme le Nobel —, tout ce qui touche à Shanghai a une importance toute particulière.

« Concevoir un classement transparent n’est pas un rêve »

Ludo Waltman, Leiden

Corps défendants. Très oecuménique, le ministère de la Recherche a tenu à honorer la place de ses établissements dans chacun des classements (Leiden, Times higher education, QS, Shanghai). Mais le seul tweet présidentiel sur le sujet a été émis au moment de la divulgation du classement de Shanghai le 15 août dernier, traduction s’il en fallait du poids qu’il représente toujours pour les gouvernants. Pourtant, à écouter Dean Lewis, président de l’université de Bordeaux, ce serait « un non-sujet pour beaucoup de présidents mais un sujet pour les politiques et les médias ». Les premiers n’hésitent pourtant pas à le brandir en cas de menaces, comme encore le 20 septembre dernier lors d’une conférence de l’Udice par la voix de Jannick Brisswalter, président de l’université de Nice : « La France va perdre de son attractivité à l’international au classement de Shanghai ». Ce, au moment où l’État voulait ponctionner les fonds de roulement des universités (relire notre analyse sur le sujet).

Imperium. Voilà en somme pourquoi nombre de critiques veulent les déboulonner : « En créant des indices qui grossissent des différences infimes entre les établissements, [ces classements] présentent leurs données de manière inadéquate », pointaient récemment deux chercheurs sur le blog de la London school of economics, en proposant leur propre relecture du système (publication consultable ici). Mais, y compris du côté des universités, il ne se trouve que quelques convaincues pour contester leur hégémonie, comme tout  récemment l’université d’Utrecht qui a fait le choix courageux mais un peu solitaire de ne pas confier ses datas à Times Higher Education et d’ainsi sortir de son classement. Six instituts de technologie indiens ont également fait le choix depuis quatre ans de boycotter THE et on se rappelle de l’oukase de trois grandes universités chinoises qui étaient sorties à grand bruit des classements en 2022. Par ailleurs, toujours en 2022, l’initiative « More than our rank », qui voulait renverser l’ordre établi, ne compte aujourd’hui que treize universités signataires, malgré un soutien institutionnel conséquent (Science Europe, European University Association…)

Faut-il ne rien changer à ces classements, les réformer ou les abolir ? 

La résistance. Force est donc de constater qu’il ne s’agit que de dissidences dans un système politico-économique qui continue de les adouber. Malgré tout, les Pays-Bas, dont toutes les universités sont pourtant plutôt bien classées à l’international, servent de fer de lance à ce combat. Pour trois raisons, détaillées dans ce thread sur X (ex-Twitter) : la compétition induite entre établissements, l’impossibilité pratique de mesurer leur qualité intrinsèque et enfin, last but not least, les problèmes méthodologiques dont les “rankings” souffriraient. Le classement de Leiden, porté par l’université éponyme et censément le plus vertueux de tous, innovera en 2024 en proposant un ranking entièrement basé sur des données ouvertes. « Concevoir un classement transparent n’est pas un rêve ; CWTS est en train de préparer une nouvelle version », veut croire Ludo Waltman, directeur du Centre for Science and Technology Studies (CWTS) en charge du classement néerlendais. 

Ni oui Ninon. Revenons une dernière fois dans l’amphithéâtre de l’institut Curie le 07 septembre dernier. Ludo Waltman, d’humeur badine et provocatrice, a posé une question à la cantonade dans l’assistance en proposant trois choix : faudrait-il ne rien changer à ces classements, les réformer ou les abolir ? L’écrasante majorité des congressistes — chercheurs, bibliomètres… — choisit l’option médiane, une seule main se levant en faveur de leur disparition… et une également en faveur de leur maintien tel quel, en la personne de Lihui Liao, représentante du classement de Shanghai au colloque. Un vote informel qui tend à prouver que les classements sont le pire système… à l’exception de tous les autres.

Le casse-tête français

Ha les Unités mixtes de recherche (UMR) ! Si vous vous arrachez parfois les cheveux pour déclarer vos multiples affiliations, au prix d’une signature kilométrique, sachez qu’il en va de même pour celles et ceux chargés d’établir les classements internationaux, comme ils en ont témoigné le 07 septembre dernier. Le chercheur Ludo Waltman assure que, quand il s’agit de trier les données de chaque pays, « la France nous prend autant de temps que tous les autres pays du monde réunis », à cause de la structuration très particulière de sa recherche. Même son de cloche du côté de Shanghai : « nous consacrons beaucoup d’efforts à identifier les affiliations des universités françaises, surtout depuis les fusions. Certains établissements nous ont contacté pour expliquer leur cas et nous leur avons demandé des documents en retour », explique Lihui Liao. On se rappelle que la ministre de la Recherche Frédérique Vidal avait dû faire le déplacement jusqu’à Shanghai en 2020 pour plaider la cause des nouveaux établissements dans le classement chinois. « Avec tous les changements qu’il y a, c’est un vrai challenge », conclut la représentante chinoise.

À lire aussi dans TheMetaNews

Quand ChatGPT tient la plume

Écrire vos publis avec l’aide de ChatGPT ? Certains jetteront des regards outrés mais le fait est que la pratique se répand dans la littérature scientifique. Un an et demi après le lancement de l’intelligence artificielle (IA) générative par l’entreprise OpenIA, les...

Aller au labo en vélo

Vos collègues cyclistes sont unanimes : la petite reine – un surnom du vélo qui vient de la reine des Pays-Bas Wilhelmine – a grandement amélioré leur qualité de vie. Si certains inconditionnels pédalent depuis toujours, d’autres s’y sont mis plus récemment : l’année...

La longue odyssée d’Odyssée

Aujourd’hui, en recherchant “odyssée” sur internet, la première occurrence que vous renverra Google est peut-être comme chez nous une plateforme de vidéos avec des contenus complotistes. Ce sera bientôt, si tout va bien, votre nouvelle plateforme pour candidater aux...