Que serait Didier Raoult sans le Sigaps (Système d’interrogation de gestion, d’analyse des publications scientifiques) ? Certainement pas le mandarin que ce système mis sur pied en 2004 lui a permis de devenir grâce sa bibliographie titanesque — plus de 3000 publications à ce jour. La personnalité outrancière et l’énorme score Sigaps de l’intéressé, le premier de France, ont traversé les débats lors d’un colloque organisé par l’Office français de l’intégrité scientifique (Ofis) le 20 mars 2024* pour tenter de faire la lumière sur ce que beaucoup considèrent comme une aberration bien française. Car, si de très nombreux indicateurs bibliométriques plus ou moins frustes (h-index dont nous avions interviewé le père, impact factor) émaillent la vie de la recherche, aucun ne semble avoir d’impact aussi direct que le score Sigaps sur la vie d’un chercheur, d’une unité ou d’un établissement.
« J’ai connu les évaluations au doigt mouillé, un scoring était devenu nécessaire »
Didier Samuel, Inserm
Retour vers le futur. Historiquement, la raison d’être du Sigaps trouve son origine dans le financement des centres hospitalo-universitaires avec une enveloppe de 1,9 milliards d’euros, baptisée Merri, dont les deux tiers sont distribués en fonction de ce Sigaps. Coincée entre le soin et l’enseignement, les publis sont historiquement mises de côté par les “HU”. Pour “booster” la recherche, le ministère de la Santé voulait pouvoir tracer leur activité et payer sur “facture”, en quelque sorte. Cette situation a entraîné la mise en place de cette “tarification à l’activité bibliométrique”, en référence à la tarification à l’activité (T2A), mise en place en 2004 et honni par une bonne partie du monde hospitalier – relire également notre court décryptage de 2020. « Les points Sigaps de Didier Raoult ont certes rapporté beaucoup d’argent à l’AP-HM [11 millions par an, selon l’intéressé, NDLR] mais je ne suis pas sûr que cela soit satisfaisant, euphémise Alain Fischer, président de l’Académie des sciences. Ce dernier compare la situation du professeur marseillais avec celle du pharmacien et chimiste Pierre Potier, découvreur de deux anticancéreux majeurs, la navelbine et le taxotère, décédé en 2006 : dans le système actuel, ses quelques 100 publications dans des revues reconnues ne lui auraient pas permis d’atteindre la barre des 400 points nécessaire pour devenir professeur (heureusement pour lui, il était chercheur au CNRS). Didier Samuel, PDG de l’Inserm se rappelle : « J’ai connu les évaluations au doigt mouillé, un scoring était devenu nécessaire — le Sigaps tentait alors d’être objectif. Cependant, évaluer les établissements et les individus sont deux choses différentes […] et chaque scoring finira par être détourné, il faut être réaliste ».
Sigaps cognitif. Une discussion avec l’un de vos collègues hospitalo-universitaire vous le confirmera : l’évolution de leur Sigaps dicte en grande partie leur carrière. En effet, toute promotion au rang de maître de conférence hospitalo-universitaire (MCU) ne peut se faire dans leur idée qu’à partir de 200 points, celle au rang de professeur nécessitant à minima 400 points. La belle affaire, direz-vous. Premier problème : aucun écrit officiel ne vient accréditer ces seuils, pourtant gravés dans tous les cerveaux — et de très nombreuses commissions du Conseil national des universités (CNU) chargées de ces promotions. « Ces seuils de 200 et 400 ont été inventés par un conseiller ministériel », assurait le 20 mars Bertrand Godeau, spécialiste de médecine interne au CHU Henri Mondor et président du CNU-Santé, section 53. Sur un coin de table, en somme. De sources concordantes, Yves Lévy, ex PDG de l’Inserm, les aurait actés ex nihilo pour écarter certains dossiers jugés trop peu fournis en publis. Il faut dire qu’historiquement, les hospitalo-universitaires, tiraillés entre le soin, l’enseignement et la recherche publient peu. « Cela nous a mis un coup de pied aux fesses », résumait trivialement Bertrand Godeau au colloque. Soit.
« Les [points] Sigaps utilisés dans l’évaluation individuelle n’étaient pas une dérive mais une conséquence inévitable »
Serge Bauin, CNRS
Erreur de jeunesse. La problématique au moment de la création du score Sigaps était donc de “booster” la recherche au sein des CHU en allouant des financements proportionnels à l’intensité de publication, assurait Arnold Migus, de l’Académie nationale de médecine mais les dérives n’ont pas tardé, en glissant sur l’évaluation individuelle des chercheurs. Une sorte d’exception culturelle française, voire « médico médicale », comme le résume Pierre Corvol, de l’Académie des sciences, dans un monde de la recherche qui glisse pourtant vers de meilleures pratiques d’évaluation, comme le CV narratif. « Les [points] Sigaps utilisés dans l’évaluation individuelle n’étaient pas (…) une « dérive » (…) mais bel et bien une « conséquence inévitable : si on évalue ou finance une organisation sur la base d’un indicateur, l’organisation recrutera et promouvra ses employés sur la base de ce même indicateur », assène Serge Bauin, ingénieur de recherche CNRS et spécialiste des publications scientifiques, en réaction au colloque du 20 mars. Le fait est que ces seuils peuvent aussi servir à écarter des candidats malheureux qui se poseraient la question fatidique : « pourquoi pas moi ? ». Cette exception, beaucoup veulent donc l’abolir aujourd’hui. Reste à savoir comment, tant leur utilisation est devenue culturelle à l’hôpital.
Haro mais pas trop. C’est entendu, tout le monde ou presque connaît par cœur son Sigaps — « 800 environ », pour l’actuel PDG de l’Inserm Didier Samuel, interrogé sur le sujet. « Publier dans Nature ou le New England Journal of Medecine, ça prend trois ou quatre ans alors que dix articles dans des revues moins prestigieuses prend moins de temps et est au final plus rentable, le biais est là », assure-t-il. Comment alors revenir à la normale tant le Sigaps est entré dans les mœurs derrière les murs des hôpitaux ? Là est la question aujourd’hui… et la tendance générale semble être à ne pas jeter le bébé avec l’eau du bain. « Je serais bien heureux qu’on ait une conclusion claire sur l’utilisation de Sigaps mais on ne va pas l’effacer d’un jour à l’autre. Des présidents de CNU nous ont montré qu’on pouvait en faire une utilisation intelligente et pondérée », assure Pierre Corvol. Pour Bruno Riou, doyen de la Faculté de santé de Sorbonne Université, il faut, malgré sa robustesse, « l’écarter de toute évaluation individuelle ainsi que tous les indices bibliométriques identiques (…) j’ai déjà fait bouger les choses au sein de ma faculté et du CNU médecine d’urgence ». « On a introduit, comme de nombreuses sections de CNU, une visite sur site pour vérifier qu’on ne va pas nommer un psychopathe, un asocial qu’on va traîner pendant les trente prochaines années », ajoute-t-il sans fards. Tout en précisant que le Sigaps, un Sigaps modifié ou un autre indicateur à inventer resteront utiles pour l’évaluation des équipes et des établissements, histoire d’allouer les moyens.
« On a instillé le doute chez les plus jeunes »
Manuel Tunon de Lara
La vie dure. « Il faut basculer sur une autre évaluation que les CNU savaient faire avant, sans score Sigaps, c’était le cas à mon époque », se remémore Manuel Tunon de Lara, ex-président de France Université, aujourd’hui chargé d’un rapport sur la réforme de la recherche biomédicale dont la sortie est attendue pour avril 2024. « On a instillé le doute chez les plus jeunes sur la finalité de la recherche et l’utilisation de cet indicateur (…) La mesure de la qualité est possible dans le cadre d’une évaluation globale du candidat mais du point de vue des directions hospitalières, pour la répartition des besoins, les indicateurs sont utiles ». Le score Sigaps fera donc semble-t-il de vieux os sous une forme ou une autre. « J’ai à titre personnel évolué sur cette question », précisait Alain Fischer le 20 mars, lui qui le vouait aux gémonies il y a encore quelques mois (nous l’avions interviewé). La réponse semble être entre les mains du Hcéres : « Ce dossier est crucial pour le Hcéres qui est en train de structurer son activité dans la santé », assure Stéphane Le Bouler, qui dirige par intérim l’institution. Et, à Lille et à Amiens, le financement des CHU a déjà évolué, assure le ministère de la Santé… mais il semble qu’une réforme ambitieuse du Sigaps soit aujourd’hui bien théorique. C’est au pied du mur qu’on voit mieux le mur.
* Toutes les citations de cet article sont tirées du colloque de l’Ofis “Quel avenir pour le score SIGAPS ?”, qui s’est tenu le 20 mars en leurs murs.
Calculs d’apothicaires
Tout est affaire de chiffre : le score maximal qu’un chercheur peut obtenir pour une publication donnée est de 14 points depuis 2021 — rappelons qu’il en faut officieusement 200 pour devenir maître de conférences, 400 pour devenir professeur — affecté d’un coefficient multiplicateur en fonction de la position dans les signataires, les premières et dernières places étant les plus “rémunératrices”. Le maximum de points correspond à un papier placé dans une des six revues majeures (les A+) recensées par Sigaps, un travail de parfois plusieurs années pour un seul papier, fut-il excellent. La tentation est donc grande de “saucissonner” ses publications, comme en témoignait Louise Benoit, cheffe de clinique en chirurgie à l’Hôpital européen Georges-Pompidou, pour les publier dans des revues de moindre importance… et cumuler les points en vue d’une promotion. Comme le montraient Pierre Corvol et Bruno Riou dans cette analyse, le système tel qu’il est conçu actuellement permet théoriquement de publier dans des revues peu regardantes, de rétracter les papiers… et de profiter d’un double comptage des points, une rétraction comptant comme une nouvelle publi. L’éditon scientifique « est passé(e) d’un monde de Bisounours à une piscine pleine de requins en vingt ans, c’est dramatique », analyse Bruno Riou, dénonçant la pléthore de revues médiocres « aux processus et citations totalement dévoyés » ayant envahi le marché depuis les années 2000.