Science Europe représente une quarantaine d’institutions européennes (agence de financement). Pourquoi avoir attendu presque dix ans pour signer la déclaration Dora, qui date de 2012 ?
Le sujet de l’évaluation est central pour nous et les institutions que nous représentons. Signer Dora est une décision récente de notre conseil de gouvernance mais un certain nombre de nos membres sont déjà adhérents ou même soutiens actifs de Dora, en apportant des financements ou en participant à sa gouvernance. Du côté de Science Europe, la mise en œuvre des engagements de Dora échoue évidemment à nos adhérents — nous sommes une organisation faîtière qui ne réalise pas elle-même des évaluations scientifiques. Néanmoins, le sujet de l’évaluation scientifique est devenu central pour nous ces dernières années, parallèlement au lancement plus récent d’une autre initiative en Europe baptisée Coara [Coalition for Advancing Research Assessment, NDLR]. Deux initiatives qui ne sont d’aileurs pas concurrentes l’une de l’autre : Dora est mondiale, Coara européenne.
« Le monde abandonne progressivement les « metrics » uniquement quantitatives »
Marc Schiltz
Évaluer qualitativement les chercheurs, on en parle beaucoup. Certaines avancées ont eu lieu mais est-ce toujours l’affaire d’une minorité de convaincus ?
C’est un mode de pensée qui devient majoritaire, à mon sens. J’en veux pour preuve les 500 signatures de la charte Coara malgré le fait que cette initiative ait été lancée récemment [en janvier 2022, NDLR]. Les institutions signataires sont contraintes au changement. Cela démontre qu’elles sont prêtes, tout particulièrement les financeurs de la recherche. Mais pas seulement : notre association avec l’EUA [European University Association, le lobby européen des universités, NDLR] montre que la situation évolue également dans les universités.
Peut-on parler de révolution de l’évaluation ?
Le terme de révolution ne me plait pas : tout n’est pas noir et blanc. L’évaluation telle qu’elle était pratiquée auparavant n’était pas intrinsèquement mauvaise mais nous sommes aujourd’hui tous d’accord pour affirmer que l’accent a été trop mis sur un seul type de production scientifique — les publications —, qui ont été « metricées » de manière trop poussée. Il faut diversifier l’évaluation pour mieux rendre compte de la diversité de la vie des chercheurs. C’est donc plus une évolution qu’une révolution.
À quel moment estimez-vous que vos objectifs seront atteints ?
À la différence de Dora, Coara demande aux institutions de rendre des plans de mise en œuvre, qui sont examinés et nous permettent de mesurer leur avancement, sans leur intimer quoi faire. Nous devons apprendre des uns des autres, sans uniformiser les pratiques. Coara n’est pas le gendarme de l’évaluation : les chercheurs ont par ailleurs leur mot à dire en mettant en œuvre les recommandations au sein des comités de sélection.
« C’est dans les sciences « dures » que le bouchon a été poussé un peu trop loin, tout particulièrement en sciences de la vie »
Marc Schiltz
Parlons des chercheurs justement. Si l’institution fait sa mue, qu’en est-il de leur côté ? Il est parfois bien pratique de se reposer sur des “metrics” pour évaluer un dossier…
Je représente les agences de financement donc mon propos sera peut-être anecdotique mais je constate qu’au sein des comités, on entend moins souvent aujourd’hui des phrases comme « Il [ou elle, NDLR] a publié trois papiers dans Nature, Science ou Cell, il doit être bon… ». C’est devenu presque de mauvais ton de le faire, c’est frappant. À mon sens, l’utilisation des « metrics » a elle aussi considérablement diminué même si elles peuvent avoir leur intérêt à condition de les considérer comme une info parmi beaucoup d’autres.
La France est-elle en avance ?
Trop tôt pour effectuer des classements mais l’Agence nationale de la recherche est un des moteurs de ce changement, tout comme un certain nombre d’universités françaises, qui ont adhéré à Coara.
Cette poussée vers le qualitatif est-elle mondiale ou seulement européenne ? Comment se comportent les Américains ou les Chinois ?
Le monde abandonne progressivement les « metrics » uniquement quantitatives. L’an dernier le gouvernement chinois a incité ses universités à ne plus évaluer leurs chercheurs en se basant uniquement sur des publications parues dans des revues « de prestige ». C’est pour moi un signal important. Le cas américain est différent, le paysage étant plus fragmenté entre agences de financement [comme la National Science Foundation, NDLR] et des fondations privées. Ces dernières, comme le Howard Hughes Institute ou la Fondation Bill & Melinda Gates, sont aux avant-postes sur la science ouverte ou la réforme de l’évaluation ; ces pratiques se diffusent également dans les universités. Je vous rappelle que Dora est une initiative qui est partie des États-Unis, plus exactement de la communauté des microbiologistes. Ce n’est donc pas une nouveauté dans ce pays et elle a entraîné une prise de conscience : la valeur d’un scientifique ne peut se résumer à une poignée de chiffres.
« Une publication n’est pas un « Bon point » utile à la progression de carrière. Nous devons corriger ces excès
Marc Schiltz
Pour tous ces sujets, les sciences sociales ne sont-elles pas laissées de côté ?
C’est dans les sciences « dures » que le bouchon a été poussé un peu trop loin, tout particulièrement en sciences de la vie, où le prestige de la revue a été un critère prédominant. En sciences humaines, c’est certainement moins le cas, d’autant que les modes de production scientifique sont différents, notamment grâce la publication d’ouvrages. Les pratiques varient grandement au sein des disciplines de sciences humaines, certaines communautés disposent de listes de journaux classés A, B ou C.
Finissons par la science ouverte, notamment le plan S. Cette initiative d’ampleur visant à ouvrir les publications financées sur fond public a cette année cinq ans. Quel bilan en tirez-vous ?
La proportion de publications en accès ouvert est en croissance constante, elle dépasse 80% dans certains pays. Quand on compare ces taux à ceux de 2018, on peut dire que c’est un grand succès. Les maisons d’édition ont été forcées de changer leur modèle en proposant des options en accès ouvert. Nous n’avons pas voulu prendre position pour une modalité plutôt qu’une autre, chacun a donc pu faire ses choix. Science propose par exemple le « green open access » — le dépôt du manuscrit final sans embargo dans une archive ouverte —, Nature a de son côté choisi de mettre en place un open access contre paiement [l’annonce en 2020 avait fait réagir, NDLR]. Les éditeurs ont bougé parce qu’ils y ont été obligés, cela n’avait rien d’évident au départ car de grands intérêts financiers sont en jeu. Nous devons rester fermes. L’Union européenne veut promouvoir un accès ouvert non payant pour les chercheurs, ce qui est un des grands principes du Plan S.
« Quand les excès seront corrigés, le prestige des journaux en sera certainement diminué »
Marc Schiltz
9000 $ pour acheter l’open access d’un papier, comme l’a proposé Nature, ce n’est donc pas ce que vous souhaitez ?
Il faudrait pouvoir justifier un prix aussi élevé d’autant que les coûts doivent être à la charge des institutions, pas des chercheurs. Pour autant le prix doit rester raisonnable. La somme demandée par Nature est exagérée pour un travail qui, pour l’essentiel, est fait par les chercheurs eux-mêmes, que ce soit le peer review ou, parfois, la mise en page. Dans ce cas, la valeur ajoutée de la maison d’édition reste à être démontrée.
Cela revient-il à dire que la valeur d’un éditeur scientifique est sa marque, sa renommée, plus que sa compétence intrinsèque ?
Bien évidemment, les maisons d’édition jouent sur leur marque. C’est pour cette raison que nous voulons revenir à l’essentiel : un papier scientifique est là pour communiquer des résultats aux autres chercheurs et plus largement au monde de la recherche. Rendre cet accès payant n’est fondamentalement pas compatible avec l’éthique scientifique. Une publication n’est pas un badge ou un « brownie point » [un bon point, NDLR] utile à la progression de carrière. Nous devons corriger ces excès. Quand ce sera le cas, le prestige des journaux en sera certainement diminué et, si prestige il y a, il se basera sur des critères de qualité et pas seulement de sélectivité, deux termes qui ne sont pas synonymes.
« Les connaissances doivent circuler librement sans que le lecteur ni le chercheur ne paient »
Marc Schiltz
Peut-on raisonner de la même manière pour les publications et pour les livres, notamment en sciences sociales ?
La problématique du livre est différente. Dans certains cas, le travail éditorial est beaucoup plus important que dans les publications. CoalitionS a publié l’année dernière ses lignes directrices pour les ouvrages. Après discussion avec des chercheurs, notre position est plus mesurée : ces embargos peuvent se justifier, tout comme des licences plus restrictives que le CC-BY même si nous privilégions la voie d’accès diamant. Les connaissances peuvent ainsi circuler librement sans que le lecteur ni le chercheur ne paient, seulement les institutions de financement… à condition que les coûts soient raisonnables. Certaines publications demandent jusqu’à 10 000 euros, un montant qui permettrait dans certains pays de rémunérer un doctorant pendant plusieurs mois.