Quel avenir pour le score SIGAPS ?
Enjeux pour l’évaluation et le financement de la recherche biomédicale en France
Le mercredi 20 mars 2024, le Haut Conseil de l’évaluation de la recherche et de l’enseignement supérieur (Hcéres) et l’Office français de l’intégrité scientifique (Ofis) ont réuni les principales parties prenantes du monde de la recherche biomédicale française pour débattre des évolutions souhaitables de l’indicateur bibliométrique SIGAPS.
La presse en parle :
- Victor Garcia in L’Express, 25 mars 2024
- Laurent Simon in ThemetaNews, 27 mars 2024
- Anne Roy, in AEF Info, 21 mars 2024
- Newstank, 27 mars 2024
- Pia Hémery in Hospimedia, 25 mars 2024
Les usages actuels de cet outils sont en effet au cœur de tensions entre des attentes en matière d’intégrité scientifique « publier moins et mieux » et des critères d’évaluation qui, encore trop du côté du « publish or perish », incitent à des pratiques fâcheuses.
Or, aujourd’hui de nombreuses institutions scientifiques se sont engagées en faveur d’une évaluation plus qualitative et multidimensionnelle. Dans un objectif de mise en cohérence des attentes à l’égard des chercheuses et chercheurs, le Hcéres et l’Ofis ont invité les principaux acteurs concernés à analyser ensemble les effets du recours à SIGAPS et à réfléchir aux évolutions possibles en matière d’allocation des ressources et en termes d’évaluation de la recherche en santé.
L’Ofis et le Hcéres retiennent en particulier du colloque :
- Le constat partagé que les usages actuels de SIGAPS incitent à une course au score via des pratiques de publication problématiques (multiplication d’articles de moindre qualité, publication de plusieurs articles au lieu d’un avec la même étude, stratégie d’embellissement ou de sélection des résultats à publier, etc.) ;
- L’appel, très largement partagé, à abandonner l’usage de SIGAPS pour évaluer les carrières individuelles des chercheuses et chercheurs hospitalo-universitaires ;
- La nécessité, quand on utilise SIGAPS, de veiller à la qualité des bases de publications prises en compte dans le calcul du score, en particulier pour qu’elles ne soient pas infiltrées par des revues prédatrices. La diffusion de la liste des « publications recommandables » tenue par la conférence des doyens de facultés de médecine est un exemple de solution proposée à cet effet ;
- L’intérêt, quels que soient les indicateurs utilisés, actuels ou à venir, de favoriser ceux qui ne poussent pas à la multiplication irraisonnée des publications ;
- Surtout, tout système pouvant être dévoyé, la nécessité de se doter de la capacité à faire évoluer rapidement ces indicateurs, si de nouveaux effets indésirables se font jour.
La restitution complète du colloque est disponible, ci-dessous.
Quel avenir pour le score SIGAPS ?
Enjeux pour l’évaluation et le financement de la recherche biomédicale en France
Le colloque était consacré à l’utilisation de l’indicateur bibliométrique SIGAPS en matière d’évaluation des carrières individuelles des chercheuses et chercheurs hospitalo-universitaires et d’attribution de crédits aux établissements de recherche biomédicale.
Le colloque a permis :
- d’analyser les effets du recours à SIGAPS en tant qu’outil d’allocation de fonds et en matière de pratiques d’évaluation ; d’explorer les tensions éventuelles avec les exigences de l’intégrité scientifique
- de débattre de propositions d’évolution de SIGAPS
Le programme, les intervenantes et intervenants
Ouverture — Discours liminaires
- Stéphanie Ruphy– Directrice de l’Ofis, Professeure à l’ENS (Ulm)
- Alain Fischer– Président de l’Académie des sciences
- Guillaume Gellé– Président de France Universités
Genèse et rôles de SIGAPS | Analyse des effets du recours à SIGAPS en tant qu’outil d’allocation de fonds et en matière de pratiques d’évaluation
Présidente de séance : Frédérique Sachwald, directrice de l’Observatoire des sciences et techniques (OST)
- Jean-Marc Aubert– Ancien directeur de la DREES (Direction de la recherche, des études, de l’évaluation et des statistiques du Ministère de la santé et des solidarités
- Lionel da Cruz– Chef du bureau Innovation et recherche clinique, Direction générale de l’offre de soin, Ministère du travail, de la santé et des solidarités
- Patrick Devos– Statisticien, direction de la recherche et de l’innovation, CHU de Lille
- Louise Benoit– Cheffe de clinique en chirurgie oncologique gynécologique, service du Pr Bats, Hôpital européen Georges-Pompidou
Table ronde #1 : SIGAPS vu par ses utilisateurs
Modératrice : Michèle Cottier, directrice du pôle santé du Hcéres
- Astrid Vabret– PU-PH Virologie, CHU de Caen, présidente de la section 45 du CNU-Santé
- Bertrand Godeau– PU-PH Médecine interne, CHU Henri Mondor de Créteil, président de la section 53 du CNU-Santé
- Brigitte Courtois– Directrice générale de la recherche et de l’innovation du CHU de Lille
- Anne Langellier– Directrice générale adjointe du CHU Amiens-Picardie et Carl Picard, Data manager à la direction de la recherche Clinique, CHU Amiens-Picardie
Table ronde #2 : Évolutions possibles
Modérateur : Stéphane Le Bouler, président par intérim du Hcéres
- Michèle Cottier– Directrice du pôle santé du Hcéres
- Arnold Migus– Académie nationale de médecine
- Pierre Corvol– Professeur émérite au Collège de France, Académie des sciences
- Bruno Riou– Doyen de la Faculté de santé, Sorbonne Université
Discours de clôture
- Manuel Tunon de Lara– PU-PH, Université de Bordeaux, chargé de mission rénovation de la recherche biomédicale
- Didier Samuel – PDG de l’Inserm
- Thierry Damerval– PDG de l’ANR
- Marie Daudé– Directrice générale de l’offre de soins, Ministère du travail, de la santé et des solidarités
- Claire Giry– Directrice générale de la recherche et de l’innovation, Ministère de l’enseignement supérieur et de la recherche
- Stéphane Le Bouler– Président par intérim du Hcéres
Quel avenir pour le score SIGAPS ? Enjeux pour l’évaluation et le financement de la recherche biomédicale en France
Quelques intervenantes ou intervenants ont accompagné leur propos d’une présentation visuelle. Retrouvez-ici ces présentations.
Présentation d’Alain Fischer, Président de l’Académie des sciences
Présentation de Jean-Marc Aubert, Ancien directeur de la Direction de la recherche, des études, de l’évaluation et des statistiques (DREES) du Ministère de la santé et des solidarités
Présentation de Lionel da Cruz, Chef du bureau Innovation et recherche clinique, Direction générale de l’offre de soin, Ministère du travail, de la santé et des solidarités
Présentation de Patrick Devos, Statisticien, direction de la recherche et de l’innovation, CHU de Lille
Présentation de Louise Benoit, Cheffe de clinique en chirurgie oncologique gynécologique, Hôpital européen Georges-Pompidou
Présentation de Brigitte Courtois, Directrice générale de la recherche et de l’innovation du CHU de Lille
Présentation d’Anne Langellier, Directrice générale adjointe du CHU d’Amiens-Picardie et de Carl Picard, Data manager à la direction de la recherche Clinique, CHU d’Amiens-Picardie
Présentation d’Arnold Migus, Académie nationale de médecine
Hcéres