Open science : l’autonomie freine l'évolution des pratiques d'évaluation (enquête EUA)
« La transition vers la science ouverte doit s’accompagner d’un large consensus sur la façon dont les approches de l'évaluation de la recherche peuvent mieux refléter le paysage changeant de la recherche et de l’innovation. À ce titre, l’EUA
European University Association
a clairement indiqué que la qualité des articles et des autres formes de valorisation de la recherche devrait être évaluée en fonction du mérite de la recherche elle-même, et non en fonction de la réputation de la revue dans laquelle elle est publiée. »
C’est l’une des recommandations que fait l’European university association dans son dernier rapport « L’évaluation de la recherche dans la transition vers la science ouverte », publié le 22/10/2019.
Ce rapport s’appuie sur une enquête réalisée par l’EUA auprès de ses membres courant 2019, et dresse cinq « constats-clés », dont celui, par exemple, que les établissements se considérant en grande partie autonomes identifient cette autonomie comme un obstacle à l'évolution des pratiques en matière d'évaluation de la recherche.
Pour les répondants, en effet, « les principales difficultés sont presque toutes internes » : « la résistance des chercheurs à la réforme de l'évaluation de la recherche, les préoccupations concernant l'évolution des coûts (personnel qualifié, structures de soutien), ou encore la connaissance limitée des réformes de l'évaluation et des avantages potentiels ».
Cette enquête, qui s’intéresse pour la première fois aux pratiques d'évaluation, s’inscrit dans le sillage d’autres enquêtes sur l’open access ayant eu lieu entre 2014 et 2018.
« Leur analyse longitudinale a montré des progrès limités en ce qui concerne le libre accès aux publications et aux données de recherche en Europe, alors que des défis persistants demeurent non résolus. L’un des principaux défis est le fait que les pratiques actuelles d'évaluation de la recherche n’incitent ni ne récompensent les chercheurs qui rendent les résultats de leurs recherches accessibles au public », retrace l’EUA.
Un workshop, organisé par l’EUA avec le soutien de l’Université de Lorraine côté français, s’est par ailleurs tenu le 14/05/2019 à Bruxelles. Ses participants ont notamment « appelé les universités et leurs principaux partenaires à collaborer pour élaborer et mettre en œuvre des pratiques d'évaluation plus précises, transparentes et responsables ».
News Tank reproduit les principales conclusions du rapport de l’EUA.
Principales recommandations
« Les résultats de l’enquête montrent qu’il reste encore beaucoup à faire pour accroître la portée des initiatives encouragées et récompensées par les universités, et aller vers un ensemble moins restreint de pratiques d'évaluation », indique l’association.
« Les participants à l’atelier de l'EUA European University Association en mai 2019 ont partagé un large consensus sur la nécessité de revoir la situation actuelle, appelant à une approche du changement fondée sur les bonnes pratiques. »
« Il reste également du travail à faire pour revoir la signification de concepts tels que l’“excellence” et la “qualité” de la recherche, au regard d’un éventail plus large de formes de valorisation des résultats de la recherche. »
« Les résultats de l’enquête montrent que l’examen des approches en matière d'évaluation de la recherche est une responsabilité partagée et nécessite une approche concertée réunissant les principaux acteurs :
- En interne, elle demande un dialogue intrauniversitaire entre les chercheurs, les personnels de soutien et les dirigeants universitaires.
- Sur le plan externe, elle demande que les universités et leurs principaux partenaires, notamment les gouvernements et les organismes de financement de la recherche, s’engagent les uns avec les autres. »
Cinq « constats-clés »
1. La publication et l’obtention de financements externes comme principales sources de motivation des carrières
Premièrement, « les résultats de l’enquête montrent clairement que la publication de la recherche et l’obtention de financements externes sont les deux principales activités qui motivent et récompensent les carrières dans la recherche », note l’EUA dans son rapport.
« Ces activités sont considérées comme importantes ou très importantes pour les carrières en recherche par 90 % et 81 % des répondants, respectivement ».
« Un éventail d’autres activités universitaires sont également reconnues, les plus importantes étant l’impact de la recherche et le transfert des connaissances, qui sont importants ou très importants pour 68 % des établissements répondants », ajoute l’EUA.
2. Un ensemble de pratiques d'évaluation limité
« Une deuxième constatation clé, étroitement liée, est que les universités s’appuient sur un ensemble limité de pratiques d'évaluation, qui sont principalement axées sur l'évaluation des publications de recherche », poursuit l’EUA.
« Les mesures quantitatives de la publication et l’examen qualitatif par les pairs ont une nette avance et sont considérés comme importants ou très importants par 82 % et 74 % des répondants, respectivement.
L’utilisation généralisée du facteur d’impact des revues (par 75 % des établissements) pour évaluer les résultats de recherche des chercheurs individuels est particulièrement frappante. »
3. Certains indicateurs encore peu répandus
« Inversement, une troisième constatation clé est que d’autres indicateurs sont moins répandus et souvent aussi moins développés : c’est particulièrement vrai pour les indicateurs de science ouverte et de libre accès ».
Ces indicateurs « sont seulement importants ou très importants pour 28 % des répondants dans leur approche de l'évaluation de la recherche dans le cadre des carrières.
De plus, le libre accès aux publications et aux données de recherche ne fait souvent l’objet d’un suivi qu’au niveau institutionnel et ne fait pas partie des dispositifs d’incitation et de récompenses pour les individus ».
4. Les établissements se considèrent autonomes dans l'évaluation
« Une quatrième constatation clé est que les universités se considèrent largement autonomes lorsqu’il s’agit de développer et de mettre en œuvre des approches d'évaluation de la recherche ».
« En ce qui concerne les carrières en recherche, 79 % des établissements indiquent qu’ils sont pour la plupart autonomes ou très autonomes dans leurs pratiques d'évaluation de la recherche. Ce pourcentage passe à 83 % aux fins de l'évaluation du rendement des unités de recherche et à 90 % pour l’affectation interne des fonds de recherche.
Si les résultats montrent que les universités organisent principalement leur approche de l'évaluation de la recherche au niveau institutionnel, ils indiquent aussi clairement que le personnel est impliqué dans ce processus à différents niveaux », note l’EUA.
5. Des pratiques influencées davantage par le cadre réglementaire que par la communauté scientifique
« Une cinquième constatation clé est que les universités sont également très conscientes des influences externes qui façonnent leurs approches en matière d'évaluation de la recherche », note l’EUA. Ainsi :
- « les établissements répondants ont indiqué que ces influences proviennent principalement des gouvernements et des organismes de financement de la recherche qui établissent les cadres de réglementation et de financement, ainsi que de l’environnement concurrentiel de la recherche et de l’innovation ;
- inversement, l’influence des principes et lignes directrices de la communauté scientifique (par exemple, Dora Declaration On Research Assessment , Manifeste de Leiden, rapport ”The Metric Tide”) a été beaucoup moins reconnue ».
Les établissements ne sont pas totalement autonomes en matière d'évaluation, selon le rapport
« Dans l’ensemble, les résultats sur l’autonomie des établissements présentés dans le présent rapport montrent clairement que les universités n'élaborent pas et ne mettent pas en œuvre les politiques d'évaluation de la recherche de façon isolée, bien qu’ils se considèrent eux-mêmes comme ayant une autonomie importante en matière de réponse aux influences extérieures », conclut l’EUA.
European University Association (EUA)
Catégorie : Associations, réseaux
Consulter la fiche dans l‘annuaire
Fiche n° 3696, créée le 26/11/2015 à 02:48 - MàJ le 09/04/2024 à 14:13