« Les éditeurs scientifiques doivent être plus sévères dans le contrôle qualité » (R. Gosselin)
« Dans ma démarche, j’ai voulu contacter directement les journaux spécialisés pour leur signifier d’être plus sévères dans le contrôle qualité qu’ils opéraient sur les statistiques des articles publiés (…) Les mesures que je rappelle relèvent du bon sens et ne sont pas coûteuses pour la collectivité, j’espère donc qu’en passant par ce biais-là nous aurons un impact plus important sur les chercheurs et les journaux », déclare Romain-Daniel Gosselin, chercheur en biostatistiques et P-DG de l’entreprise Biotelligences, à News Tank le 28/04/2017.
Dans une lettre ouverte adressée à dix revues en science de la vie, publiée sur le site de l’entreprise le 13/03/2017 puis envoyée aux éditeurs, Romain-Daniel Gosselin évoque « la mauvaise utilisation des outils statistiques [dans les publications], un élément qui empêche la reproductibilité de la science ». Selon lui, « l’analyse des données - lorsqu’elles sont quantitatives - est globalement assez mal faite en biologie. »
Ainsi, il indique dans un tableau la proportion d'« articles publiés récemment » présentant un biais au niveau de l’échantillon ou de la méthode utilisée lors de la manipulation. Selon lui, deux articles sur dix de la revue Plos
Public library of Science
Biology « n’indiquent pas ou pas clairement » l’échantillon utilisé, contre huit sur dix pour la revue Cell. De même, aucun article de la revue Molecular Psychiatry « n’indique clairement ou non » le type de test utilisé, contre quatre sur dix pour les revues Cell et Plos Biology.
Romain-Daniel Gosselin a créé Biotelligences en 2013, une entreprise qui propose des services de formation aux laboratoires et chercheurs dans le but « d’améliorer la qualité de leurs publications, et donc la reproductibilité de leurs résultats. »
Romain-Daniel Gosselin répond à News Tank
Quels sont les biais que vous avez pu constater ? Quelle a été votre démarche ?
Romain-Daniel Gosselin : Depuis quelques années, la recherche scientifique, en particulier en biologie, a vu émerger une petite crise interne concernant la reproductibilité des résultats. La question se pose de plus en plus de savoir à quel point les résultats publiés par certaines équipes de recherche dans des revues spécialisées sont reproductibles par cette équipe ou par une autre.
Le point-clé dans cette histoire est la mauvaise utilisation des outils statistiques, un élément qui empêche la reproductibilité. Globalement, l’analyse des données - lorsqu’elles sont quantitatives - est assez mal faite en biologie.
Beaucoup d’articles n’indiquent pas l’échantillon »Intuitivement, on comprend que pour reproduire des résultats il faut passer par les mêmes schémas d’expérience, la même planification expérimentale. Or, si dans un article les auteurs ne rapportent pas la taille de l’échantillon qu’ils ont utilisé - le nombre de patients, le nombre de patients, le nombre de cellules observées - inévitablement les chercheurs lisant l’article et souhaitant reproduire les résultats ne peuvent pas le faire. Et il y a beaucoup d’articles qui n’indiquent pas l’échantillon.
Dans ma démarche, j’ai voulu contacter directement les journaux spécialisés pour leur signifier d’être plus sévères dans le contrôle qualité qu’ils opéraient sur les statistiques des articles publiés.
Quel succès remporte votre démarche en direction des éditeurs ?
Je dois bien avouer que beaucoup de mes commentaires et de mes e-mails sont restés lettre morte. C’est pourquoi j’ai pensé qu’une lettre ouverte pouvait être un moyen de faire un peu bouger les choses.
Une inertie du système »La lettre a été publiée mi-mars sur notre site, puis envoyée fin mars aux éditeurs. Elle a récemment émergé sur le site Retraction Watch. Quelques éditeurs m’ont indiqué avoir pris connaissance de la lettre, sans en dire plus.
Il y a forcément une certaine inertie du système. On ne change pas un système de publication aussi rapidement, cela prend du temps. Mais je ne doute pas que cela change un jour, il faut juste continuer à communiquer et ça devrait marcher.
Vous dites que la solution est peu coûteuse et relève du bon sens, qu’il suffirait d’appliquer certains standards à toutes les publications. Pourquoi cette solution n’est-elle pas appliquée aujourd’hui ?
Les chercheurs, et le monde académique en général, fonctionnent beaucoup sous forme de traditions : il y a des vieilles traditions d’écriture d’articles, de façons de faire de la recherche, qui se perpétuent de laboratoire en laboratoire, de chercheur en chercheur, et ces habitudes sont difficiles à casser.
De jeunes chercheurs qui veulent modifier leurs habitudes »Je constate en revanche qu’il y a maintenant une dynamique de jeunes chercheurs qui veulent modifier leurs habitudes, car ils ont conscience que les choses doivent changer. Mais il y a, encore une fois, une inertie du système.
Les mesures que je rappelle relèvent du bon sens et ne sont pas coûteuses pour la collectivité, j’espère donc qu’en passant par ce biais-là nous aurons un impact plus important sur les chercheurs et les journaux.
En vous adressant aux éditeurs, cela va plus vite ?
Une partie de la réponse doit provenir des éditeurs »C’est comme avec la conduite : sans loi, une bonne partie de la population continuerait à rouler trop vite. Dans le cas de l’édition, le parallèle se fait avec la peur de ne pas publier en cas de non-respect des standards imposés par les journaux. Une partie de la réponse doit donc provenir des éditeurs, une autre des politiques, et encore une autre des chercheurs.
Dans quel cadre s’inscrit votre démarche ?
J’ai créé mon entreprise il y a quatre ans, Biotelligences. Notre activité est double :
- Nous donnons des conseils et des enseignements aux chercheurs eux-mêmes, en statistiques, en analyse et en planification de statistiques.
- Nous avons aussi une activité dite « de réseautage » ou de communication auprès des éditeurs scientifiques pour leur signifier qu’il existe des standards pour les publications et que ces standards ne sont pas respectés dans de nombreuses publications qu’ils publient.
Activités de Biotelligences
• Organisation de séminaires ou de cours, auxquels les chercheurs s’inscrivent, afin de se former aux bonnes pratiques en statistiques.
• Activité de conseil et de consulting, ou organisation de séminaires au sein des laboratoires, afin d’améliorer la qualité de leur recherche.
Quelle sera votre stratégie si vous n’obtenez aucune réponse d’ici quelques temps ?
Je continuerai à :
- communiquer auprès des journaux par mail, ou en les rencontrant dans les congrès scientifiques.
- publier moi-même des éditoriaux ou des articles dans ces journaux spécialisés, avec de nouveaux guides pour mieux publier.
- communiquer auprès des chercheurs sur les bonnes pratiques, et augmenter la prise de conscience en espérant obtenir un effet de rebond à partir des chercheurs vers les journaux.
On constate que de plus en plus les chercheurs contactent les journaux eux-mêmes en disant vouloir publier uniquement de la « bonne science » et demandant ainsi l’amélioration de la qualité des publications du journal.
Les résultats de l’étude de Romain-Daniel Gosselin
Romain-Daniel Gosselin a sélectionné dix articles de dix revues en sciences de la vie, dont les références sont données en annexe.
Romain-Daniel Gosselin ne précise cependant pas la méthode de sélection de ces articles.
« Je suis entièrement d’accord pour dire que ma lettre ne remplit pas les critères stricts pour une étude quantitative (…) l’objectif de l’enquête n’est pas de donner un intervalle et une estimation ponctuelle de la vraie étendue des défauts, mais plutôt de donner une vision brute de la situation actuelle. Les deux failles incriminées devraient être absentes et, par conséquent, les nombres devraient être 0 partout », répond-il à un internaute sur le site Retraction Watch, où la lettre a été publiée le 21/04/2017.
Romain-Daniel Gosselin
Président-directeur général @ Biotelligences
Consulter la fiche dans l‘annuaire
Parcours
Président-directeur général
Collaborateur scientifique senior
Premier assistant d’enseignement et de recherche
Post-doctorat
Établissement & diplôme
Doctorat en biologie/neuroscience
Fiche n° 22583, créée le 28/04/2017 à 17:18 - MàJ le 09/05/2017 à 19:41