ACTUALITÉ SCIENTIFIQUE
ET INNOVATION DE L'ÉTS
Analyser et évaluer la recherche : la bibliométrie et ses effets pervers - Par : Adèle Paul-Hus, Held Barbosa De Souza,

Analyser et évaluer la recherche : la bibliométrie et ses effets pervers


Held Barbosa De Souza
Held Barbosa De Souza Profil de l'auteur(e)
Held Barbosa de Souza est bibliothécaire à l’ÉTS. Titulaire d’une maîtrise de recherche en Sciences de l’information de l’Université de Montréal, son mémoire a porté sur la contribution des postdoctorants à l’avancement des connaissances.

RÉSUMÉ:

Publications, citations, facteur d’impact : quels sont leurs rôles dans l’évaluation de la recherche? La bibliométrie est une méthode de recherche qui s’appuie sur les publications scientifiques pour analyser et évaluer l’activité scientifique. Cet article vise à identifier les principales limites des indicateurs bibliométriques ainsi que les conséquences de leur application pour l’évaluation des chercheurs.

Les chercheurs sont constamment évalués, que ce soit de façon délibérée lorsqu’ils participent à des concours pour l’obtention de subventions de recherche ou de façon inconsciente, dans le cas de compilation de palmarès de performance des institutions de recherche. Un important volet de ces évaluations repose sur la compilation d’indicateurs d’impact et de productivité s’appuyant sur les publications scientifiques.

Quelques définitions

La bibliométrie permet d’analyser de façon quantitative la communication savante d’un chercheur, d’un groupe ou d’une institution de recherche et même d’une revue. Cette méthode s’appuie sur les publications scientifiques et leurs citations comme indicateurs de la production scientifique et de ses usages.

Les citations constituent la notion clé autour de laquelle gravitent les mesures bibliométriques. Ainsi, l’influence (ou l’impact) d’un chercheur sur la communauté scientifique peut être mesurée par le nombre de citations que ses publications ont obtenues pour une période fixée.

Le facteur d’impact d’une revue est calculé en divisant le nombre de citations des articles publiés dans une revue pendant une période donnée (deux ou cinq ans) par le nombre total d’articles publiés pendant cette même période dans cette même revue. Le facteur d’impact est la mesure proposée et publiée annuellement par le Journal Citation Reports grâce aux données du Web of Science.

Applications

Les données bibliométriques peuvent être utilisées pour :

  • identifier les revues les plus importantes ou influentes dans un domaine;
  • analyser la productivité d’un chercheur, d’un groupe ou d’une institution de recherche;
  • mesurer l’impact d’un article, d’un chercheur, d’un groupe ou d’une institution de recherche;
  • mesurer la collaboration d’un chercheur, d’un groupe ou d’une institution de recherche;
  • suivre l’évolution d’un domaine ou d’un sujet de recherche.

Évaluation

Bien que la bibliométrie fasse l’objet de nombreuses critiques, elle constitue aujourd’hui un volet incontournable de l’évaluation de la recherche. La bibliométrie ne remplace cependant pas la révision par les pairs pour évaluer la qualité des publications scientifiques. Des indicateurs prenant en compte d’autres types d’intrants — tels que les subventions et les commandites — et d’extrants —  tels que des brevets et le nombre de diplômées – sont également importants pour l’évaluation des activités de recherche d’un établissement ou d’un chercheur.

Sources de données

Les citations sont le pilier de nombreux indicateurs bibliométriques. Cependant, le nombre de citations peut varier selon la source des données utilisée, ce nombre étant directement lié à la couverture de la base de données qui compile les citations. Chacune des sources a ses forces et ses limites. Voici un aperçu des trois principales sources de données bibliométriques :

Web of sciencePionnière dans sa catégorie, la base de données Web of Science indexe les revues scientifiques les plus importantes à chaque discipline. Sa période de couverture remonte au début du XXe siècle. Elle présente cependant un biais favorisant les publications rédigées en anglais, entraînant une sous-représentation des autres langues de publication. De plus, sa couverture des articles de conférences et des livres est encore assez limitée. Ce biais représente une limitation importante pour les domaines dans lesquels l’article scientifique n’est pas le mode de communication dominant (ACUMEN, 2014).

Plus récemment mise dans le marché, Scopus a globalement les mêmes objectifs et limitations que Web of Science. ScopusCependant, elle couvre un plus grand nombre de revues et de conférences, mais de façon moins étendue : l’indexation systématique des documents remonte à 1995. De plus, Scopus présente un certain biais envers les publications d’Elsevier, la maison d’édition commerciale à laquelle Scopus appartient (ACUMEN, 2014).

Par rapport aux deux sources mentionnées ci-dessus, Google Scholar semble avoir une couverture plus étendue des documents scientifiques et un biais géographique moins important.Google Scholar De plus, cette source pourrait être plus efficace dans l’estimation de l’impact des articles à très court terme, en raison du délai d’indexation qui prévaut tant pour Web of Science que pour Scopus. Cependant, il n’existe pas de contrôle de qualité pour les données qui y sont entrées, plusieurs versions d’un même document peuvent donc y être indexées et les données de Google Scholar demeurent sensibles aux manipulations frauduleuses (López-Cózar, Robinson-García et Torres-Salinas, 2014). Finalement, tous les types de documents peuvent être indexés par cet outil, peu importe si le contenu a subi une évaluation par des pairs ou non (ACUMEN, 2014).

Dans l’ensemble, Web of Science et Scopus sont à privilégier, étant donné les limites majeures de Google Scholar en ce qui a trait à la fiabilité de ses données. Il est toutefois important de souligner que Google Scholar est la seule source gratuite, Web of Science et Scopus étant accessible sur abonnement seulement (ACUMEN, 2014).

Il est donc important de toujours mentionner la source de données utilisées pour la compilation d’indicateurs bibliométriques étant données les forces et limites propres à chacune des sources de données.

 

Les effets pervers de la bibliométrie

L’utilisation massive d’indicateurs bibliométriques ayant une visée évaluative est aujourd’hui décriée par de nombreux chercheurs en raison des effets pervers qu’elle entraîne. Il faut cependant remonter aux origines de la bibliométrie pour comprendre ces effets.

Au départ, les méthodes bibliométriques sont surtout utilisées par les bibliothécaires pour la gestion des collections de revues scientifiques. L’utilisation de la bibliométrie se généralise avec la création du Science Citation Index (SCI) en 1963, qui deviendra par la suite Web of Science. Cet index recense non seulement les informations bibliographiques traditionnelles (auteurs, titre, revue de publications), mais également les références citées, permettant ainsi de compiler des mesures de citation.

Selon Yves Gingras, sociologue des sciences et directeur de l’Observatoire des sciences et technologies (OST) de l’UQAM, l’effet pervers le plus important associé à la diffusion du SCI concerne le facteur d’impact des revues scientifiques. En effet, le facteur d’impact est aujourd’hui devenu un outil promotionnel pour les revues et plusieurs d’entre elles adoptent des stratégies plus ou moins éthiques visant non pas l’amélioration de la qualité de leurs publications, mais plutôt l’augmentation de leur facteur d’impact.

De plus, le facteur d’impact est considéré à tort comme une mesure de la qualité des articles individuels. Pourtant, la distribution des citations faites aux articles publiés dans une même revue suit plutôt une courbe de type Pareto, c’est-à-dire qu’environ 20 % des articles reçoivent 80 % des citations (Gingras, 2014). La publication d’un article dans une revue à haut facteur d’impact ne garantit donc pas les citations.

L’évaluation est à la base même du processus scientifique : les dérives de l’évaluation proviennent de l’utilisation d’indicateurs mal construits et aux mauvais usages du facteur d’impact des revues. Les classements d’universités en sont un exemple évident. Selon Gingras (2014), ces classements se composent d’indicateurs de nature très différentes qui sont combinés de façon subjective : en résultent donc des classements qui ne représentent souvent qu’un outil marketing.

L’évaluation de la productivité impose aux chercheurs une importante pression de publication. La course contre la montre visant à toujours publier davantage pourrait être associée au nombre croissant de rétractations de publications scientifiques tel que récemment illustré par la rétractation de 43 articles par l’éditeur BioMed Central. Bien que le lien de causalité entre la pression de publication et les erreurs scientifiques (involontaires ou frauduleuses) ne puisse être démontré, il a été constaté que le nombre de rétractions a augmenté de façon importante dans les dernières années (Zhang et Grieneisen, 2012).

Par ailleurs, le nombre d’articles publiés ne serait pas l’indicateur à mettre en priorité pour l’évaluation des chercheurs, il faudrait plutôt se référer aux citations (ACUMEN, 2014, p. 14). De plus, depuis les années 1990 le nombre de citations reçues par un article est de moins en moins corrélé avec le facteur d’impact de la revue de publication (Lozano, Larivière et Gingras, 2012). Quels sont donc les éléments qui exercent une influence sur les citations reçues par l