Comment assurer la qualité de l’évaluation par les pairs des propositions de communication dans le cadre d’un colloque scientifique ?

L’évaluation par les pairs joue un rôle important dans le monde universitaire et est souvent considérée comme le garant de la qualité scientifique. En même temps, les biais qui existent pour ce type d’évaluation sont multiples (partialité des évaluateurs, divergence de jugement entre évaluateurs, etc.) et bien documentés dans la littérature. Dans le cadre d’un colloque que nous avons organisé en 2018, nous avons mené une analyse exploratoire sur la base de données des évaluations réalisées par les pairs. Le but était d’avoir une idée de la qualité de l’évaluation par les pairs, de voir dans quelle mesure on retrouve les biais relevés par la littérature scientifique et, enfin, de définir des pistes qui pourraient contribuer à améliorer la qualité de ce processus.
Dans le cas de notre colloque, l’évaluation par les pairs s’est faite via une plateforme en ligne. Chaque proposition de communication était évaluée de manière anonyme par deux personnes et sur base de neuf critères pour lesquels les évaluateurs pouvaient choisir entre quatre modalités d’appréciation : très faible, faible, bon, très bon. Ensuite, l’évaluateur devait donner sa recommandation pour la contribution analysée : acceptation, acceptation sous réserve d’ajustements ou refus. Une première analyse des données montre notamment qu’il existe des différences plus ou moins importantes tant entre les jugements des évaluateurs qu’entre les décisions d’un même évaluateur. Les résultats détaillés de nos analyses seront présentés lors du colloque et des pistes d’amélioration discutées.