[Résumé d’article scientifique] Combien faut-il de propositions à un QCM ?

Combien de réponses faut-il pour une bonne question à choix multiple ?

a) 3, c’est suffisant 😇
b) 4, c’est le meilleur compromis 😎
c) Plus il y en a, mieux c’est 💪

Dans ce billet de blog, je vais reprendre les différents arguments exposés par M. Rodriguez dans son article de revue : Three Options Are Optimal for Multiple-Choice Items: A Meta-Analysis of 80 Years of Research publié en 2005 dans la revue Educational Measurement: Issues and Practice.

Ce que nous dit l’intuition : la réponse c)

Intuitivement, on se dit que plus une question à de réponses possibles, moins une personne risque d’avoir juste au hasard, et donc plus l’évaluation sera juste. Deux réponses possibles : 50% de chances d’avoir juste par hasard. Trois réponses possibles : 33% de chances d’avoir juste par hasard.

Ça parait assez juste. En tous cas, moi ça m’a paru raisonnable pendant un temps. Et puis je l’ai lu dans un certain nombre de guides sur l’écriture de quiz.

Mais on va jusqu’où ?
J’avais bien remarqué que les questions de certains collègues avec 8 réponses possibles, c’était vraiment trop long à lire et trop compliqué. Et puis surtout ça se recoupe facilement en 2 questions à 4 options possibles. Mais où est la limite entre assez et trop ?

Pourquoi on croit qu’il faut en mettre le plus possible ?

L’angoisse du faux positif

En fait, l’une de nos grandes craintes en tant que formateur c’est souvent qu’un·e étudiant·e puisse avoir juste alors qu’il ou elle ne connait pas la réponse à la question. C’est la fameuse crainte du faux positif si l’on reprend les termes des statisticien·nes.

D’ailleurs, en lisant des travaux sur l’évaluation j’ai été surprise de réaliser qu’en tant qu’enseignante j’étais plus inquiète qu’un·e étudiant·e ait juste à une question alors qu’iel ne connaissait pas la réponse que de la situation inverse : le faux négatif. L’étudiant·e a faux à la question alors que si on lui avait fait passer un oral, il ou elle aurait su répondre sans difficulté. En effet, l’un des gros problèmes des QCM c’est aussi que souvent même un de nos collègues qui maitrise le cours tombe dans l’un des “pièges” laissés sans trop faire exprès.

Mais je m’éloigne… Revenons au problème du faux positif, le risque qu’un·e étudiant·e ait juste “par hasard”.

Le mythe de la réponse au hasard

Nous partageons souvent une vision naïve du fonctionnement du cerveau d’un·e étudiant·e : quand iel ne sait pas, iel répond au hasard. Et donc plus il y a d’options, plus la probabilité d’avoir juste au hasard diminue. Et donc il faut mettre le plus d’options possibles à un QCM.

Le vrai fonctionnement d’un·e étudiant·e

Les recherches en psychologie montrent pourtant que l’humain est très mauvais pour produire un réel hasard. L’étudiant·e même lorsqu’iel ne connait pas la réponse va chercher la réponse la plus probable.

Lorsqu’on ne connait rien au sujet

Le hasard devrait fonctionner pour une personne qui ne connaît rien au sujet. Mais si on me pose un questionnaire sur du droit constitutionnel, est-ce que je vais vraiment répondre totalement au hasard ?

Si le questionnaire a un enjeu pour moi, alors je vais quand même chercher à avoir le maximum de réponses justes, et il est très peu probable que j’utilise une approche totalement aléatoire. Je vais chercher des indices dans la rédaction de la question (quelle est la proposition la plus longue ou la plus complexe ou celles qui a le plus de mots en commun avec les autres propositions) ou bien dans la rédaction du questionnaire (la réponse A a déjà été la bonne 2 fois, je vais donc l’éliminer des possibles pour cette question).

Lorsqu’on a quelques éléments sur le sujet

Il est en fait très rare de ne RIEN savoir sur un sujet. Même si je n’ai jamais fait de droit, j’ai déjà entendu parler de ce sujet et je me suis construit, sans m’en rendre compte, des connaissances naïves sur le sujet. Je vais donc essayer aussi de m’appuyer sur ce que je crois pour répondre aux questions.

Mes réponses seront donc encore moins dues au hasard !

Ce que nous dit la recherche : 3 propositions par défaut

Les distracteurs non fonctionnels

Si les humains choisissaient vraiment les réponses au hasard quand ils ne savent pas quelle est la bonne réponse, on devrait observer :

  • que la bonne réponse est plus fréquemment sélectionnée,
  • que toutes les réponses fausses sont globalement autant sélectionnées.

Mais ce n’est pas ce qu’on observe empiriquement.

Les recherches sur les QCM montrent que certaines propositions fausses (que l’on appelle des distracteurs) d’une question à choix multiple ne sont quasiment jamais choisies (<5%). Ces distracteurs ne sont pas fonctionnels. Ils ne servent pas puisque personne, ou presque, ne les choisit. Et ce n’est pas un résultat récent.

Dans une étude menée en 1958 (😱) Wakefield a étudié les réponses des étudiant·es à 3752 QCM à 4 options et 3294 QCM à 5 options utilisés pour les examens. Il a trouvé que seulement :

  • 16% des QCM à 4 options ont réellement 3 distracteurs fonctionnels
  • 4% des QCM à 5 options ont réellement 4 distracteurs fonctionnels

C’est à dire que dans plus de 80% des cas, il y a au moins un distracteur qui n’est choisi par personne, ou presque.

Les 2 problèmes des distracteurs non fonctionnels

Il y a au moins deux problèmes avec les distracteurs non fonctionnels :

  1. Ils donnent souvent des indices sur la bonne réponse
  2. Ils font perdre du temps aux étudiant·es

Des indices sur la bonne réponse

Vous connaissez surement des techniques pour trouver la bonne réponse d’un QCM même lorsqu’on ne connait rien au sujet (proposition la plus longue, ou la plus complexe, ou celle qui réunit le plus de mots présents dans les distracteurs).

Et souvent, lorsque l’on doit inventer des distracteurs pour arriver à 4 ou 5 propositions, on dégrade juste la bonne réponse et on finit par laisser des indices.

Une perte de temps

Plus il y a d’options à un QCM, plus il faut de temps pour répondre puisqu’il faut lire toutes les propositions. Si on suppose que l’étudiant·e a juste besoin de lire les réponses pour savoir laquelle est la bonne, alors le temps total dont iel va avoir besoin pour terminer le test dépend du nombre total de propositions. En faisant systématiquement des questions à 5 propositions, on pourra donc poser moins de questions que si on faisait systématiquement des questions à 3 propositions.

C’est aussi une perte de temps pour la personne qui rédige l’évaluation car c’est souvent difficile de trouver plus de 2 distracteurs plausibles.

Que perd-on à supprimer les distracteurs non fonctionnels ?

Dans sa review, Rodriguez regarde les études qui ont étudié ce qu’il se passe quand on supprime les distracteurs non fonctionnels (et pas juste des distracteurs au hasard).

Globalement on ne perd rien

Les différentes études rapportées par Rodriguez montrent que globalement on ne perd rien à supprimer les distracteurs non fonctionnels à condition de garder au moins 3 options aux questions.

Par contre, si on supprime des distracteurs au hasard, alors le test perd en moyenne en qualité, mais ce n’est pas surprenant.

Des tests moins longs

Owen and Froman (1987) ont administré 2 tests de 100 questions à des étudiant·es. Pour 50 questions du test, ils ont supprimé les distracteurs non fonctionnels pour ne garder que 3 options. Pour les autres 50 questions, ils ont laissé les 5 options. Ils ont montré que la partie du test à 3 options au lieu de 5 prenait 17% de temps en moins aux étudiant·es.

Conclusion

La conclusion de Rodriguez est de maintenir le conseil de construire des QCM avec 3 propositions de qualité et de ne pas chercher à produire artificiellement d’autres distracteurs.

Mon conseil est de construire des questions en vous basant sur des erreurs classiques d’étudiant·es ce qui vous rendra plus facile la construction de distracteurs de qualité 😉.

Et si vous voulez en savoir plus sur le sujet, je vous conseille le guide que j’ai rédigé avec Unisciel : https://aude-caussarieu.com/guide-ecrire-des-qcm-efficaces/.

Références

  • Owen, S. V., & Froman, R. D. (1987). What’s wrong with three-option multiple choice items? Educational and Psychological Measurement, 47, 513–522.
  • Rodriguez, Michael C. « Three Options Are Optimal for Multiple-Choice Items: A Meta-Analysis of 80 Years of Research ». Educational Measurement: Issues and Practice 24, no 2 (9 juin 2005): 3‑13. https://doi.org/10.1111/j.1745-3992.2005.00006.x.
  • Wakefield, J. A. (1958). Does the fifth choice strengthen a test item? Public Personnel Review, 19, 44–48

OpenEdition vous propose de citer ce billet de la manière suivante :
Aude Caussarieu (23 mai 2023). [Résumé d’article scientifique] Combien faut-il de propositions à un QCM ? Vous avez dit ... dactique? Des sciences. Consulté le 25 juillet 2024 à l’adresse https://ditdactique.hypotheses.org/1124


Vous aimerez aussi...

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search