[Résumé d’article scientifique] Une bonne question de QCM pour animer un cours

Cette semaine en faisant un peu de spéléo dans ma biblio sur Zotero, je suis tombée sur un chouette article de Miller et al. publié en 2006. Leur idée était de reproduire le même type d’enseignement qu’Eric Mazur en classe de mathématiques.

La référence : Miller, R. L., Santana-Vega, E., & Terrell, M. S. (2006). CAN GOOD QUESTIONS AND PEER DISCUSSION IMPROVE CALCULUS INSTRUCTION?3, 11.

La peer instruction

Eric Mazur a appelé sa méthode d’enseignement #PeerInstruction. L’une des caractéristiques de sa méthode est d’utiliser des QCM en cours magistral pour faire réfléchir les étudiant·es. Il utilise une séquence :

1. Présenter la question aux étudiant·es qui réfléchissent individuellement
2. Vote des étudiant·es
3. On montre les résultats du vote aux étudiant·es sans dire quelle est la bonne réponse
4. On demande aux étudiant·es de débattre avec leurs voisins
5. On revote
6. L’enseignant·e prend alors la parole pour expliquer la bonne réponse (et aussi pourquoi les autres réponses sont fausses)

Cette séquence dure environ 5 minutes et est répétée environ chaque quart d’heure.

Il y a plusieurs publications qui montrent que cette méthode d’enseignement aide les étudiant·es à mieux comprendre les concepts de physique.

Pour en savoir plus : lien vers les publications du groupe de recherche d’Eric Mazur

Qu’est-ce qu’une Good Question dans cette étude ?

L’équipe de Miller et al a donc souhaité reproduire ce type d’enseignement en mathématiques, à Campbell. Ils ont donc cherché à construire des bonnes questions, c’est-à-dire des questions qui suscitent des discussions (de maths) parmi les étudiant·es.

Pour eux, les bonnes questions sont celles pour lesquelles la bonne réponse n’est pas évidente (voir même elle n’existe pas). En voici un exemple :

• True / False : You were once exactly pi feet tall.

C’est d’ailleurs un exemple marrant où la prof de physique que je suis voit un exercice sur la mesure et les incertitudes, quand la prof de mathématiques voit un exercice sur le théorème des valeurs intermédiaires !

Les auteurs ont alors essayé de construire une liste de good questions qui demandent plus ou moins de réflexion. Ils ont classé leurs questions en 3 niveaux de profondeur :

1. Quick check (porte en gros sur la définition de l’objet mathématique)
2. Probing
3. Deep

L’étude

Le protocole

Dans cette étude, les auteurs proposent à 14 enseignant·es d’utiliser des questions issues de leur base de questions pour animer le cours. Les chercheurs regardent ensuite :

• Comment les enseignant·es ont utilisé les questions ?
• Est-ce qu’il y a une corrélation entre l’usage des questions et la réussite des étudiant·es ?

Les résultats – sur l’utilisation des questions

Les chercheurs observent 4 typologies d’enseignant·es dans l’utilisation de ces questions :

• Deep : les enseignant·es utilisent des questions qui testent le savoir plutôt en profondeur (Deep and Probing questions) 1, 2 ou 3 fois chaque semaine, avec 2 ou 3 questions par cours, avec discussions entre pairs.
• Heavy + peers : Les enseignant·es utilisent surtout des questions Quick Check, 3 ou 4 jours par semaines, à raison de 2 ou 3 questions par cours, avec discussion entre pairs.
• Heavy no peer : c’est en gros la même chose que les heavy + peers, mais sans les discussions entre pairs.
• Light to Nil : les enseignant·es n’utilisent quasiment pas les questions proposées dans la base.

Les résultats – sur les résultats des étudiant·es

On observe une influence de l’utilisation des questions QCM sur les résultats des étudiant·es mais on peut regretter que la méthodo ne soit pas plus rigoureuse avec une estimation des barres d’erreur des points présentés (pourquoi les relier ??? 😱 ), et surtout, des t-tests pour voir si les différences sont significatives.

Mais globalement, ça va dans le sens attendu.

Ce que j’en retiens

J’étais super contente de trouver cette étude car depuis le début du projet Maths4Sciences j’ai beaucoup travaillé à ce qu’on ait des questions qui font réfléchir. Je les appelai les questions de didacticienne !

Du coup, j’avais développé une matrice 3×3 pour ranger les questions que l’on créait avec en colonne :

• Restituer une connaissance (les questions de par coeur)
• Donner du sens (les questions du même type que celles dont il est question dans l’article)
• Appliquer (les questions d’exercice classique)

Et dans les 3 lignes, j’indiquais la profondeur du savoir en jeu, avec 3 niveaux :

1. En surface
2. Intermédiaire
3. En profondeur

Donc je suis super contente de retrouve dans cet article ma colonne du milieu, avec les 3 niveaux de profondeur du savoir.

Je suis évidemment aussi contente que les auteurs trouvent une corrélation positive entre l’utilisation intelligente de ces questions et les résultats, mais je suis un peu dubitative en l’absence de tests statistiques.

J’ai aussi eu envie d’analyser un peu les questions proposées par les auteurs, mais ça m’est difficile car ce sont vraiment des maths pour les maths et pas du tout des maths pour les sciences… Mais ce serait intéressant d’expliciter davantage que ce que les auteurs ont fait les critères de classification des questions.

Références

• Pour découvrir Eric Mazur : https://www.youtube.com/watch?v=WwslBPj8GgI
• Vous pouvez retrouver les questions sur le site de Cornell : http://pi.math.cornell.edu/~GoodQuestions/materials.html
• Pour en savoir plus sur le projet maths4Sciences : https://maths4sciences.ens-lyon.fr/
• Pour lire les proceedings de la conférence où j’ai présenté la classification des questions du projet Maths4Sciences : https://shs.hal.science/halshs-03756485v1

---

---