[Résumé d’article scientifique] Les exercices à correction automatisées à la maison, ça marche ou pas ?

Je travaille depuis longtemps sur le projet Maths4Sciences dans lequel on a conçu de très nombreux QCM de maths pour accompagner les étudiant·es dans leurs révisions. Pour le moment, on n’a pas fait d’analyse de comment ces QCMs étaient utilisés, ni de s’ils aidaient vraiment les étudiant·es. Mais j’ai quand même fait pas mal de biblio pour guider nos choix pédagogiques et didactiques, et voici le résumé d’un des articles que j’ai trouvé intéressant.

Pourquoi cet article ?

La question posée dans l’article

Est-ce que des exercices à correction automatisée à la maison, ça aide vraiment les étudiant·es 🤔 ?

Un chouette article

Cet article a une chouette introduction qui fait un panorama assez complet et assez critique des recherches antérieures menées sur le sujet. Donc déjà, rien que pour ça, c’est un chouette article. Ensuite, il raconte une expérimentation menée dans leur université avec 2 enseignants, mais de nombreux étudiant·es. Et surtout avec une analyse autant quantitative que qualitative (les extraits d’entretien et l’analyse qui en est faite est vraiment chouette).

La biblio

L’introduction et la partie background de cette article font une synthèse des travaux qui comparent le travail à la maison en papier crayon (Paper and Pencil Homework – PPH) et le travail à la maison numérique (Web Based Homework – WBH).

Si le travail fait est le même : pas ou peu de différence

Le premier résultat qui vient de la biblio est que, s’il n’y a pas de différence entre le travail fait à la maison en mode papier crayon, et celui fait sur ordinateur, alors il n’y a pas vraiment de différences notables dans les résultats des étudiant·es (voir par exemple l’étude de Hauk & Segalla 2005).

On peut se dire que c’est assez évident. A posteriori, tout est évident ! Mais on aurait pu imaginer un impact négatif du travail sur ordinateur, à cause par exemple d’une charge mentale liée à l’utilisation de l’outil. Mais pour le public estudiantin, ce n’est pas le cas.

Ce qui m’intéresse dans ce résultat, c’est surtout le fait que ça n’est pas l’outil qui fait la différence, mais l’usage !

L’impact du feedback

Le feedback, c’est l’un des gros plus des exercices à correction automatisée. Mais parler juste de feedback, ça ne permet pas de savoir exactement ce dont on parle. En effet, il y a plein de façons différentes de faire du feedback (voir par exemple l’étude de Shute 2005 qui est la référence sur le sujet).

• Le feedback peut être immédiat, c’est-à-dire que vous savez si vous avez juste ou faux juste après avoir répondu à une question, ou retardé. Le feedback retardé peut être plus ou moins retardé : juste après la série de questions, ou bien quelques jours plus tard, par exemple lors du TD suivant.
• Le feedback peut être simple, vous savez si vous avez juste ou faux, ou bien élaboré, avec une explication plus complète.
• Le feedback élaboré peut-être la résolution de l’exercice, une explication de votre erreur, ou bien une question ou un indice, ou alors un point méthode. Je n’ai pas trouvé beaucoup de biblio (#euphémisme) sur l’impact de ces différentes formes de feedback si ce n’est Shute qui distingue le feeadback du feedforward selon que le retour porte sur ce qui a déjà été fait, ou sur ce qu’il faudra faire dans le futur.

L’article de Butler et al (2008) montre, en accord avec tout ce que l’on sait sur l’apprentissage, que des étudiant·es qui bénéficient d’exercices avec correction automatisée et un feedback réussissent beaucoup mieux que celles et ceux qui réalisent les mêmes exercices sans feedback.

J’ai évidemment beaucoup aimé ce qui est tiré l’article de Zerr publié en 2007 (que je n’ai pas encore réussi à télécharger pour le lire) qui montre que les étudiant·es qui bénéficient d’un feedback immédiat et élaboré réussissent mieux que ceux qui ne reçoivent pas

L’étude réalisée

Le protocole

Dans cette étude, deux enseignant·es, A et B, vont faire cours à différents groupes. Certains de leurs groupes (groupes expérimentaux) bénéficieront des exercices à la maison numériques en plus du programme habituel. Cette étude a été réalisée la première année de la mise en ligne de l’exerciseur associé à leur textbook, ce qui a rendu l’expérimentation compliquée. En effet, l’exerciseur était souvent bugué.

Les résultats quantitatifs

Les résultats quantitatifs ne sont pas les résultats les plus intéressants de cette étude. Néanmoins il est intéressant de noter qu’il y a eu un effet enseignant important. Les étudiant·es du groupe expérimental du prof A réussissent significativement mieux que ceux du groupe contrôle. Cette différence ne se retrouve pas chez les étudiant·es du prof B.

Les résultats qualitatifs

Comme souvent en sciences de l’éducation, ce sont les résultats qualitatifs qui sont les plus intéressants. Les auteur·ices de cette étude ont mené des entretiens avec certain·es des étudiant·es et avec les enseignant·es. Ils ont ensuite codé les transcriptions des entretiens et ont construit 3 thèmes.

Thème 1 : Les exos à correction automatique qui comptent dans la moyenne, c’est motivant 🤩 !

Ce qui ressort des entretiens, c’est que les étudiant·es sont très content·es d’être dans le groupe expérimental et d’avoir un peu plus de devoirs obligatoires à faire. Ils et elles ont bien conscience que ça va les aider à réussir, et que sans ce dispositif, ils et elles travailleraient moins.

Anna: I kind of like having more homework graded because then you do better by doing actual homework. We have classes that don’t do that (grade homework). You don’t really do homework [in them] because you’d rather do other stuff that you are going to get points for, so . . . (E/Tr A)

George: I was really happy with the fact that we got to do the homework. [Doing more homework] didn’t bother me much because you have to do the homework to do the test, and the more homework, the more likely you’re going to do well on the test. Even the people that …saidthey didn’t do homework were pretty excited about this. (E/Tr B)

Dans cette expérimentation, comme dans les autres expérimentations dans la littérature sur le sujet, ces exercices à faire à la maison comptent pour une petite partie de la note finale (en général autour de 10%). Il est aussi souvent possible de les refaire plusieurs fois et seule la meilleure note compte, ce qui est aussi un facteur de motivation important !

Thème 2 : Ce qui est apprécié : la facilité d’usage, le fait de pouvoir faire plein d’essai, et le feedback immédiat (solution) quand on s’est trompé

On voit ici deux éléments particulièrement important :

1. Le fait de pouvoir se tester plusieurs fois. Dans l’étude en questions, la plupart des questions sont des questions à variables. Lorsque l’étudiant·e s’est trompé·e, il peut refaire une deuxième version du même exercice. Et il peut recommencer jusqu’à maîtriser l’exercice.
2. Le feedback immédiat et détaillé. Ce résultat se retrouve dans plusieurs études. Les étudiant·es, en particulier lorsqu’il et elles sont en difficulté, apprécient avoir l’explication complète juste après s’être trompé.

Le fait de comprendre, puis de pouvoir se retester immédiatement après, est quelque chose de très motivant puisque cela rend très perceptible sa propre progression.

Anna: Seeing the answers to the problems you did correctly or incorrectly.WhatImostlylikedwas…itkindofgavemetheconfidence to believe I could actually do calculus. And I could get (understand) what I was doing, too. (E/Tr A)

George: The best part about it was the changing questions. You get another chance to do [them] with different numbers but the same basic questions. It was kind of nice to see that you could learn it and then apply it to do a different problem. (E/T.B

Thème 3 : il est important que les enseignant·es soient convaincu·es de l’intérêt du dispositif testé

Les différences de résultats entre les enseignant·es A et B peuvent s’expliquer par l’enthousiasme de A pour ce dispositif et à l’inverse, la méfiance de B à cause des bugs du système qui créent de la frustration chez les étudiant·es.

George: Towards the end, because of the amount of complaints that were coming in, he just kind of gave up (and) didn’t encourage us as much. The points for the amount of homework went down a lot, and the amount of problems that got issued were less and less. It just went downhill, and I didn’t like that. Because, (my) tests showed it was benefiting me . . . (E/Tr B)

Conclusion

Cet article est un joli plaidoyer pour utiliser davantage d’exercices à correction automatisée à la maison, à condition :

1. que le feedback soit immédiat et détaille la solution complète,
2. que la réalisation (ou la note) de ces exercices compte dans la moyenne,
3. que globalement le système marche bien (et avoir une grosse banque de questions sans bugs, ça n’est pas facile 😬 )
4. que les enseignant·es soient volontaires, formés, et qu’ils aient accès à une personne ressource qui peut être un·e enseignant·e très motivé·e par le dispositif.

Références

• Lire l’article original : Halcrow, C., & Dunnigan, G. (2012). Online Homework in Calculus I : Friend or Foe? PRIMUS, 22(8), 664‑682. https://doi.org/10.1080/10511970.2012.694015

Les références citées dans l’article ou que j’ai ajoutées :

• Butler, M., L. Pyzdrowski, A. Goodykoontz, and V. Walker. 2008. The effects of feedback on online quizzes. The International Journal for Technology in Mathematics Education. 15(4): 131–136.
• Hauk, S. and A. Segalla. 2005. Student perceptions of the web-based homework program WeBWork in moderate enrollment college algebra classes. Journal of Computers in Mathematics and Science Teaching. 24(3): 229–253.
• Shute, V. J. (2008). Focus on Formative Feedback. 55.
• Zerr, R. 2007. A quantitative and qualitative analysis of the effectiveness of online homework in first-semester calculus. Journal of Computers in Mathematics and Science Teaching. 26(1): 55–73.

---

---