[Biblio] Qu’est-ce qui est mesuré par le Sulitest ?

Un collègue m’a fait découvrir il y a 2 ans le Sulitest. C’est un test de connaissance sur la soutenabilité développé par des français en lien avec plus de 300 expert·es avec le soutien de l’ONU.

Le Sulitest repose sur une banque d’une cinquantaine de questions qui constituent le coeur du test. Lorsqu’on passe le test, 30 questions sont tirées au sort parmi ces 50, et d’autres questions liées aux enjeux nationaux sont ajoutées par les organisateurs.

Le type de question

Il est difficile d’avoir accès au type de questions posées. Dans les évaluations internationales comme PISA on a accès à des items libérés qui permettent de comprendre le type de questions posées et la manières dont elles sont évaluées.

Pour le Sulitest, j’ai juste pu trouver des exemples de questions dans un diaporama d’un enseignant belge présentant le dispositif à ses collègues. D’autres collègues ayant passé le test m’ont dit qu’elles étaient en effet bien représentatives.

Sur ces deux exemples, les questions sont à la fois :

• De très bas niveau cognitif, il s’agit principalement de mémorisation,
• Pour certaines, comme la deuxième, très très précises, portant sur des points de détails du savoir en jeu, ce qui les rend difficile
• Avec plusieurs erreurs classiques de construction (bonne réponse la plus longue, etc), ce qui les rend très sensibles aux biais d’évaluation.

Le référentiel

La liste des thèmes sur lesquels on va poser des questions dans l’examen s’appelle le référentiel. Dans le cas du Sulitest, ce référentiel est thématique. Il est composé de 4 grands thèmes qui sont ensuite sous-divisés en 15 sous-thèmes.

L’établissement de ce référentiel a probablement fait l’objet de longues discussions pour arriver à un consensus parmi les expert·es réunis.

Le fait que ça soit un référentiel thématique rend très large ce que l’on peut trouver dans chaque sous-thème et il est probablement difficile d’imaginer que 2 questions d’un même sous-thème soient équivalentes du point de vue du savoir visé.

Une analyse menée en 2021 sur plus de 60 000 réponses au Sulitest a été publiée dans Nature. Cette étude montre que les réponses aux questions ne sont pas cohérent avec une structure du savoir en 4 grands thèmes. Ce résultat n’est pas très surprenant pour une didacticienne :

• Le type de questions laisse à penser qu’il y a des biais d’évaluation et que le savoir mesuré est très superficiel,
• Le référentiel n’est pas construit en lien avec une activité cognitive mais avec des connaissances thématiques qui sont a priori assez liées.

Conclusions

Je ne crois pas que le Sulitest mesure efficacement ce que les personnes ont compris de la soutenabilité. Ce test semble plutôt mesurer la mémorisation d’informations liées au développement durable ainsi que la capacité à deviner les bonnes réponses à des QCM.

Je suis très impressionnée du soutien financier et institutionnel reçu par un tel outil sans qu’apparemment de spécialiste de la pédagogique ou de la didactique de ces domaines ne soit impliqué dans le design du référentiel ou des questions 🤔. Mais je ne connais pas les dessous de la construction de ce test, et je sais qu’il est toujours plus facile de critiquer que de construire.

Aussi, j’ai l’impression que ce test a évolué et a été révisé pour construire la certification TASK. Il y a apparemment un article qui décrit ce qui a été fait, mais je n’arrive pas à l’obtenir : https://journals.aom.org/doi/abs/10.5465/AMPROC.2023.15817abstract. Si l’un.e d’entre vous a davantage d’informations : je suis évidemment preneuse !

De mon côté, j’accompagne plusieurs établissements d’enseignement supérieur sur la construction de QCM qui mesure vraiment ce que l’on a compris d’un cours sur la soutenabilité. J’espère pouvoir vous partager prochainement quelques items !

Références

Kuehl, C., Sparks, A. C., Hodges, H., & Smith, E. R. A. N. (2021). The incoherence of sustainability literacy assessed with the Sulitest. Nature Sustainability, 4(6), 555‑560. https://doi.org/10.1038/s41893-021-00687-6

---

---