Calibration : comparer confiance et résultats vérifiés

Vous pensez pouvoir répondre correctement à la plupart des questions sur un sujet. Un essai vérifié montre si cette attente correspond à la tâche. Comparer prévisions et résultats permet d’examiner votre calibration.

Le but est de mieux choisir quoi réviser. Confiance élevée ou faible peuvent être inexactes ; aucune ne mesure seule les capacités d’une personne.

Deux formes de justesse du jugement

La calibration absolue concerne l’accord entre niveau de performance prévu et observé. Si vous prévoyez 80% sur un ensemble défini de questions, comparez cette prévision au score selon le même barème.

La justesse relative concerne la distinction entre éléments ou sujets mieux et moins bien maîtrisés. Vous pouvez les classer correctement tout en surestimant tous les scores. Vous pouvez aussi prévoir le total correctement en vous trompant sur les sujets à retravailler.

Prinz, Golke et Wittwer (2020) ont analysé la justesse relative des jugements de compréhension : les prévisions distinguaient-elles la compréhension de différents textes ? Le lien moyen était modeste, avec des variations selon les conditions. L’article est paru dans Educational Research Review. Ce n’est ni une mesure de la surestimation de chacun ni une garantie pour une personne.

Choisir une vérification adaptée à l’objectif

Soderstrom et Bjork (2015) expliquent pourquoi la performance pendant l’acquisition peut mal représenter l’apprentissage durable. Voir une réponse rend parfois la tâche facile sans établir qu’on saura la produire plus tard.

Choisissez une vérification ressemblant au savoir nécessaire : réponse courte ou problème pour un examen, explication ou application d’une procédure pour le travail. Gardez les références si la tâche réelle les autorise. Définissez les conditions avant de juger le résultat.

Un essai différé renseigne sur la performance ultérieure. Le résultat de Nelson et Dunlosky (1991) sur les jugements différés concernait le rappel de paires associées dans des conditions précises. Il ne promet pas que tout délai améliore la compréhension ou prédit une note finale.

Garder une trace simple des prévisions

1. Choisissez les questions et le barème. Notez quand vous les ferez et si vous utiliserez des références.
2. Prévoyez votre score avant l’essai. Si vous évaluez chaque question, notez cela avant de consulter les réponses.
3. Faites l’essai dans les conditions choisies. Corrigez avec une source fiable et attribuez les points partiels de façon cohérente.
4. Notez les scores prévu et obtenu avec la date et le sujet. Prévoir 80% puis obtenir 60% représente une surestimation de 20 points de pourcentage sur cet essai.
5. Cherchez un schéma sur plusieurs essais comparables. Revoyez les notions manquées et vérifiez-les encore ; adaptez la tâche si elle ne représente pas votre objectif.

Un résultat n’est pas un diagnostic. Difficulté, hasard, petits échantillons et corrigés flous peuvent influencer la comparaison. Une réponse fausse donnée avec confiance apporte un retour sur cette réponse, sans prouver que tout votre jugement est défaillant.

Utiliser les traces pour choisir la suite

Repérez les sujets où la confiance prévue reste élevée mais la performance vérifiée faible. Relisez la source, étudiez une explication ou essayez un autre problème. Notez aussi les sujets mieux réussis que prévu.

Des exercices générés peuvent fournir des questions, mais leur corrigé doit être vérifié. Utiliser Piply pour pratiquer n’en fait pas une évaluation validée de la calibration.

Commencez par quelques questions faisables et gardez la première prévision à côté du résultat vérifié. Développez le suivi s’il vous aide à décider quoi travailler.