Niveau 6 · Préparation à la recherche · Évaluation avancée
Provenance du dossier et audit des prévisions
Reconstruisez les affirmations issues de sources dépassées et les prévisions de score sans laisser les connaissances ultérieures remonter à l’arrière.
Répondez aux trois défis. Montrez les hypothèses, les unités, l’incertitude et la frontière entre calcul, inférence dépendante du modèle, observation et affirmation non résolue.
Défi 1 · dérivation
Reconstruire un graphe source-to-claim
Sélectionnez une affirmation limitée liée au DIRD et reconstruisez le chemin inférentiel des sources primaires jusqu’à la formulation actuelle. Formalisez les arêtes directes, inférées, contextuelles et contradictoires et identifiez la dépendance la plus faible.
Livrables attendus
- • Graphique de revendication daté avec étiquettes sources stables
- • Table de warrants bordure par tranche
- • Une revendication réécrite limitée aux preuves survivantes
Critères d’évaluation · 20 points
- • Chronologie et provenance des sources : 8 points
- • Arêtes d’inférence classées avec précision : 7 points
- • La dernière réclamation correspond au graphique : 5 points
Défi 2 · analyse
Calibrez les prévisions
Créer au moins dix prévisions verrouillées à partir des affirmations de dossier, attribuer des probabilités avant d’inspecter les résultats, puis évaluer la calibration et la discrimination. Comparer les résultats avec un prévisionniste simple à taux de base.
Livrables attendus
- • Tableau de prévision avec dates limites et règles de résolution
- • Scores Brier et bacs d’étalonnage
- • Comparaison avec le taux de référence de référence
Critères d’évaluation · 20 points
- • Aucune fuite temporelle : 7 points
- • Calcul de la notation et du benchmark : 7 points
- • Interprétation de l’étalonnage : 6 points
Défi 3 · conception
Effectuez une revue du dossier adversaire
Concevez une revue red-team/bleue dans laquelle les deux parties reçoivent le même corpus figé et doivent publier des graphiques de revendications, des changements de confiance et des preuves manquantes décisives.
Livrables attendus
- • Protocole de corpus figé et d’attribution de rôles
- • Grille d’évaluation symétrique et plan d’évaluation
- • Paquet de preuves publiques avec journal d’incertitude
Critères d’évaluation · 20 points
- • Les équipes fonctionnent sur la même base : 7 points
- • La grille récompense la correction et l’incertitude calibrée : 7 points
- • L’adjudication et la libération sont auditables : 6 points
Plans de solution pour l’enseignant
Cherchez un raisonnement qui résiste à l’examen
1. Reconstruire un graphe source-to-claim
- • Séparer ce qu’un document affirme de ce que les auteurs ultérieurs déduisent.
- • Appliquez la limite de preuve déclarée avant de lire les informations sur les résultats.
- • Rétrogradez la conclusion lorsqu’un bord clé est contextuel ou non soutenu.
2. Calibrez les prévisions
- • Rendez chaque critère de résolution observable et limité dans le temps.
- • Notez les probabilités originales sans correction rétroactive.
- • Considérez une mauvaise calibration comme une preuve de la performance de prévision, et non automatiquement pour chaque mécanisme sous-jacent.
3. Effectuez une revue du dossier adversaire
- • Dissimulez l’identité de l’auteur lorsque c’est pratique et randomisez quelle équipe argumente chaque camp.
- • Notez la fidélité des sources séparément de la persuasion rhétorique.
- • Publiez les désaccords et les dépendances non résolues plutôt que de forcer un consensus.