Niveau 6 · Préparation à la recherche · Évaluation avancée
Cour indépendante de reproduction et d’écart
Rendre les artefacts portables, les reruns indépendants et les désaccords diagnostiquables avant de déclarer la réplication ou l’échec.
Répondez aux trois défis. Montrez les hypothèses, les unités, l’incertitude et la frontière entre calcul, inférence dépendante du modèle, observation et affirmation non résolue.
Défi 1 · dérivation
Reconstruire la chaîne de dépendances
En partant d’un résultat revendiqué, dérivez le graphe de dépendance complet à partir de l’observation brute en passant par calibration, prétraitement, modèle, statistique et figure. Identifiez chaque paramètre pouvant modifier la conclusion.
Livrables attendus
- • Graphe de dépendance de type exécutable
- • Paramètre et manifeste de version
- • Résultat recalculé avec suivi de la somme de contrôle
Critères d’évaluation · 20 points
- • Le graphique est complet et ordonné : 8 points
- • Les versions et paramètres sont récupérables : 7 points
- • Le recalcul correspond ou explique le décalage : 5 points
Défi 2 · analyse
Quantifier la différence
Comparez les résultats originaux et indépendants en utilisant des estimations d’effet conscientes de l’incertitude et un modèle structuré de divergences. Évaluez les explications du protocole, des appareils, de l’environnement, des données et de l’analyse plutôt que de traiter la réplication comme un vote binaire.
Livrables attendus
- • Table d’effet comparable
- • Matrice de vraisemblance ou de décision des divergences
- • Variantes de sensibilité à l’analyse raisonnable
Critères d’évaluation · 20 points
- • Comparabilité et incertitudes : 7 points
- • Explications concurrentes des divergences : 7 points
- • Robustesse et conclusion calibrée : 6 points
Défi 3 · conception
Étape d’un échange inter-laboratoires et d’une décision
Concevoir une réplication en deux laboratoires où les équipes échangent des données, du code et, lorsque possible, des appareils ou des artefacts d’étalonnage. Conserver une analyse indépendante, puis utiliser un processus d’adjudication figée pour les désaccords.
Livrables attendus
- • Matrice d’échange et protections de contamination
- • Analyse indépendante et séquence de révélation
- • Compensation des écarts et plan de libération publique
Critères d’évaluation · 20 points
- • L’indépendance survit à l’échange : 7 points
- • La séquence de révélation localise les divergences : 7 points
- • Le plan de libération comprend des résultats négatifs et indéterminés : 6 points
Plans de solution pour l’enseignant
Cherchez un raisonnement qui résiste à l’examen
1. Reconstruire la chaîne de dépendances
- • Suivez le résultat du titre à rebours jusqu’aux entrées brutes sans sauter les transformations manuelles.
- • Logiciel d’enregistrement, calibration, graines aléatoires et règles d’inclusion.
- • Classifiez tout décalage avant de l’attribuer à un désaccord scientifique.
2. Quantifier la différence
- • Harmoniser les estimands avant de comparer les résultats numériques.
- • Testez les catégories de divergences prédéfinies avec les preuves disponibles.
- • Utilisez répliqué, non répliqué, contredit et indéterminé uniquement sous des critères explicites.
3. Étape d’un échange inter-laboratoires et d’une décision
- • Exécutez des cellules de données propres/code-propre, de données échangées, de code échangé et de calibration partagée lorsque possible.
- • Gelez les sorties principales avant une discussion inter-équipes.
- • Publiez la matrice des résultats pour que les lecteurs puissent voir où l’accord évolue.