Nível 6 · Preparação para a pesquisa · Avaliação avançada
Tribunal independente de reprodução e discrepância
Torne artefatos portáteis, reruns independentes e desacordos diagnosticáveis antes de declarar replicação ou falha.
Conclua os três desafios. Mostre suposições, unidades, incerteza e a fronteira entre cálculo, inferência dependente do modelo, observação e afirmação não resolvida.
Desafio 1 · derivação
Reconstruir a cadeia de dependências
Partindo de um resultado reivindicado, derive o gráfico completo de dependência a partir da observação bruta por meio de calibração, pré-processamento, modelo, estatística e figura. Identifique todos os parâmetros que possam mudar a conclusão.
Entregáveis exigidos
- • Grafo de dependência no estilo executável
- • Parâmetro e manifesto de versão
- • Resultado recalculado com rastreamento de soma de verificação
Critérios de avaliação · 20 pontos
- • O gráfico está completo e ordenado: 8 pontos
- • Versões e parâmetros são recuperáveis: 7 pontos
- • Recálculo corresponde ou explica o desajuste: 5 pontos
Desafio 2 · análise
Quantifique a discrepância
Compare resultados originais e independentes usando estimativas de efeito conscientes da incerteza e um modelo estruturado de discrepância. Avalie as explicações de protocolo, aparelhos, ambiente, dados e análise, em vez de tratar a replicação como um voto binário.
Entregáveis exigidos
- • Tabela de tamanho de efeito comparável
- • Diferença de verosimilhança ou matriz de decisão
- • Variantes de sensibilidade à análise razoável
Critérios de avaliação · 20 pontos
- • Comparabilidade e incertezas: 7 pontos
- • Explicações de discrepâncias concorrentes: 7 pontos
- • Robustez e conclusão calibrada: 6 pontos
Desafio 3 · projeto
Etapa de troca e adjudicação entre laboratórios
Projete uma replicação em dois laboratórios na qual as equipes trocam dados, códigos e, quando práticos, aparelhos ou artefatos de calibração. Preserve a análise independente e, em seguida, utilize um processo de adjudicação congelada para discordâncias.
Entregáveis exigidos
- • Matriz de troca e salvaguardas de contaminação
- • Análise independente e sequência de revelação
- • Remediação de discrepâncias e plano de liberação pública
Critérios de avaliação · 20 pontos
- • A independência sobrevive à troca: 7 pontos
- • A sequência de revelação localiza discrepâncias: 7 pontos
- • O plano de liberação inclui resultados negativos e indeterminados: 6 pontos
Esboços de solução para docentes
Procure raciocínios que resistam à inspeção
1. Reconstruir a cadeia de dependências
- • Rastreie o resultado do título de trás para trás até entradas brutas sem pular transformações manuais.
- • Registro de software, calibração, sementes aleatórias e regras de inclusão.
- • Classifique qualquer descompasso antes de atribuí-lo a discordância científica.
2. Quantifique a discrepância
- • Harmonize estimandos antes de comparar resultados numéricos.
- • Teste categorias de discrepância pré-especificadas com evidências disponíveis.
- • Use replicado, não replicado, contradito e indeterminado apenas sob critérios explícitos.
3. Etapa de troca e adjudicação entre laboratórios
- • Rodar células de dados próprios/próprio-código, dados trocados, código trocado e células de calibração compartilhada quando possível.
- • Congele as saídas primárias antes da discussão entre equipes.
- • Publique a matriz dos resultados para que os leitores possam ver onde o acordo muda.