Nível 6 · Preparação para a pesquisa · Avaliação avançada
Auditoria de proveniência e previsão do dossiê
Reconstrua afirmações a partir de fontes datadas e faça previsões de pontuação sem deixar que o conhecimento posterior vaze para trás.
Conclua os três desafios. Mostre suposições, unidades, incerteza e a fronteira entre cálculo, inferência dependente do modelo, observação e afirmação não resolvida.
Desafio 1 · derivação
Reconstruir um grafo de fonte para reivindicação
Selecione uma afirmação limitada relacionada ao DIRD e reconstrua o caminho inferencial das fontes primárias até a redação atual. Formalize arestas diretas, inferidas, contextuais e contraditórias e identifique a dependência mais fraca.
Entregáveis exigidos
- • Gráfico de reivindicação datado com rótulos de fonte estáveis
- • Tabela de warrants borda a borda
- • Uma reivindicação reescrita limitada às evidências sobreviventes
Critérios de avaliação · 20 pontos
- • Cronologia e procedência da fonte: 8 pontos
- • Arestas de inferência classificadas com precisão: 7 pontos
- • Reivindicação final corresponde ao gráfico: 5 pontos
Desafio 2 · análise
Calibre as previsões
Crie pelo menos dez previsões com data fechada a partir de reivindicações de dossiê, atribua probabilidades antes de inspecionar os resultados e, em seguida, avalie a calibração e discriminação. Compare os resultados com um previsor simples de taxa base.
Entregáveis exigidos
- • Tabela de previsão com datas de corte e regras de resolução
- • Pontuações Brier e caixas de calibração
- • Comparação com o índice de referência da taxa base
Critérios de avaliação · 20 pontos
- • Sem vazamento temporal: 7 pontos
- • Cálculo de pontuação e benchmark: 7 pontos
- • Interpretação de calibração: 6 pontos
Desafio 3 · projeto
Faça uma revisão adversarial do dossiê
Projete uma revisão de red-team/blue-team na qual ambos os lados recebam o mesmo corpus congelado e devem publicar gráficos de reivindicações, mudanças de confiança e evidências decisivas faltantes.
Entregáveis exigidos
- • Protocolo de corpus congelado e atribuição de funções
- • Rubrica de avaliação simétrica e plano de adjudicação
- • Pacote público de evidências com registro de incerteza
Critérios de avaliação · 20 pontos
- • As equipes operam com evidências idênticas: 7 pontos
- • A rubrica recompensa correção e incerteza calibrada: 7 pontos
- • Adjudicação e liberação são auditáveis: 6 pontos
Esboços de solução para docentes
Procure raciocínios que resistam à inspeção
1. Reconstruir um grafo de fonte para reivindicação
- • Separe o que um documento afirma do que autores posteriores inferem.
- • Aplique o corte declarado de evidências antes de ler as informações sobre o resultado.
- • Rebaixe a conclusão quando uma borda-chave é contextual ou não suportada.
2. Calibre as previsões
- • Torne cada critério de resolução observável e limitado no tempo.
- • Pontue as probabilidades originais sem edição retrospectiva.
- • Trate a má calibração como evidência sobre desempenho de previsão, não automaticamente sobre todos os mecanismos subjacentes.
3. Faça uma revisão adversarial do dossiê
- • Oculte a identidade do autor onde for prático e aleatório qual equipe argumenta de cada lado.
- • Partitura a fidelidade das fontes separadamente da persuasão retórica.
- • Publique discordâncias e dependências não resolvidas em vez de forçar consenso.