Seminário de leitura crítica de DIRDs
Transforme um estudo de referência provocativo num mapa rastreável de fontes, suposições, previsões e afirmações testáveis.
Audite os Defense Intelligence Reference Documents e a literatura citada por eles usando proveniência, redes de citação, reconstrução de equações, pontuação de previsões, comparação de níveis de evidência, revisão por equipe adversarial e um dossiê crítico pronto para publicação.
Antes de começar
- • Trajetória de pós-graduação do Nível 5
- • Métodos de pesquisa e estatística
- • Fluência em busca de literatura técnica
Ao final, você consegue
- • Reconstruir o escopo, a proveniência e a finalidade encomendada de um DIRD.
- • Rastrear cada afirmação central até a evidência primária ou até uma inferência explícita.
- • Pontuar previsões contra desfechos datados, sem deriva de retrospecto.
- • Publicar um dossiê de evidência reprodutível e revisado de forma adversarial.
Modelo interativo
Explore antes de calcular
Lição 1 de 3
Proveniência, finalidade e anatomia do documento
O que o documento foi encomendado para fazer, e o que ele não foi feito para estabelecer?
Um estudo de referência pode levantar possibilidades, avaliar relevância estratégica ou identificar lacunas de pesquisa. A existência dele, o patrocinador, o histórico de classificação ou a autoria de especialistas não converte toda proposição discutida em resultado confirmado.
A leitura crítica começa por data, versão, autoria, pergunta encomendada, público-alvo, métodos, horizonte temporal citado e pela distinção entre evidência relatada e análise de cenários.
Exemplo resolvido
Um estudo diz que uma tecnologia poderia ser transformadora se três avanços acontecerem. Como essa frase deve ser codificada?
- 1. Marque-a como condicional.
- 2. Extraia as três dependências.
- 3. Separe a previsão de impacto da probabilidade.
- 4. Registre a data do estudo e o horizonte da previsão.
É um cenário condicional, não evidência de que a tecnologia ou os pré-requisitos existiam.
Experimente
Balanço da anatomia do documento
Materiais: Um DIRD e uma ficha de metadados
- 1. Registre a proveniência e a finalidade.
- 2. Mapeie os tipos de seção.
- 3. Etiquete cada afirmação como relato, síntese, inferência ou previsão.
- 4. Liste as exclusões explícitas e as incógnitas.
Repare: Documentos costumam mudar de modo epistêmico entre as seções; um único rótulo global perde essa estrutura.
Verifique o que entendeu: Ter sido encomendado por um governo estabelece que um mecanismo discutido é verdadeiro?
Resposta: Não.
Isso estabelece interesse institucional numa avaliação, não confirmação experimental de cada afirmação.
Lição 2 de 3
Grafos de afirmações, cadeias de citação e reconstrução de equações
De onde vem cada afirmação quantitativa, e a fonte citada sustenta a mesma proposição?
A lavagem de citações acontece quando revisões citam umas às outras até que uma afirmação condicional ou disputada pareça resolvida. Um grafo de afirmações registra a proposição exata, a localização na fonte, o tipo de evidência e as transformações entre documentos.
As equações exigem verificações de unidades, de suposições, de fronteiras e de casos-limite. Reproduzir um resultado central costuma revelar se uma afirmação é uma dedução, uma escolha de parâmetros, uma analogia ou uma extrapolação sem apoio.
Exemplo resolvido
Três revisões citam umas às outras para o mesmo valor de eficiência, mas nenhuma relata dados. Qual é o status de evidência?
- 1. Rastreie a citação mais antiga.
- 2. Procure o aparato ou o cálculo primário.
- 3. Registre que o valor é repetido, mas sem apoio.
- 4. Não conte revisões repetidas como evidência independente.
A rede de citações tem recorrência, não confirmação empírica independente.
Experimente
Grafo de cinco afirmações
Materiais: DIRD, referências e um modelo de grafo
- 1. Extraia cinco afirmações centrais literalmente.
- 2. Rastreie cada uma até a fonte mais antiga acessível.
- 3. Rotule o tipo de aresta e a confiança.
- 4. Reproduza um resultado numérico.
Repare: A afirmação de aparência mais forte pode se apoiar na cadeia de citações mais fraca ou mais transformada.
Verifique o que entendeu: Quando dois artigos contam como apoio independente?
Resposta: Quando a evidência ou as deduções deles são genuinamente independentes, em vez de reutilizarem a mesma fonte, o mesmo aparato ou o mesmo conjunto de dados.
Pluralidade bibliográfica sozinha não basta.
Lição 3 de 3
Pontuação de previsões, equipes adversariais e publicação do dossiê
Quais expectativas sobreviveram ao tempo, e o que um crítico justo e um defensor diriam agora?
As previsões precisam ser congeladas com a redação original e pontuadas contra desfechos datados usando categorias declaradas de antemão. Afirmações vagas de relevância não devem ser promovidas a previsões quantitativas bem-sucedidas.
Uma equipe adversarial identifica suposições ocultas, explicações convencionais e controles faltantes. Uma reconstrução generosa monta a versão mais forte do programa. O dossiê final preserva as duas e nomeia a evidência que mudaria a confiança.
Exemplo resolvido
Como pontuar em 2026 uma previsão de 2010 de um demonstrador de laboratório em dez anos, se só existem simulações?
- 1. Congele a definição original do marco.
- 2. Procure um demonstrador físico até o prazo.
- 3. Não substitua por simulações, a não ser que isso fosse permitido originalmente.
- 4. Pontue como não cumprida e documente o progresso parcial à parte.
A previsão do demonstrador não foi cumprida; o progresso em simulação é um desfecho separado.
Experimente
Revisão adversarial do dossiê
Materiais: Rascunho do dossiê e dois papéis de revisor
- 1. Atribua os papéis de defensor e de crítico.
- 2. Exija objeções com localização na fonte.
- 3. Resolva as discordâncias factuais.
- 4. Publique explicitamente as diferenças de julgamento que restarem.
Repare: A revisão adversarial melhora um dossiê quando as discordâncias ficam inspecionáveis, em vez de serem diluídas numa média.
Verifique o que entendeu: O que torna a pontuação de uma previsão reprodutível?
Resposta: Redação congelada, evidência datada, categorias explícitas e uma regra de pontuação documentada.
Sem isso, o retrospecto pode redefinir o que é sucesso.
Da fórmula ao significado
Leia a equação em linguagem comum.
P(claim|evidence)∝P(evidence|claim)P(claim)
A evidência atualiza uma afirmação na proporção de quão diferentemente as explicações concorrentes a preveem.
Brier=(1/N)Σ(p_i−o_i)²
O escore de Brier mede a calibração de previsões probabilísticas contra desfechos binários.
w_source=w_primary·w_independence·w_method
Um peso heurístico transparente pode registrar proveniência, independência e solidez metodológica sem fingir ser uma pontuação universal de verdade.
Prática independente
Lista de problemas
Resolva cada problema antes de abrir a dica e a solução.
1. Dois artigos reutilizam um mesmo experimento. Quantos conjuntos de dados empíricos independentes apoiam a afirmação?
Ver a dica
Conte fontes de evidência, não publicações.
Ver a solução
Um.
2. Uma previsão à qual se atribuiu p=0,8 falha. Qual é o escore de Brier dela para esse item?
Ver a dica
Use (p−o)² com o=0.
Ver a solução
0,64.
3. Por que a reprodução de uma equação precisa manter as condições de contorno da fonte?
Ver a dica
Pense se a solução é única ou aplicável sem elas.
Ver a solução
As condições de contorno selecionam a solução física e podem controlar a magnitude do resultado, ou até o sinal dele.
Estúdio de derivação
Construa o resultado, linha por linha.
Mantenha as suposições à vista para que a matemática continue auditável.
Ponto de partida
Atualização de evidência por fator de Bayes
Posterior odds = prior odds × likelihood ratio
- 1. Escreva as chances da afirmação contra a alternativa.
- 2. Calcule a verossimilhança da observação sob cada uma.
- 3. Forme a razão entre elas.
- 4. Multiplique sem mudar a priori congelada depois de ver os dados.
O_post=O_prior·P(E|H₁)/P(E|H₀)
A evidência importa pela capacidade de discriminar, não pelo drama nem pelo prestígio institucional.
Ponto de partida
Decomposição da calibração de previsões
Mean squared probability error over binned forecasts
- 1. Agrupe as previsões pela probabilidade declarada.
- 2. Calcule a frequência observada em cada faixa.
- 3. Separe calibração de resolução e da incerteza da taxa-base.
- 4. Examine os limites de tamanho de amostra.
Brier performance reflects calibration, resolution, and outcome uncertainty
Um programa de previsões deve ser julgado por muitas previsões congeladas, não por um único acerto celebrado.
Caderno computacional
Transforme o modelo em um experimento.
Caderno de grafo de afirmações e de auditoria de previsões
Quais afirmações de um DIRD escolhido têm apoio independente, cálculos reprodutíveis e desfechos calibrados?
Entradas
- • Texto do documento e lista de referências
- • Metadados das fontes primárias
- • Previsões congeladas e evidência datada dos desfechos
Algoritmo
- 1. Extraia afirmações atômicas e arestas de citação.
- 2. Elimine duplicatas na evidência subjacente.
- 3. Reproduza cálculos selecionados.
- 4. Pontue as previsões e as atualizações de confiança.
Evidência a produzir
- • Grafo de afirmações legível por máquina
- • Caderno de reprodução
- • Placar de previsões e dossiê de evidência
Estúdio de leitura de artigos
Interrogue a fonte, não a reputação dela.
Reconstrua as suposições, reproduza um cálculo e pare na fronteira da evidência relatada.
Dossiê crítico de um estudo de referência
O que continuaria confiável se o patrocinador, a reputação dos autores e os recontos posteriores fossem removidos?
- 1. Reconstrua a finalidade e a proveniência.
- 2. Rastreie as afirmações até a evidência primária.
- 3. Reproduza o passo quantitativo central.
- 4. Pontue as previsões e as suposições em aberto.
Cálculo a reproduzir: Reproduza a estimativa mais relevante para decisão do estudo, com uma análise de sensibilidade.
Fronteira da evidência: Um DIRD pode ser um trabalho estratégico valioso e ao mesmo tempo conter afirmações estabelecidas, contestadas, especulativas e desatualizadas, que precisam ser avaliadas uma a uma.
Defesa oral de pós-graduação
Defenda uma afirmação delimitada sob pressão.
Argumente o apoio mais forte, exponha com justiça a objeção mais forte e identifique a evidência que de fato decidiria a questão.
Proposição
DIRDs devem ser ensinados como mapas de pesquisa auditáveis, e não descartados como fantasia nem tratados como verdade revelada.
- 1. Eles reúnem literatura técnica pouco comum e perguntas estratégicas.
- 2. As previsões condicionais e as redes de fontes deles podem gerar programas testáveis.
- 3. Avaliar afirmação por afirmação preserva o valor sem lavar a incerteza.
Objeção mais forte: O contexto da encomenda e o recorte seletivo dos temas podem amplificar especulação de baixa qualidade ou estrategicamente motivada.
Evidência decisiva: Reprodução independente dos cálculos centrais e sucesso prospectivo de previsões discriminantes pré-registradas derivadas dos documentos.
Prática de pesquisa
Torne o trabalho inspecionável antes de torná-lo impressionante.
Pré-registre o teste decisivo, empacote cada dependência e passe por portões de marco explícitos antes de ampliar a interpretação.
Publique uma auditoria aberta de um DIRD
Quais três afirmações mais merecem reprodução ou teste decisivo agora?
Pré-registro
- • Congele as definições das afirmações e as regras de inclusão.
- • Defina a independência das fontes e a pontuação das previsões.
- • Nomeie os limiares de mudança de confiança.
Pacote de reprodutibilidade
- • Manifesto de documentos e versões com os hashes
- • Grafo de afirmações com as localizações nas fontes
- • Cadernos de cálculo e conjunto de dados dos desfechos
- • Discordâncias dos revisores e registro de mudanças
Portões de marco
- 1. Auditoria de proveniência e de fontes primárias
- 2. Reprodução independente dos cálculos
- 3. Resolução da revisão adversarial
- 4. Dossiê público com apêndice legível por máquina
Siga para a evidência