Seminarium krytycznej lektury DIRD

Model interaktywny

Zbadaj, zanim policzysz

1. P(twierdzenie|dane)∝P(dane|twierdzenie)P(twierdzenie)

   Dowód aktualizuje tezę w takim stopniu, w jakim konkurencyjne wyjaśnienia różnie go przewidują.

2. Brier=(1/N)Σ(p_i−o_i)²

   Wskaźnik Briera mierzy kalibrację prognoz probabilistycznych wobec wyników zero-jedynkowych.

3. w_source=w_primary·w_independence·w_method

   Przejrzysta waga heurystyczna może zapisywać proweniencję, niezależność i siłę metodologiczną, nie udając uniwersalnej miary prawdy.

1. 1. Dwie prace korzystają z tego samego eksperymentu. Ile niezależnych zbiorów danych empirycznych popiera tę tezę?

   Pokaż podpowiedź

   Licz źródła dowodów, a nie publikacje.

   Pokaż rozwiązanie

   Jeden.

2. 2. Prognoza z przypisanym p=0,8 się nie sprawdziła. Ile wynosi jej jednostkowy wskaźnik Briera?

   Pokaż podpowiedź

   Skorzystaj z (p−o)² przy o=0.

   Pokaż rozwiązanie

   0,64.

3. 3. Dlaczego odtwarzając równanie, trzeba zachować warunki brzegowe ze źródła?

   Pokaż podpowiedź

   Zastanów się, czy bez nich rozwiązanie jest jednoznaczne albo w ogóle stosowalne.

   Pokaż rozwiązanie

   Warunki brzegowe wybierają rozwiązanie fizyczne i mogą decydować o wielkości wyniku, a nawet o jego znaku.

1. Punkt wyjścia

   Aktualizacja dowodowa czynnikiem Bayesa

   Szanse a posteriori = szanse a priori × iloraz wiarygodności

   1. 1. Zapisz szanse dla tezy wobec alternatywy.
   2. 2. Policz wiarygodność obserwacji przy każdej z nich.
   3. 3. Utwórz ich stosunek.
   4. 4. Pomnóż, nie zmieniając zamrożonego rozkładu a priori po zobaczeniu danych.

   O_post=O_prior·P(E|H₁)/P(E|H₀)

   Dowód liczy się przez zdolność rozróżniania, a nie przez efektowność czy prestiż instytucji.

2. Punkt wyjścia

   Rozkład kalibracji prognoz

   Średni kwadrat błędu prawdopodobieństwa dla prognoz pogrupowanych w przedziały

   1. 1. Pogrupuj prognozy według podanego prawdopodobieństwa.
   2. 2. Policz obserwowaną częstość w każdym przedziale.
   3. 3. Oddziel kalibrację od rozdzielczości i niepewności częstości bazowej.
   4. 4. Przyjrzyj się ograniczeniom wynikającym z liczebności próby.

   Wynik Briera odzwierciedla kalibrację, rozdzielczość i niepewność wyniku

   Program prognostyczny należy oceniać po wielu zamrożonych przewidywaniach, a nie po jednym rozsławionym trafieniu.

1. Notatnik audytu grafu tez i prognoz

   Które tezy w wybranym DIRD mają niezależne poparcie, odtwarzalne rachunki i skalibrowane wyniki?

   Dane wejściowe

   • • Tekst dokumentu i wykaz źródeł
   • • Metadane źródeł pierwotnych
   • • Zamrożone prognozy i datowane dowody wyników

   Algorytm

   1. 1. Wyodrębnij tezy atomowe i krawędzie cytowań.
   2. 2. Usuń duplikaty leżących u podstaw dowodów.
   3. 3. Odtwórz wybrane rachunki.
   4. 4. Porównaj każdą prognozę z jej datowanymi pomiarami.

   Dowody do uzyskania

   • • Graf tez czytelny maszynowo
   • • Notatnik z odtworzeniami
   • • Karta oceny prognoz i dossier dowodowe

1. Krytyczne dossier opracowania referencyjnego

   Co pozostałoby wiarygodne, gdyby usunąć zamawiającego, renomę autorów i późniejsze opowieści?

   1. 1. Zrekonstruuj cel i proweniencję.
   2. 2. Doprowadź tezy do dowodów pierwotnych.
   3. 3. Odtwórz kluczowy krok ilościowy.
   4. 4. Oceń prognozy i nierozstrzygnięte założenia.

   Obliczenie do powtórzenia: Odtwórz najbardziej istotne dla decyzji oszacowanie z opracowania wraz z analizą czułości.

   Granica dowodów: DIRD może być wartościowym opracowaniem strategicznym, a jednocześnie zawierać tezy ugruntowane, sporne, spekulatywne i przedawnione, które trzeba oceniać pojedynczo.

1. Teza

   DIRD-y należy uczyć jako możliwe do skontrolowania mapy badawcze, a nie odrzucać jako fantazję ani traktować jak objawioną prawdę.

   1. 1. Zbierają rzadko spotykaną literaturę techniczną i pytania strategiczne.
   2. 2. Ich warunkowe prognozy i sieci źródeł mogą rodzić sprawdzalne programy badawcze.
   3. 3. Ocena na poziomie pojedynczych tez zachowuje ich wartość bez prania niepewności.

   Najmocniejszy zarzut: Kontekst zamówienia i wybiórcze ujęcie tematu mogą wzmacniać spekulacje niskiej jakości albo motywowane strategicznie.

   Dowód rozstrzygający: Niezależne odtworzenie kluczowych rachunków i prospektywne trafienie prerejestrowanych, rozstrzygających przewidywań wyprowadzonych z tych dokumentów.

1. Opublikuj otwarty audyt DIRD

   Które trzy tezy najbardziej zasługują dziś na odtworzenie albo rozstrzygający test?

   Prerejestracja

   • • Zamroź definicje tez i reguły włączania.
   • • Zdefiniuj niezależność źródeł i sposób oceny prognoz.
   • • Podaj progi zmiany poziomu pewności.

   Pakiet odtwarzalności

   • • Wykaz dokumentów i wersji wraz z sumami kontrolnymi
   • • Graf tez z miejscami w źródłach
   • • Notatniki obliczeniowe i zbiór danych o wynikach
   • • Rozbieżności recenzentów i dziennik zmian

   Bramki kamieni milowych

   1. 1. Audyt proweniencji i źródeł pierwotnych
   2. 2. Niezależne odtworzenie rachunków
   3. 3. Rozstrzygnięcie wrogiej recenzji
   4. 4. Publiczne dossier z załącznikiem czytelnym maszynowo