Poziom 6 · Przygotowanie do badań · Zaawansowana ocena
Sąd ds. niezależnej reprodukcji i rozbieżności
Uczynić artefakty przenośnymi, niezależnymi powtórkami, a nieporozumienia możliwe do rozpoznania przed ogłoszeniem replikacji lub porażki.
Wykonaj wszystkie trzy zadania. Pokaż założenia, jednostki, niepewność oraz granicę między obliczeniem, wnioskiem zależnym od modelu, obserwacją i nierozstrzygniętym twierdzeniem.
Zadanie 1 · wyprowadzenie
Rekonstruuj łańcuch zależności
Zaczynając od deklarowanego wyniku, wyciągnij pełny wykres zależności na podstawie surowych obserwacji poprzez kalibrację, wstępne przetwarzanie, model, statystykę i wykres. Zidentyfikuj każdy parametr, który może zmienić wniosek.
Wymagane elementy
- • Graf zależności w stylu pliku wykonywalnego
- • Manifest parametrów i wersji
- • Przeliczony wynik z śladem sumy kontrolnej
Kryteria oceny · 20 punktów
- • Wykres jest kompletny i uporządkowany: 8 punktów
- • Wersje i parametry są możliwe do odzyskania: 7 punktów
- • Przeliczenie odpowiada lub wyjaśnia niedopasowanie: 5 punktów
Zadanie 2 · analiza
Określ tę rozbieżność
Porównaj oryginalne i niezależne wyniki za pomocą szacunków efektów uwzględniających niepewność oraz modelu strukturalnej rozbieżności. Oceniaj wyjaśnienia protokołu, aparatu, środowiska, danych i analiz, zamiast traktować replikację jako głos binarny.
Wymagane elementy
- • Tabela porównywalnych rozmiarów efektu
- • Prawdopodobieństwo rozbieżności lub macierz decyzyjne
- • Wrażliwość na warianty rozsądnej analizy
Kryteria oceny · 20 punktów
- • Porównywalność i niepewności: 7 punktów
- • Wyjaśnienia konkurencyjnej rozbieżności: 7 punktów
- • Odporność i skalibrowane wnioski: 6 punktów
Zadanie 3 · projekt
Przeprowadz zamianę laboratoriów i rozstrzygnij ocenę
Zaprojektuj replikację w dwóch laboratoriach, w której zespoły wymieniają dane, kod, a gdzie praktyczne urządzenia lub artefakty kalibracyjne. Zachowaj niezależną analizę, a następnie zastosuj zamrożony proces rozstrzygania sporów.
Wymagane elementy
- • Zabezpieczenia macierzy swap i zanieczyszczenia
- • Niezależna analiza i sekwencja ujawniania
- • Plan usuwania rozbieżności i publicznego wydawania
Kryteria oceny · 20 punktów
- • Independence przetrwała wymianę: 7 punktów
- • Sekwencja ujawnienia lokalizuje rozbieżności: 7 punktów
- • Plan zwolnienia obejmuje negatywne i nieokreślone rezultaty: 6 punktów
Zarysy rozwiązań dla prowadzącego
Szukaj rozumowania odpornego na kontrolę
1. Rekonstruuj łańcuch zależności
- • Prześledz wynik nagłówka wstecz do surowych danych wejściowych, nie pomijając ręcznych transformacji.
- • Rejestruj oprogramowanie, kalibrację, losowe nasiona i zasady włączania.
- • Klasyfikuj wszelkie rozbieżności, zanim przypiszesz je naukowym niezgodzie.
2. Określ tę rozbieżność
- • Harmonizuj estimandy przed porównaniem wyników liczbowych.
- • Testuj z góry określone kategorie rozbieżności z dostępnymi dowodami.
- • Używaj replikowanych, nie replikowanych, sprzecznych i nieokreślonych tylko według wyraźnych kryteriów.
3. Przeprowadz zamianę laboratoriów i rozstrzygnij ocenę
- • Uruchamiaj komórki własnych danych/własnego kodu, swapped-data, swapped-code oraz współdzielone komórki kalibracyjne, jeśli to możliwe.
- • Zamroź główne wyniki przed dyskusją między zespołami.
- • Publikuj matrycę wyników, aby czytelnicy mogli zobaczyć, gdzie zmienia się porozumienie.