The Spacetime Metric
Poziom 6 · Przygotowanie do badańŚcieżka doktorancka i badań własnychOkoło 30 godzin

Laboratorium otwartej replikacji

Spraw, by aparatura, dane, kod i spory były na tyle przenośne, żeby niezależne laboratorium odtworzyło wynik.

Model interaktywny

Zbadaj, zanim policzysz

Trzy odrębne stanowiska pomiarowe: dostarczanie energii, odpowiedź ograniczonego ośrodka i stanowisko pomiaru siły, z pustym końcowym zapisem.
Plan replikacji określa pomiar i próbę kontrolną dla każdego stanowiska. Końcowy zapis pozostaje niewypełniony, dopóki nie zostanie zmierzona bezpośrednia, skalibrowana odpowiedź geometrii lub przemieszczenia.

Pobieranie oryginalnego notatnika poniżej pozostaje po angielsku.

Interaktywna przestrzeń badawcza

Przenośny pakiet replikacji

Zaznaczaj tylko artefakty, które inne laboratorium może rzeczywiście sprawdzić. Przegląd pozostaje zamknięty, dopóki teza, system fizyczny, pomiary, obliczenia i niezależne wykonanie nie mają trwałych dowodów.

Etap przeglądu

Zdefiniuj twierdzenie

0/12 · 0%

Protokół
Aparatura i próbka
Kalibracja
Dane
Kod
Niezależna recenzja

Poziom 6 · Przygotowanie do badań · Zestaw dydaktyczny

Zapisz badanie. Nauczaj rozumowania.

Karta laboratoryjna dla ucznia i przewodnik dla prowadzącego zamieniają model interaktywny w powtarzalne badanie.

Karta ucznia

Przenośna bramka uwalniająca pakietu replikacyjnego

Czy niezależny zespół może odtworzyć stan aparatu, linię danych surowych, środowisko analizy oraz ogłoszoną decyzję bez prywatnego wyjaśnienia?

Pobierz Markdown dla ucznia

Przewodnik prowadzącego

Nauczaj badania, nie interfejsu

Naukowcy zamieniają wynik eksploracyjny w przenośny, niezależnie wykonalny pakiet dowodów, który zachowuje pozytywne, niekorzystne i nieudane rezultaty.

Pobierz Markdown dla prowadzącego
Otwórz kompletny zestaw do druku →

Zaawansowana ocena

Odtwórz. Oblicz. Spróbuj obalić.

Uczynić artefakty przenośnymi, niezależnymi powtórkami, a nieporozumienia możliwe do rozpoznania przed ogłoszeniem replikacji lub porażki. Trzy zadania na poziomie badawczym zawierają jasne wymagania i kryteria oceny.

1. wyprowadzenie2. analiza3. projekt
Otwórz zestaw zadańMarkdown dla uczniaMarkdown dla prowadzącego

Przenośny zestaw danych badawczych

Zapisuj dane, które otworzy inne laboratorium.

Rekordy integralności artefaktów, powtórzenia w czystym środowisku, rozbieżności i publikacji. JSON zachowuje schemat i pochodzenie danych; CSV współpracuje ze zwykłymi narzędziami analitycznymi. Import pozostaje w tej przeglądarce i jest ograniczony do 1 MB oraz 5000 rekordów.

Pobierz schematPobierz notatnik (po angielsku)

Gotowe na nowy rekord badawczy.

ArtefaktlabelSuma kontrolnahashDostępnybooleanWynik niezależnylabelRozbieżnośćcategoryStan wydanialabelRekord
Definicje pól schematu
Artefakt · label
Wymagany artefakt pakietu.
Suma kontrolna · hash
Suma kontrolna integralności lub wersja.
Dostępny · boolean
Dostępność artefaktów.
Wynik niezależny · label
Wynik powtórki w czystym środowisku.
Rozbieżność · category
Protokół, aparat, środowisko, dane, analiza lub nic.
Stan wydania · label
Stan przejścia, zatrzymania lub remediacji.

Lekcja 1 z 3

Od efektu eksploracyjnego do kontraktu replikacyjnego

Które szczegóły muszą pozostać ustalone, a które trzeba celowo zmieniać, aby sprawdzić ogólność?

Replikacja bezpośrednia zachowuje rdzeń protokołu, a replikacja pojęciowa zmienia realizację, testując to samo przewidywanie. Obie potrzebują zamrożonej definicji efektu, liczebności próby, wykluczeń, prób kontrolnych i progu sukcesu.

Raport rejestrowany przenosi recenzję przed poznanie wyników. Pilotaże wykonalności powinny kalibrować wariancję, nie zużywając zbioru konfirmacyjnego i nie dostrajając po cichu głównego punktu końcowego.

replikacja bezpośrednia · replikacja pojęciowa · raport rejestrowany · główny punkt końcowy · analiza mocy testu

Przykład rozwiązany

Efekt eksploracyjny wybrano po obejrzeniu 20 wyników. Jak powinna wyglądać replikacja?

  1. 1. Wskaż jeden główny wynik przed zebraniem nowych danych.
  2. 2. Oszacuj efekt i niepewność zachowawczo.
  3. 3. Zaplanuj moc testu dla mniejszego wiarygodnego efektu.
  4. 4. Pozostałe wyniki traktuj jako drugorzędne albo eksploracyjne.

Replikacja bada jedną zamrożoną tezę, a nie powtarza pierwotnego procesu przeszukiwania.

Spróbuj

Warsztat utwardzania protokołu

Materiały: Praca eksploracyjna i notatki laboratoryjne

  1. 1. Wskaż swobody decyzyjne badacza.
  2. 2. Zamroź protokół główny.
  3. 3. Dodaj kontrole pozytywne i negatywne.
  4. 4. Zdefiniuj odstępstwa i reguły przerwania.

Zwróć uwagę: Większość zagrożeń dla odtwarzalności ujawnia się, gdy inny zespół próbuje wykonać protokół dosłownie.

Sprawdź, czy rozumiesz: Dlaczego dokładna kopia procedury może być słabą replikacją?

Odpowiedź: Może odtworzyć ten sam ukryty artefakt, tę samą partię próbek albo tę samą zależność analizy.

Warianty pojęciowe i niezależne sprawdzają ogólność i mechanizm.

Lekcja 2 z 3

Przenośna aparatura, próbki, dane i kod

Czy inne laboratorium odtworzy przebieg badania bez prywatnych wyjaśnień od autorów?

Pakiet obejmuje rysunki, wykazy materiałów, oprogramowanie układowe, świadectwa kalibracji, proweniencję próbek, dzienniki środowiskowe, surowe niezmienne dane, schematy metadanych i wykonywalne środowiska analizy.

Sumy kontrolne, wersjonowane kontenery, słowniki danych i testy automatyczne chronią przed cichym dryfem. Ograniczenia wynikające z poufności albo praw własności trzeba zadeklarować, bo zmniejszają możliwość niezależnej kontroli.

proweniencja · suma kontrolna · kontener · słownik danych · odtwarzalność obliczeniowa

Przykład rozwiązany

Kod działa tylko na pierwotnym laptopie. Co trzeba zmienić?

  1. 1. Zamroź zależności i środowisko uruchomieniowe.
  2. 2. Dodaj minimalny zbiór danych testowych.
  3. 3. Udokumentuj deterministyczne polecenia.
  4. 4. Zweryfikuj to na czystej maszynie.

Kontener albo zablokowane środowisko wraz z testami zamienia lokalne uruchomienie w przenośny artefakt.

Spróbuj

Odtworzenie w warunkach czystego pokoju

Materiały: Projekt pakietu oraz świeża maszyna lub konto

  1. 1. Kieruj się wyłącznie opublikowaną instrukcją.
  2. 2. Zanotuj każdą niejasność.
  3. 3. Odtwórz główną tabelę i główny rysunek.
  4. 4. Zgłoś niepowodzenia jako konkretne usterki pakietu.

Zwróć uwagę: Porażka w czystym pokoju mówi o dokumentacji i ukrytym stanie, niekoniecznie o samym wyniku.

Sprawdź, czy rozumiesz: Dlaczego potrzebne są zarówno dane surowe, jak i kalibracyjne?

Odpowiedź: Wyniki przetworzone nie pokażą, czy efektu nie wytworzyła kalibracja, filtrowanie albo wykluczenia.

Cały łańcuch przekształceń musi być możliwy do skontrolowania.

Lekcja 3 z 3

Rozstrzyganie rozbieżności i żywa synteza

Gdy laboratoria się nie zgadzają, który eksperyment albo która analiza rozstrzygnie różnicę?

Rozbieżności mogą wynikać ze stanu próbki, czułości aparatury, otoczenia, kalibracji, analizy albo przypadku. Zaślepione wymiany próbek, wspólne wzorce kalibracyjne i krzyżowa analiza tych samych danych surowych pozwalają zlokalizować źródło.

Żywa metaanaliza obejmuje wszystkie prerejestrowane wyniki, modeluje niejednorodność i nie traktuje liczby publikacji jako niezależności. Spór staje się celem badawczym, a nie potyczką o reputację.

niejednorodność · wymiana próbek · analiza krzyżowa · metaanaliza · obciążenie publikacyjne

Przykład rozwiązany

Laboratorium A widzi efekt, laboratorium B nie. Które dwie wymiany najlepiej zlokalizują przyczynę?

  1. 1. Niech każde laboratorium przeanalizuje ten sam surowy zbiór danych.
  2. 2. Wymieńcie zaślepione próbki albo urządzenia.
  3. 3. Użyjcie wspólnego wzorca kalibracyjnego.
  4. 4. Porównajcie, za czym podąża wynik: za danymi, próbką czy aparaturą.

Analiza krzyżowa oraz wymiana próbek i urządzeń oddzielają efekty analizy od efektów realizacji fizycznej.

Spróbuj

Drzewo decyzyjne dla rozbieżności

Materiały: Sprzeczne syntetyczne wyniki laboratoriów

  1. 1. Zbadaj różnice w potokach przetwarzania danych.
  2. 2. Zbadaj kalibrację i czułość.
  3. 3. Wymieńcie próbki i urządzenia.
  4. 4. Zaplanujcie najmniejszy rozstrzygający eksperyment.

Zwróć uwagę: Wiele sporów da się rozstrzygnąć taniej niż przez powtórzenie obu badań na większą skalę.

Sprawdź, czy rozumiesz: Czy metaanaliza z efektami losowymi czyni obciążone dane wejściowe wiarygodnymi?

Odpowiedź: Nie.

Modeluje niejednorodność, ale nie naprawi wspólnych artefaktów, wybiórczego raportowania ani błędnego pomiaru.

Od wzoru do znaczenia

Przeczytaj równanie zwykłym językiem.

  1. N≈2(z_{1−α/2}+z_{1−β})²σ²/δ²

    Przybliżenie planistyczne dla dwóch grup wiąże liczebność próby z niepewnością, docelowym efektem, poziomem błędu i mocą testu.

  2. I²=max[0,(Q−df)/Q]

    I-kwadrat podsumowuje obserwowaną niejednorodność metaanalityczną ponad błąd losowy.

  3. SHA256(plik)=skrót

    Skrót kryptograficzny wykrywa ciche zmiany w danych, kodzie i artefaktach.

Praktyka samodzielna

Zestaw zadań

Rozwiąż każde zadanie, zanim otworzysz podpowiedź i rozwiązanie.

  1. 1. Dlaczego planować moc replikacji dla efektu mniejszego niż oszacowanie eksploracyjne?

    Pokaż podpowiedź

    Pomyśl o klątwie zwycięzcy i o doborze.

    Pokaż rozwiązanie

    Oszacowania eksploracyjne bywają zawyżone; zachowawczy cel zmniejsza ryzyko fałszywej porażki i poprawia planowanie.

  2. 2. Jeśli dwa laboratoria korzystają z jednej partii próbek i tego samego kodu analizy, które zależności pozostają skorelowane?

    Pokaż podpowiedź

    Pomyśl o źródłach fizycznych i obliczeniowych.

    Pokaż rozwiązanie

    Efekty charakterystyczne dla próbki i wspólne artefakty analizy pozostają skorelowane mimo różnych lokalizacji.

  3. 3. Co ustala zmieniony skrót SHA-256?

    Pokaż podpowiedź

    Porównuje bajty, a nie sens naukowy.

    Pokaż rozwiązanie

    Że zmieniły się bajty pliku; nie mówi, czy zmiana była zasadna ani co znaczy naukowo.

Pracownia wyprowadzeń

Zbuduj wynik, linijka po linijce.

Trzymaj założenia na widoku, żeby matematyka pozostała sprawdzalna.

  1. Punkt wyjścia

    Skalowanie liczebności próby w replikacji

    Stosunek sygnału do szumu standaryzowanej różnicy rośnie jak δ√N/σ

    1. 1. Ustal próg krytyczny dla alfa.
    2. 2. Dodaj próg mocy dla beta.
    3. 3. Rozwiąż względem √N.
    4. 4. Podnieś do kwadratu i uwzględnij podział na dwie grupy.

    N∝σ²/δ² przy ustalonych α i mocy statystycznej

    Zmniejszenie docelowego efektu o połowę wymaga mniej więcej czterokrotnie większej próby.

  2. Punkt wyjścia

    Synteza dowodów z wagami odwrotnymi do wariancji

    Niezależne oszacowania y_i o wariancjach σ_i²

    1. 1. Zapisz gaussowską log-wiarygodność.
    2. 2. Zróżniczkuj względem wspólnej średniej.
    3. 3. Przyrównaj pochodną do zera.
    4. 4. Rozwiąż względem średniej ważonej i wariancji.

    μ̂=Σ(y_i/σ_i²)/Σ(1/σ_i²)

    Badania dokładniejsze ważą więcej tylko wtedy, gdy ich niepewności są poprawne, a założenia o niezależności spełnione.

Notatnik obliczeniowy

Zamień model w eksperyment.

  1. Koordynator replikacji międzylaboratoryjnej

    Która zależność wyjaśnia rozbieżność i jaki jest minimalny rozstrzygający eksperyment?

    Dane wejściowe

    • • Prerejestrowane wyniki laboratoriów
    • • Pakiety danych surowych i kalibracji
    • • Proweniencja próbek i urządzeń
    • • Odstępstwa od protokołu

    Algorytm

    1. 1. Odtwórz każdą analizę w czystym środowisku.
    2. 2. Zamodeluj niejednorodność laboratoriów i próbek.
    3. 3. Zasymuluj wyniki analizy krzyżowej i wymiany.
    4. 4. Wybierz najbardziej informatywny kolejny eksperyment.

    Dowody do uzyskania

    • • Macierz statusu odtworzeń
    • • Model niejednorodności i zależności
    • • Protokół rozstrzygania rozbieżności

Pracownia czytania artykułów

Przepytaj źródło, nie jego reputację.

Odtwórz założenia, powtórz jedno obliczenie i zatrzymaj się na granicy opisanych dowodów.

  1. Audyt gotowości do replikacji

    Czy niezależny zespół odtworzyłby tezę z opublikowanego pakietu bez uprzywilejowanego kontaktu z autorami?

    1. 1. Zamroź dokładną tezę i punkt końcowy.
    2. 2. Skontroluj proweniencję aparatury i próbek.
    3. 3. Uruchom kod z czystego środowiska.
    4. 4. Przelicz ponownie moc testu, niepewność i syntezę wszystkich serii.

    Obliczenie do powtórzenia: Odtwórz główne oszacowanie oraz jedną analizę czułości albo niejednorodności z danych surowych.

    Granica dowodów: Replikacja wzmacnia tezę o określonym zakresie; nie ustala automatycznie proponowanego mechanizmu ani szerszej interpretacji technologicznej.

Obrona ustna na poziomie doktoranckim

Obroń ograniczone twierdzenie pod presją.

Przedstaw najmocniejsze poparcie, uczciwie postaw najmocniejszy zarzut i wskaż dowód, który naprawdę mógłby rozstrzygnąć sprawę.

  1. Teza

    Replikacje zerowe i rozbieżne są produktywnymi wynikami naukowymi, gdy protokół i pakiet są mocne.

    1. 1. Wykluczają obszary parametrów i ujawniają ukryte zależności.
    2. 2. Korygują zawyżone oszacowania eksploracyjne.
    3. 3. Wskazują tańsze eksperymenty rozstrzygające.

    Najmocniejszy zarzut: Replikacje o niskiej wierności mogą dawać fałszywe wyniki negatywne i konflikty reputacyjne, nie testując rzetelnie pierwotnego efektu.

    Dowód rozstrzygający: Audyty wierności protokołu, powodzenie kontroli pozytywnych, wspólne wzorce i eksperymenty rozbieżnościowe pokazujące, czy wynik podąża za próbką, aparaturą, czy analizą.

Praktyka badawcza

Najpierw zrób pracę sprawdzalną, dopiero potem efektowną.

Prerejestruj rozstrzygający test, spakuj każdą zależność i przejdź wyraźne bramki kamieni milowych, zanim rozszerzysz interpretację.

  1. Opublikuj pakiet niezależnej replikacji

    Czy jedna sporna teza odtwarza się w protokole, który inne laboratorium potrafi wykonać i skontrolować?

    Prerejestracja

    • • Zamroź tezę, punkt końcowy, próby kontrolne i próg sukcesu.
    • • Zaplanuj moc zachowawczo i zdefiniuj odstępstwa.
    • • Określ wymiany próbek i urządzeń oraz metaanalizę.

    Pakiet odtwarzalności

    • • Protokół, wykaz materiałów, oprogramowanie układowe i kalibracja
    • • Proweniencja próbek i urządzeń wraz z sumami kontrolnymi
    • • Dane surowe, metadane i kod w kontenerze
    • • Wykaz wszystkich serii i odpowiedzi dla recenzentów

    Bramki kamieni milowych

    1. 1. Uruchomienie pakietu w warunkach czystego pokoju
    2. 2. Zaliczenie kontroli pozytywnych i kalibracji
    3. 3. Ślepa seria konfirmacyjna
    4. 4. Niezależna recenzja i aktualizacja żywej syntezy

Idź dalej, do dowodów

Następna lektura, z jej źródłami