Metody eksperymentalne i analiza błędów
Projektuj pomiary, które przetrwają kalibrację, szum, obciążenie, replikację i wrogą ponowną analizę.
Połącz propagację niepewności, estymację parametrów, próby kontrolne, ślepe próby, przetwarzanie sygnałów, prerejestrację i otwarte dane wokół precyzyjnych testów kluczowych dla tego korpusu.
Zanim zaczniesz
- • Pomiar i mechanika z poziomu 2
- • Rachunek różniczkowy i prawdopodobieństwo
- • Swoboda w arkuszu kalkulacyjnym albo podstawy programowania
Na koniec będziesz umieć
- • Propagować niepewność przypadkową i systematyczną.
- • Dopasowywać modele i badać reszty, zamiast podawać same wskaźniki dopasowania.
- • Projektować testy zerowe, próby kontrolne, ślepe próby i prerejestrowane analizy.
- • Publikować odtwarzalne pakiety aparatury, kalibracji, danych i kodu.
Model interaktywny
Zbadaj, zanim policzysz
Interaktywne laboratorium, zestaw dydaktyczny i narzędzia oceny do tego kursu są po angielsku →
Lekcja 1 z 3
Kalibracja i budżety niepewności
Która niepewność jest statystyczna, która systematyczna i która korelacja uniemożliwia zwykłe uśrednianie?
Niepewność przypadkowa zmienia się między próbami i często maleje przy powtarzanych niezależnych pomiarach. Niepewność systematyczna przesuwa wyniki spójnie i wymaga kalibracji, porównania albo przeprojektowania.
Budżet wymienia każdy wkład, rozkład, korelację, współczynnik czułości i regułę składania.
Przykład rozwiązany
Dla z=x+y przy niezależnych σx=0,3 i σy=0,4 znajdź σz.
- 1. Skorzystaj z dodawania wariancji dla niezależnych wielkości wejściowych.
- 2. σz²=0.3²+0.4².
- 3. Wyciągnij pierwiastek kwadratowy.
σz=0,5.
Spróbuj
Budżet niepewności przyrządu
Materiały: Dowolna specyfikacja czujnika i zbiór powtórzonych pomiarów.
- 1. Wypisz rozdzielczość, kalibrację, dryf, ustawienie i powtarzalność.
- 2. Przypisz jednostki i rozkłady.
- 3. Przelicz je na czułości wyniku.
- 4. Uszereguj wkłady.
Zwróć uwagę: To największa niepewność — a nie najbardziej efektowne miejsce po przecinku — wyznacza zdolność rozdzielczą eksperymentu.
Sprawdź, czy rozumiesz: Dlaczego powtarzanie obciążonego pomiaru nie usuwa błędu systematycznego?
Odpowiedź: Obciążenie przesuwa wszystkie próby spójnie, zamiast losowo uśredniać się wokół prawdy.
Potrzebna jest zewnętrzna kalibracja albo zmieniona metoda.
Lekcja 2 z 3
Dopasowywanie modeli, reszty i efekt szukania gdzie indziej
Czy dopasowany parametr opisuje sygnał, niedopasowanie modelu, czy wybór dokonany po obejrzeniu danych?
Estymacja parametrów porównuje dane z modelem wiarygodności albo funkcji straty. Struktura reszt może ujawnić brakującą fizykę, dryf, nieliniowość albo błędne założenia o szumie.
Przeszukiwanie wielu okien, częstotliwości albo modeli zawyża prawdopodobieństwo fałszywego trafienia. Zakres przeszukiwania trzeba uwzględnić albo potwierdzić wynik na odłożonych danych.
Przykład rozwiązany
Dopasowanie prostej ma wysokie R², ale reszty układają się w systematyczną krzywiznę. Czy model jest właściwy?
- 1. Przyjrzyj się położeniu i znakowi reszt.
- 2. Rozpoznaj nielosową krzywiznę.
- 3. Przetestuj uzasadniony model alternatywny.
- 4. Zweryfikuj go na nowych danych.
Wysokie R² nie ratuje modelu liniowego, który jest strukturalnie błędny.
Spróbuj
Ślepe wstrzyknięcie sygnału
Materiały: Syntetyczne zaszumione dane z ukrytymi wstrzykniętymi amplitudami.
- 1. Zamroź regułę detekcji, zanim etykiety zostaną ujawnione.
- 2. Przeanalizuj wszystkie pliki tak samo.
- 3. Ujawnij wstrzyknięcia.
- 4. Zmierz fałszywe trafienia, pominięcia i obciążenie.
Zwróć uwagę: Zachowanie potoku analizy wobec znanej ukrytej prawdy jest mocniejszym dowodem niż strojenie go pod jeden upragniony sygnał.
Sprawdź, czy rozumiesz: Jaki problem rozwiązuje odłożony zbiór danych?
Odpowiedź: Sprawdza, czy model albo próg uogólnia się poza dane użyte do jego wyboru.
Ogranicza przeuczenie i obciążenie doborem.
Lekcja 3 z 3
Próby kontrolne, prerejestracja i replikacja
Jaka obserwacja oddzieliłaby proponowany mechanizm od artefaktów cieplnych, mechanicznych, elektromagnetycznych i analitycznych?
Kontrole pozytywne dowodzą czułości; kontrole negatywne mierzą tło; warunki z odwróceniem i próby pozorowane sprawdzają kierunek albo zależność charakterystyczną dla mechanizmu.
Prerejestracja zamraża główne wyniki i kryteria wykluczeń przed poznaniem rezultatów. Niezależna replikacja zmienia badaczy i aparaturę, zachowując rozstrzygające przewidywanie.
Przykład rozwiązany
Waga z wnęką pokazuje ciąg tylko przy włączonym zasilaniu. Wymień cztery czynniki zakłócające i rozstrzygające próby kontrolne.
- 1. Rozszerzalność cieplna: pozorowana próba z dopasowaną grzałką.
- 2. Siła od kabli: zasilanie bezprzewodowe albo symetryczne doprowadzenie i odwrócenie.
- 3. Sprzężenie magnetyczne: ekranowanie i mapowanie pola.
- 4. Drgania i dobór danych: akcelerometry i prerejestrowane okna analizy.
Wiarygodny układ moduluje proponowany sygnał niezależnie od każdego głównego artefaktu.
Spróbuj
Prerejestracja eksperymentu zerowego
Materiały: Jednostronicowy szablon protokołu.
- 1. Podaj główne przewidywanie i falsyfikator.
- 2. Określ liczebność próby i kryteria wykluczeń.
- 3. Wypisz próby kontrolne i harmonogram kalibracji.
- 4. Zamroź plan analizy i udostępnienia danych.
Zwróć uwagę: Prerejestracja czyni późniejsze decyzje możliwymi do zweryfikowania, nie zakazując eksploracyjnych badań uzupełniających.
Sprawdź, czy rozumiesz: Dlaczego powtórzenie na tej samej aparaturze w tym samym laboratorium jest słabsze niż niezależna replikacja?
Odpowiedź: Wspólny sprzęt, kod, ludzie i założenia mogą odtworzyć ten sam ukryty artefakt.
Niezależność celowo zmienia potencjalne sposoby, w jakie eksperyment może zawieść.
Od wzoru do znaczenia
Przeczytaj równanie zwykłym językiem.
σ_f²≈JΣJᵀ
Jakobian czułości i macierz kowariancji propagują skorelowaną niepewność wejściową.
χ²=Σ[(y_i−m_i)/σ_i]²
Ważone kwadraty reszt porównują model z danymi przeskalowanymi przez niepewność.
SNR=signal scale/noise scale
Stosunek sygnału do szumu ma sens dopiero po zdefiniowaniu pasma, estymatora i modelu szumu.
Praktyka samodzielna
Zestaw zadań
Rozwiąż każde zadanie, zanim otworzysz podpowiedź i rozwiązanie.
1. Uśredniasz cztery niezależne pomiary, każdy z σ=2. Jaka jest niepewność standardowa średniej?
Pokaż podpowiedź
σ_śr=σ/√N.
Pokaż rozwiązanie
1.
2. Przeprowadzono dwa niezależne poszukiwania na poziomie 3σ. Czy łączne prawdopodobieństwo fałszywego alarmu wciąż odpowiada jednemu testowi 3σ?
Pokaż podpowiedź
Więcej okazji oznacza więcej fałszywych alarmów.
Pokaż rozwiązanie
Nie; wprowadź poprawkę na przeszukiwanie dwoma testami albo potwierdź wynik na odłożonych danych.
3. Wynik zmienia znak przy odwróceniu orientacji aparatury, a kierunek efektu cieplnego się nie zmienia. Co to ustala?
Pokaż podpowiedź
Pomyśl o rozróżnianiu, a nie o ostatecznym dowodzie.
Pokaż rozwiązanie
Osłabia wyjaśnienia cieplne niezależne od orientacji i wspiera efekt powiązany z kierunkiem, ale pozostają inne odwracalne efekty systematyczne i kwestia replikacji.
Pracownia wyprowadzeń
Zbuduj wynik, linijka po linijce.
Trzymaj założenia na widoku, żeby matematyka pozostała sprawdzalna.
Punkt wyjścia
Propagacja niepewności w pierwszym rzędzie
f(x₁,…,xₙ) expanded around measured means
- 1. Rozwiń f w szereg Taylora do pierwszego rzędu.
- 2. Zapisz δf≈ΣJᵢδxᵢ.
- 3. Podnieś do kwadratu i weź wartość oczekiwaną.
- 4. Zachowaj wyrazy kowariancyjne.
Var(f)≈JΣJᵀ
Korelacje mogą zwiększać albo zmniejszać niepewność wyniku; niezależne sumowanie kwadratów to przypadek szczególny.
Punkt wyjścia
Estymator ważonych najmniejszych kwadratów
χ²(a)=Σ[(yᵢ−a xᵢ)/σᵢ]² for a zero-intercept model
- 1. Zróżniczkuj χ² względem a.
- 2. Przyrównaj pochodną do zera.
- 3. Zbierz ważone sumy xᵢyᵢ oraz xᵢ².
- 4. Rozwiąż względem a.
â=Σ(xᵢyᵢ/σᵢ²)/Σ(xᵢ²/σᵢ²)
Punkty dokładniejsze mają większą wagę przy założonym modelu niezależnego szumu gaussowskiego.
Notatnik obliczeniowy
Zamień model w eksperyment.
Potok testu zerowego dla precyzyjnego pomiaru siły
Czy prerejestrowana analiza odtworzy wstrzyknięte siły, nie biorąc dryfu, drgań ani ogrzewania za ciąg?
Dane wejściowe
- • Syntetyczny szereg czasowy z wagi
- • Kanały temperatury, akcelerometru, mocy i orientacji
- • Ukryty harmonogram wstrzyknięć
Algorytm
- 1. Skalibruj model linii bazowej i dryfu na danych treningowych.
- 2. Zamroź filtry i główny estymator.
- 3. Przeprowadź analizę ślepą.
- 4. Ujawnij wstrzyknięcia i policz miary detekcji, obciążenia i fałszywych alarmów.
Dowody do uzyskania
- • Budżet niepewności i kowariancji
- • Wykresy reszt i wykresy diagnostyczne
- • Tabela odzysku w analizie ślepej i odtwarzalny raport z analizy
Idź dalej, do dowodów