Lab · Badanie
Czy test przecieku potrafi oblać... przeciek?
W skrócie: W kontrolowanym eksperymencie celowo wprowadziłem do danych informację z przyszłości. Następnie sprawdziłem, czy testy zaprojektowane do wykrywania takich błędów rzeczywiście je rozpoznają. Test, który nie wykrywa błędu, nie dowodzi jeszcze jego nieobecności.
01 / Problem badawczy
W kontrolowanym eksperymencie celowo wprowadziłem do danych informację z przyszłości. Następnie sprawdziłem, czy testy zaprojektowane do wykrywania takich błędów rzeczywiście je rozpoznają.
Wynik był jednoznaczny dla części konfiguracji: test nie wykrył ani jednego błędu w 1000 seriach danych, mimo że błąd występował w każdej z nich.
Nie oznaczało to awarii testu. Porównania wykonywały się zgodnie z przyjętą procedurą. Problem polegał na tym, że sama konstrukcja testu nie pozwalała zobaczyć określonego rodzaju nieprawidłowości.
Postawiłem więc pytanie: jak sprawdzić wiarygodność mechanizmu kontrolnego, który sam może nie rozpoznawać błędów, przed którymi powinien chronić?
Jak informacja z przyszłości trafia do danych?
Rozważmy osiem kolejnych odczytów.
Przykład poglądowy — liczby służą wyjaśnieniu mechanizmu i nie pochodzą z eksperymentu.
| Odczyt | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 |
|---|---|---|---|---|---|---|---|---|
| Wartość rzeczywista | 10 | 11 | 9 | 12 | 13 | 12 | 14 | 15 |
| Po błędnej agregacji | 12 | 12 | 12 | 12 | 15 | 15 | 15 | 15 |
Odczyty podzieliłem na dwa przedziały, po cztery obserwacje każdy. Wartość końcową każdego przedziału przypisałem następnie wszystkim należącym do niego punktom.
W efekcie pierwszy odczyt otrzymuje wartość 12, choć pojawi się ona dopiero przy czwartym odczycie. Podobnie piąty odczyt otrzymuje wartość 15, znaną dopiero przy ósmym.
Obliczenia są poprawne arytmetycznie. Problem dotyczy czasu dostępności informacji.
Jeżeli wynik analizy przypisany określonej chwili wykorzystuje dane, które pojawiły się później, mamy do czynienia z przeciekiem informacji z przyszłości.
Taki błąd może pozostać niezauważony, ponieważ wartości nie muszą być nieprawidłowe. Są rzeczywiste — zostały jedynie użyte zbyt wcześnie.
Dlaczego test może tego nie zauważyć?
Jedna z metod wykrywania przecieku polega na porównaniu dwóch obliczeń. Pierwsze korzysta z całego zbioru danych. Drugie otrzymuje tylko jego początkowy fragment, tak jakby późniejsze obserwacje jeszcze nie istniały.
Jeżeli obliczenie korzystało z przyszłości, wyniki mogą się różnić. Test wykryje przeciek tylko wtedy, gdy różnica ujawni się w porównywanym zakresie.
Wróćmy do przykładu.
Cięcie po czwartym odczycie: oba obliczenia widzą zakończony przedział i przypisują jego punktom wartość 12. Wyniki są identyczne. Test nie zgłasza błędu.
Cięcie po trzecim odczycie: krótszy fragment kończy się wartością 9, natomiast pełny przedział kończy się wartością 12. Wyniki się różnią. Test wykrywa błąd.
Ten sam zbiór, ta sama transformacja i ten sam test. Zmieniło się wyłącznie miejsce odcięcia danych.
To pierwszy mechanizm, który poddałem badaniu.
Drugi mechanizm: zdarzenie rozpoznane po fakcie
Nie wszystkie przecieki wynikają z agregowania danych. Niektóre pojawiają się podczas rozpoznawania wzorców.
Rozważmy trzy kolejne wartości:
3 → 5 → 4
Środkowy punkt jest lokalnym maksimum. Można to jednak stwierdzić dopiero po zaobserwowaniu trzeciej wartości, ponieważ dopiero wtedy wiadomo, że nastąpił spadek.
Jeżeli wynik analizy oznaczy maksimum już przy wartości 5, korzysta z obserwacji, która w tamtym momencie nie była dostępna.
Dodatkowy problem pojawia się na końcu zbioru danych. Nie wiadomo jeszcze, czy ostatni punkt okaże się maksimum, ponieważ brakuje kolejnych obserwacji.
Tę niepewność można zapisać jako wartość pustą albo jako zero.
Postanowiłem sprawdzić również ten wariant, ponieważ pozornie techniczna decyzja może mieć zasadnicze znaczenie: test pomijający wartości puste może usunąć z porównania dokładnie te miejsca, w których przeciek staje się widoczny.
02 / Hipotezy
Zaprojektowałem eksperyment tak, aby świadomie wprowadzić dwa opisane błędy i sprawdzić skuteczność różnych sposobów ich wykrywania.
Przed napisaniem kodu przyjąłem hipotezy, przewidywania i kryteria oceny. Prerejestrację zamrożono przed startem eksperymentu, co potwierdza czas zapisu na serwerze repozytorium.
Chciałem rozstrzygnąć trzy główne kwestie.
Po pierwsze: czy położenie cięcia względem granic przedziałów decyduje o wykryciu błędu agregacji?
Po drugie: czy sposób traktowania wartości nieokreślonych może sprawić, że test przeoczy przeciek?
Po trzecie: czy zwiększenie liczby sprawdzanych punktów poprawia wykrywanie błędów pojawiających się rzadko?
Dodatkowo sprawdziłem, czy te same testy nie zgłaszają błędów na danych przetwarzanych poprawnie.
Każda hipoteza miała określone kryterium sukcesu lub porażki. Pełną listę, wraz z przewidywaniami liczbowymi, zamieściłem w aneksie metodologicznym.
03 / Metoda eksperymentu
Przygotowałem 1000 syntetycznych szeregów czasowych, każdy zawierający 17 280 obserwacji.
Dane generowałem jako proces losowy. Kolejne przyrosty były niezależne, dlatego wcześniejsze przyrosty nie pozwalały przewidywać następnych. Konstrukcja nie zawierała przewidywalnego sygnału w przyszłych przyrostach.
Na tych samych danych zastosowałem dwa rodzaje transformacji: poprawną, korzystającą wyłącznie z informacji dostępnej w danym momencie, oraz błędną, celowo wykorzystującą przyszłe obserwacje.
Następnie porównałem dwie konstrukcje testów.
Test jednego cięcia obliczał daną cechę na całej historii i na skróconym fragmencie, po czym porównywał wyniki dla wspólnego zakresu. Cięcie umieszczałem na granicy przedziału albo w losowym miejscu.
Test punktowy wybierał określoną liczbę obserwacji i dla każdej sprawdzał, czy wartość obliczona wyłącznie z dostępnej do tego momentu historii zgadza się z wartością uzyskaną na pełnym zbiorze.
Zbadałem konfiguracje wykorzystujące 10, 40 i 400 punktów kontrolnych.
Uwzględniłem także dwa warianty porównywania wyników: taki, który uznawał różnicę między wartością pustą a określoną za błąd, oraz taki, który pomijał wartości puste.
Jako podstawową miarę przyjąłem odsetek serii, w których test zgłosił co najmniej jedno odchylenie.
Na danych z celowym przeciekiem oznaczało to skuteczność wykrywania. Na poprawnie przetworzonych odpowiednikach — częstość fałszywych alarmów.
Eksperyment uruchomiłem jeden raz. Przed analizą wyników przeprowadzono również kontrole instrumentu, w tym sprawdzenie zgodności obliczeń na skróconych fragmentach z obliczeniami na pełnych prefiksach.
04 / Wyniki
1. Granica przedziału: zero wykryć
Wynik: 0 na 1000 serii przy każdym z trzech badanych rozmiarów przedziału.
Jeżeli cięcie wypadało dokładnie na granicy przedziału, test jednego cięcia nie wykrywał przecieku wywołanego błędną agregacją.
Nie był to przypadkowy brak trafienia. W takim położeniu oba obliczenia korzystały z tych samych zakończonych przedziałów i zwracały identyczne wartości.
Kiedy wybierałem cięcie losowo, skuteczność zależała od długości przedziału i wyniosła odpowiednio 74,4%, 90,9% oraz 97,7%.
Test punktowy, który sprawdzał dostępność informacji w wielu momentach, wykrył ten rodzaj przecieku we wszystkich badanych seriach i konfiguracjach.
2. Wartości puste: zero albo sto procent
Wynik: 0% wobec 100% wykryć, zależnie od sposobu porównywania.
W drugim wariancie wykorzystałem lokalne maksima, których rozpoznanie wymaga znajomości późniejszych obserwacji.
Gdy brakujące wartości oznaczałem jako puste, test pomijający je podczas porównania nie wykrył przecieku w żadnej z 1000 serii.
Ten sam test, uruchomiony na tych samych danych, lecz traktujący różnicę między wartością pustą a określoną jako odchylenie, wykrył przeciek we wszystkich seriach.
W teście punktowym wariant pomijający wartości puste nie uzyskał żadnego porównywalnego punktu. Zakwalifikowałem to jako wynik nierozstrzygnięty, a nie pozytywne przejście testu.
To szczególnie ważne rozróżnienie. Brak wykrytych odchyleń i brak możliwości wykonania porównania nie oznaczają tego samego.
3. Rzadkie zdarzenia: czterdzieści punktów nie wystarczyło do pewnego wykrycia
Wynik: 45,7% wykryć przy 40 punktach, wobec 99,9% przy 400 punktach w konfiguracji z najszerszym badanym oknem.
Lokalne maksimum jest zdarzeniem występującym tylko w części obserwacji.
Jeśli test sprawdza wyłącznie wybrane punkty szeregu, musi trafić na miejsce, w którym błąd staje się widoczny.
Przy zapisywaniu wartości nieokreślonych jako zero test jednego cięcia wykrywał przeciek w około 28–32% serii, zależnie od konfiguracji.
W teście punktowym zaobserwowałem wzrost wykrywalności wraz z liczbą obserwacji.
Dla najszerszego badanego okna otrzymałem:
| Liczba sprawdzanych punktów | Wykrycie |
|---|---|
| 10 | 11,0% |
| 40 | 45,7% |
| 400 | 99,9% |
Nie oznacza to, że 400 punktów stanowi uniwersalnie wystarczającą liczbę. Wynik zależy od częstości badanego zdarzenia, długości serii i rozmieszczenia kontroli.
Kontrola fałszywych alarmów
W 90 badanych konfiguracjach poprawnych odpowiedników transformacji, po 1000 serii każda, nie zaobserwowałem ani jednego fałszywego alarmu ani wyniku nierozstrzygniętego.
Nie traktuję tego jako dowodu zerowego ryzyka fałszywych alarmów we wszystkich zastosowaniach. Wynik pokazuje jedynie, że w przeprowadzonych testach problemem była niewystarczająca wykrywalność znanych błędów, a nie nadmierna liczba zgłoszeń na danych poprawnych.
05 / Odstępstwa i falsyfikacja
Hipotezy dotyczące wykrywania przecieków spełniły wszystkie wcześniej ustalone kryteria. Nie oznacza to jednak, że każda zaobserwowana wartość była dokładnie zgodna z przewidywaniem matematycznym.
W konfiguracjach wykorzystujących dziesięć punktów kontrolnych otrzymałem trzy wyniki niższe od oczekiwanych: 71,0% zamiast 74,4%, 39,4% zamiast 43,0% oraz 11,0% zamiast 13,3%.
Różnice mieściły się w prerejestrowanej tolerancji pięciu punktów procentowych, dlatego hipoteza spełniła formalne kryterium. Jednocześnie przedziały Wilsona 95% dla tych trzech wyników nie obejmowały przewidywanych wartości.
Wszystkie trzy pomiary wykonałem na tych samych seriach i punktach kontrolnych. Wyniki nie są więc niezależnymi obserwacjami, a przyczyny wspólnego odchylenia nie ustaliłem.
Nie przeprowadzałem dodatkowego przebiegu w celu jego wyjaśnienia. Pozostawiam ten wynik jako udokumentowaną niewiadomą, a nie podstawę do zmiany hipotez lub kryteriów po fakcie.
06 / Wnioski
Test, który nie wykrywa błędu, nie dowodzi jeszcze jego nieobecności. Najpierw trzeba wykazać, że potrafi rozpoznać błąd, którego istnienie jest pewne.
W przeprowadzonym eksperymencie zidentyfikowałem trzy konkretne sposoby, w jakie mechanizm kontrolny może nie spełnić swojego zadania.
Po pierwsze, test może porównywać dane w takim miejscu, że błąd pozostaje niewidoczny, mimo że występuje wcześniej w analizowanej historii.
Po drugie, sposób reprezentowania i pomijania wartości nieokreślonych może usunąć z kontroli właśnie te obserwacje, które ujawniłyby nieprawidłowość.
Po trzecie, kontrola wyrywkowa może mieć niewystarczającą szansę trafienia na rzadkie zdarzenie, nawet jeśli poprawnie rozpoznaje błąd w sprawdzonym punkcie.
Na tej podstawie formułuję praktyczną zasadę: mechanizm walidacyjny warto sprawdzać na kontrolowanych przykładach błędów, które ma wykrywać. W takim sprawdzeniu znaczenie mają zarówno konstrukcja danych, jak i sposób porównania oraz liczba obserwacji.
Uważam, że wnioski te mogą mieć znaczenie także podczas przygotowywania cech dla modeli uczenia maszynowego. W tym badaniu nie trenowałem jednak ani nie oceniałem żadnego modelu ML, dlatego nie przedstawiam wyników dotyczących jakości uczenia czy predykcji.
07 / Ograniczenia
Badanie przeprowadziłem na syntetycznych szeregach o niezależnych przyrostach z rozkładu normalnego. Nie badałem danych z rzeczywistych systemów, sezonowości, zmienności warunkowej, grubych ogonów ani braków obserwacji w danych wejściowych.
Oceniłem dwa rodzaje przecieku i dwie konstrukcje testów, w ściśle określonych konfiguracjach. Nie rozszerzam automatycznie uzyskanych wyników na wszystkie transformacje danych, metody walidacji ani systemy analityczne.
Wykorzystałem jedną implementację instrumentu i wykonałem jeden przebieg eksperymentu. Nie przeprowadzono niezależnej implementacji, a niewyjaśnione odstępstwo przy dziesięciu punktach pozostawiłem otwarte.
Eksperyment określa skuteczność wykrywania znanych, celowo wprowadzonych przecieków. Nie stanowi ogólnej gwarancji, że dane przechodzące określony test są wolne od nieuprawnionego wykorzystania informacji.
Aneks metodologiczny — szczegóły eksperymentu
W głównej części przedstawiłem pytanie badawcze, mechanizmy przecieku, wyniki i ich interpretację. Poniżej zamieszczam pełne hipotezy, definicje, parametry i wyniki potrzebne do technicznej oceny eksperymentu.
Hipotezy i kryteria
| ID | Przedmiot | Prerejestrowane kryterium |
|---|---|---|
| P1 | Agregacja, jedno cięcie na granicy przedziału | Wykrycie ≤ 1% dla każdego rozmiaru |
| P2 | Agregacja, cięcie losowe | Wykrycie bliskie 1 − 1/k, tolerancja ±5 pp |
| P3 | Lokalne maksimum, NaN, porównanie pomijające | Wykrycie ≤ 1% |
| P3b | Lokalne maksimum, NaN, porównanie ścisłe | Wykrycie ≥ 99% |
| P4 | Lokalne maksimum, zero, jedno cięcie | Wykrycie bliskie w · p(w), tolerancja ±5 pp |
| P5 | Lokalne maksimum, zero, test punktowy | Wykrycie bliskie 1 − (1 − p(w))^(N−1), tolerancja ±5 pp |
| P6 | Lokalne maksimum, NaN, test punktowy | Ścisły ≥ 99% wykryć; pomijający ≥ 99% wyników nierozstrzygniętych |
| P7 | Agregacja, test punktowy w 40 punktach | Wykrycie ≥ 99% |
| P8 | Czyste odpowiedniki wszystkich transformacji | 0 fałszywych alarmów na 1000 serii w każdej komórce |
Model danych
Każdy szereg składał się z 17 280 punktów. Kolejne przyrosty logarytmu wartości losowano niezależnie z rozkładu normalnego o średniej zero i odchyleniu standardowym 0,001.
Wartość szeregu otrzymywano przez wykładnikowanie skumulowanych przyrostów.
Wykorzystałem generator numpy.random.default_rng(20261106 + i), gdzie i przyjmowało wartości od 0 do 999. Te same serie służyły do porównań wszystkich wariantów testu.
Transformacje
Agregacja F1: długość przedziału k wynosiła 4, 12 albo 48 punktów. Wariant z przeciekiem przypisywał punktom wartość końca bieżącego przedziału. Wariant czysty wykorzystywał koniec poprzedniego, zakończonego przedziału.
Na skróconych danych ostatni, niezakończony przedział w wariancie z przeciekiem przyjmował ostatnią dostępną wartość.
Lokalne maksimum F2: szerokość okna w każdą stronę wynosiła w = 2, 5, 20. Wariant z przeciekiem oznaczał maksimum w jego własnym punkcie, wykorzystując obserwacje wcześniejsze i późniejsze. Wariant czysty oznaczał je dopiero po pojawieniu się wymaganych późniejszych obserwacji.
W miejscach, w których pełne okno nie było dostępne, używano NaN lub zera, zależnie od konfiguracji.
Konstrukcje testów
O-01: porównanie obliczeń na całej serii i na prefiksie kończącym się przed punktem cięcia. Cięcie na granicy wynosiło T = 8640. Cięcie losowe wybierano jednostajnie z zakresu od jednej czwartej do trzech czwartych długości szeregu, z generatora danej serii.
O-02: porównanie wartości obliczonej wyłącznie z danych dostępnych do wybranego punktu z wartością dla tego punktu uzyskaną na pełnej serii. Sprawdzano 10, 40 albo 400 równomiernie rozmieszczonych punktów od indeksu 200 do końca szeregu, z zaokrągleniem do indeksów całkowitych.
Dla wartości liczbowych odchyleniem była różnica większa niż 10⁻¹² × max(1, |b|), gdzie b oznaczało wartość referencyjną. W wariancie ścisłym uwzględniano także różnicę między NaN a wartością określoną.
Brak porównywalnych punktów oznaczał wynik nierozstrzygnięty.
Podstawa przewidywań
Dla symetrycznego błądzenia losowego z ciągłym rozkładem przyrostów prawdopodobieństwo lokalnego maksimum w oknie od t−w do t+w wynosi:
p(w) = (C(2w,w) / 4^w)²
Daje to około 14,1% dla w = 2, 6,1% dla w = 5 i 1,6% dla w = 20.
Ponieważ dwa takie maksima nie mogą znajdować się bliżej niż w punktów, prawdopodobieństwo wykrycia maksimum wśród ostatnich w punktów przed cięciem wynosi w × p(w).
Dla m punktów kontrolnych o nienakładających się oknach prawdopodobieństwo znalezienia co najmniej jednego maksimum wynosi:
P(wykrycie) = 1 − (1 − p(w))^m
W badanym teście punktowym ostatnia obserwacja serii nie mogła dać odchylenia dla tej cechy, dlatego dla N punktów przyjąłem m = N−1. Pozostałe punkty kontrolne były oddalone od siebie wystarczająco, aby ich okna się nie nakładały.
Pełne wyniki — agregacja
| Długość przedziału | Cięcie na granicy | Cięcie losowe |
|---|---|---|
| 4 | 0,0% | 74,4% (75,0%) |
| 12 | 0,0% | 90,9% (91,7%) |
| 48 | 0,0% | 97,7% (97,9%) |
W nawiasach podano przewidywania. Dla testu jednego cięcia obie wersje porównania dały identyczne wyniki. Test punktowy wykrył przeciek w 100% serii przy wszystkich trzech długościach przedziału i wszystkich liczbach punktów kontrolnych.
Pełne wyniki — lokalne maksimum, jedno cięcie
W każdej komórce podano wynik dla cięcia na granicy i cięcia losowego.
| Szerokość okna | NaN, pomijające | NaN, ścisłe | Zero, ścisłe |
|---|---|---|---|
| 2 | 0,0% / 0,0% | 100% / 100% | 28,2% / 27,5% |
| 5 | 0,0% / 0,0% | 100% / 100% | 29,8% / 30,6% |
| 20 | 0,0% / 0,0% | 100% / 100% | 31,8% / 32,0% |
Przewidywania dla wariantu z zerami wynosiły odpowiednio 28,1%, 30,3% i 31,4%.
Pełne wyniki — lokalne maksimum, test punktowy
Wartości nieokreślone zapisane jako zero.
| Szerokość okna | 10 punktów | 40 punktów | 400 punktów |
|---|---|---|---|
| 2 | 71,0% (74,4%) | 99,9% (99,7%) | 100% (100%) |
| 5 | 39,4% (43,0%) | 90,9% (91,3%) | 100% (100%) |
| 20 | 11,0% (13,3%) | 45,7% (46,1%) | 99,9% (99,8%) |
W nawiasach podano przewidywania.
Dla dziesięciu punktów kontrolnych przedziały Wilsona 95% wynosiły odpowiednio 68,1–73,7%, 36,4–42,5% oraz 9,2–13,1%. Wszystkie trzy nie obejmowały wartości przewidywanych.
Dla 40 punktów i szerokości okna 20 przedział Wilsona wynosił 42,6–48,8%.
Kontrola instrumentu i wykonanie
Dla 20 serii poprawne wersje wszystkich cech przeszły test punktowy we wszystkich 3 074 400 sprawdzonych punktach. W 9000 kontrolach obliczenie na skróconym fragmencie było identyczne z obliczeniem na pełnym prefiksie. W każdej z 20 serii wariant z przeciekiem różnił się od czystego.
Eksperyment wykonałem przy użyciu Pythona 3.13.5 i NumPy 2.5.4. Jeden przebieg z wykorzystaniem 48 procesów równoległych trwał 2,9 sekundy.
Badanie wykorzystuje dane syntetyczne, dlatego jego niezależne powtórzenie nie wymaga dostępu do prywatnych zbiorów. Zgodność statystyczna odrębnej implementacji nie oznacza koniecznie uzyskania identycznych serii przy innym generatorze losowym.
08 / Od autora
W praktyce inżynierskiej często spotykam sytuacje, w których zarówno mechanizm obliczeniowy, jak i jego testy są poprawne pod względem technicznym i logicznym. Mimo to uzyskany wynik okazuje się nieprawidłowy, a w niektórych przypadkach nawet kusząco optymistyczny. Przyczyna leży poza obszarem, który obejmowała kontrola.
Tak jest również w przypadku przedstawionym w tym badaniu. Problem nie musi tkwić w samym algorytmie ani w implementacji testu, lecz w sposobie przygotowania i agregacji danych, które do niego trafiają.
Brak odpowiednich zabezpieczeń już na etapie projektowania mechanizmu przetwarzania danych może sprawić, że dalsze obliczenia będą wykonywane poprawnie, ale na podstawie informacji, które nie powinny być jeszcze dostępne.
Z mojego doświadczenia wynika, że jest to jedna z mniej oczywistych kategorii problemów inżynierskich. Łatwo ją przeoczyć podczas projektowania, a później trudno zidentyfikować, ponieważ poszczególne komponenty mogą działać dokładnie tak, jak zostały zaprojektowane.
Poprawność działania poszczególnych elementów nie gwarantuje poprawności wyniku całego procesu.
Jak cytować
Bartłomiej Pietrzyk, „Czy test przecieku potrafi oblać... przeciek?”
4digital Lab, 07.11.2026, https://lab.4digital.cloud/pl/czy-test-przecieku-potrafi-oblac-przeciek/
Warunki wykorzystania opracowań i danych ustalane są indywidualnie.