Celem każdego laboratorium jest wykonywanie pomiarów, które będą pewne. Aby to zapewnić, należy wypracować metody, które zapewnią wysoką jakość funkcjonowania metody pomiarowej. Dla laboratoriów, które są na początku drogi do walidacji swoich metod, może się ona wydawać długa i trudna, dlatego też autorzy tego artykułu mają nadzieję, że dostarczy on, choć w niewielkim stopniu, niezbędnej do przejścia tej drogi wiedzy. Artykuł został podzielony na dwie części. W pierwszej omówione zostanie ogólne podejście do walidacji i zostanie omówiona część wykorzystywanych metod statystycznych. W drugiej części oprócz kolejnej dawki statystyki opisany zostanie praktyczny sposób automatyzacji przeprowadzanych analiz statystycznych.

 

Walidacja w Instytucie Chemicznej Przeróbki Węgla

Jednym z elementów statystycznego sterowania jakością w laboratorium jest walidacja metod badawczych. Słowo validus pochodzi z języka łacińskiego i tłumaczone jest jako: silny, mocny, twardy. Według normy PN-EN ISO 9000:2005 „Systemy zarządzania jakością. Podstawy i terminologia” walidacja to „potwierdzenie, poprzez przedstawienie obiektywnego dowodu, że zostały spełnione wyspecyfikowane wymagania dotyczące konkretnego, zamierzonego użycia lub zastosowania”. Od kilku lat obserwuje się znaczny wzrost znaczenia badań analitycznych w pracach badawczych i technologicznych, rosną wymagania co do jakości uzyskiwanych wyników, dlatego tak ważne jest wprowadzenie do praktyki laboratoryjnej systemu kontroli poprzez wyznaczanie niepewności pomiaru i przeprowadzanie procesu walidacji metod badawczych. Przeprowadzenie procesu walidacji metod analitycznych w laboratorium jest korzystne ze względu na to, że w trakcie walidacji laboratorium uzyskuje informacje na temat wszystkich czynników wpływających na niepewność wyniku końcowego, co pozwala doskonalić lub optymalizować metodę.

Instytut Chemicznej Przeróbki Węgla w Zabrzu został utworzony w 1955 roku uchwałą Rady Ministrów. W zakres działalności Instytutu wchodzi prowadzenie badań naukowych i prac rozwojowych w dziedzinie: wytwarzania koksu, paliw, przetwórstwa i użytkowania paliw, energetycznego wykorzystania biomasy i odpadów, przetwarzania i wykorzystania produktów węglopochodnych. Zespół Laboratoriów Instytutu (patrz str. 6-8), w skład którego wchodzą: Laboratorium Fizykochemii, Laboratorium Karbochemii, Laboratorium Sorbentów Węglowych, Wód i Ścieków oraz Laboratorium Spalania, posiada certyfikat akredytacji laboratorium badawczego Nr AB 081. W zespole Laboratoriów Instytutu prowadzi się badania z wykorzystaniem 89 metod. Metody badawcze stosowane w laboratoriach Instytutu Chemicznej Przeróbki Węgla w Zabrzu należą do następujących grup:

1. Metody zgodne normami krajowymi lub międzynarodowymi, wykonywane w zakresie zastosowań i zgodne z procedurą podaną w normie.

2. Metody opracowane przez producentów aparatury badawczej, opisane w czasopismach naukowych, opracowane przez inne instytuty, uczelnie wyższe i poddane walidacji przez producenta aparatury.

3. Metody generalnie zgodne z uznanymi normami krajowymi albo międzynarodowymi, lecz zmodyfikowane w laboratoriach IChPW i wykonywane w sposób skorygowany albo w zmienionym zakresie.

4. Metody opracowane w laboratoriach IChPW i wykonywane zgodnie z procedurą opracowaną w laboratorium.

Dla metod należących do grupy 1 i 2 może zostać wykonana uproszczona walidacja, natomiast wprowadzenie do rutynowej techniki laboratoryjnej metod z grupy 3 i 4 wymaga wykonania pełnej walidacji. Walidacja metod badań stosowanych w laboratoriach IChPW obejmuje następujące etapy postępowania:

– Określenie zakresu stosowania metody badań, co oznacza określenie zmienności parametrów badanych próbek oraz zakresu zmienności matrycy badanych próbek.

– Opracowanie przez kierownika laboratorium programu badań walidacyjnych z podaniem odpowiednich wartości kryterialnych wymaganych dla walidowanej metody badań.

– Zatwierdzenie programu walidacji przez kierownika ds. jakości i dyrektora ds. badań i rozwoju.

– Wykonanie przez personel laboratorium badań walidacyjnych zgodnie z zatwierdzonym programem walidacyjnym.

– Opracowanie przez kierownika laboratorium wyników badań walidacyjnych i przygotowanie pisemnego raportu z walidacji, uwzględniającego stwierdzenie o spełnieniu wymagań określonych w programie walidacji.

– Zatwierdzenie raportu z walidacji przez kierownika ds. jakości i dyrektora ds. badań i rozwoju jest równoznaczne z wprowadzeniem metody do bieżącego stosowania w laboratoriach IChPW.

Parametry i właściwości metody badań, które są badane podczas walidacji uproszczonej, to: odchylenie standardowe pojedynczego wyniku, odchylenie standardowe wartości średniej, przedział ufności wartości średniej dla poziomu ufności 0,95. Laboratoryjna powtarzalność metody badań – wyznaczana na poziomie ufności 0,95 z zastosowaniem rezultatów otrzymanych przy wyznaczeniu laboratoryjnej precyzji oraz z uwzględnieniem założenia, że z reguły będą wykonywane dwa oznaczenia badanego parametru. Obliczenie powtarzalności metody badań jest wykonane z zastosowaniem wszystkich kombinacji możliwych rozstępów między poszczególnymi wynikami otrzymanymi w serii oznaczeń wykonanych w krótkim odstępie czasu, po odrzuceniu – z zastosowaniem testu Q-Dixona – wszystkich  wyników obarczonych błędem grubym.

Podczas walidacji pełnej przeprowadza się najpierw walidację uproszczoną. Do oceny zgodności uzyskanych wyników badań, zamiast testu Q-Dixona, przeprowadza się analizę opartą na mocnych testach statystycznych na wykrywanie wartości niepewnych i odstających, stosując graficzne testy Mandela, test C-Cochrana i test Grubbsa. Do analizy statystycznej stosuje się procedurę opisaną w punkcie 7.6 i przedstawioną na schemacie blokowym „rysunek 3” normy PN-ISO 5725-2:2002 „Dokładność (poprawność i precyzja) metod pomiarowych i wyników pomiarów.”

Dodatkowo, tam gdzie zachodzi potrzeba, badane i wyznaczone są następujące parametry:

– granica detekcji i granica oznaczalności,

– zakres liniowości oraz parametry linii,

– selektywność i specyficzność,

– zgodność pomiędzy wynikami badań otrzymanymi metoda walidowaną i ogólnie uznana metodą.

 

Dodatkowe istotne zalecenia przy walidowaniu metody badań

1. Każda walidacja powinna być poprzedzona wnikliwą analizą czynników wpływających na błąd pomiaru oraz próbą minimalizacji czynników wpływających na wielkość błędu (właściwe przygotowanie próbek, homogenizacja, warunki poboru, warunki wykonania badania, doświadczenie personelu).

2. Dla wszystkich metod badań stosowanych w IChPW wyznacza się (gdzie to możliwe) niepewność złożoną.

3. W przypadku niezautomatyzowanych metod badań, gdy stopień wyszkolenia, stopień staranności wykonania czynności laboratoryjnych i doświadczenie pracownika mają wpływ na uzyskane wyniki, wyznacza się laboratoryjną powtarzalność z uwzględnieniem pomiarów wykonywanych przez różnych pracowników.

 

Jak pogodzić przeciwstawne cele?

Jak to przedstawiono powyżej, przeprowadzenie walidacji metody pomiarowej wiąże się z kosztami oraz jest czasochłonne. Czas przeprowadzenia walidacji zależy od czasu potrzebnego na opisanie metody, od ilości i rodzaju pomiarów (oznaczeń), jakie należy wykonać, i wreszcie od biegłości osoby odpowiedzialnej za walidację w metodach statystycznych wykorzystywanych do obróbki zebranych danych. W przypadku, kiedy zachodzi potrzeba walidacji niejednokrotnie dziesiątek metod pomiarowych, usprawnienie któregokolwiek z tych etapów przyniesie znaczący zysk. Opis metody, czy też wykonywanie pomiarów zazwyczaj nie pozostawia wiele pola do manewru w przeciwieństwie do statystycznej obróbki danych, którą można usystematyzować i zautomatyzować. Oczywiście wiedza statystyczna u zaangażowanych w walidację osób jest czynnikiem nieodzownym, niemniej odpowiednie jej usystematyzowanie może przynieść znaczącą poprawę jakości przeprowadzanych analiz. Celem współpracy pomiędzy IChPW i StatSoft było przede wszystkim zaproponowanie odpowiednich szablonów analiz, które pozwolą usystematyzować statystyki oraz pozwolą właśnie dzięki usystematyzowaniu zautomatyzować wykonywanie analiz. Dzięki takiemu podejściu udało się pogodzić dwa przeciwstawne cele: wykonać bezbłędnie odpowiedni zestaw analiz w krótkim czasie.

System do walidacji metod pomiarowych, który został wdrożony w IchPW, daje możliwość automatycznego tworzenia raportów w oparciu o zdefiniowane wcześniej szablony dokumentów MS Word w zależności od struktury danych wejściowych.

Dokładniejszy opis systemu i możliwości zautomatyzowania obliczeń statystycznych w ramach walidacji metody zostanie zamieszczony w drugiej części niniejszego artykułu.

 

Statystyka w walidacji – kolejne kroki

W celu potwierdzenia wysokiej jakości systemów pomiarowych niezbędne jest udokumentowanie ich poprawnego działania w oparciu o „twarde” dowody. Takim dowodem jest eksperyment, podczas którego w odpowiedni sposób zbierane są dane pomiarowe. Dane pomiarowe w większości przypadków będą charakteryzować się niepewnością i dlatego właśnie musimy ocenić je, wykorzystując metody statystyczne. Statystyka jest nauką subtelną, wymagającą pewnej inwencji i intuicji od badacza, co powoduje, że często nie wystarcza sama „technika obliczeniowa”, ale ważniejsza jest odpowiednia interpretacja wyników. Ponadto nie można w trakcie analizy danych walidacyjnych stosować różnych metod statystycznych w sposób chaotyczny, gdyż wyniki otrzymane w jednych zależą często od innych.

W kolejnych podrozdziałach przybliżone zostaną metody statystyczne w kolejności, jaka zazwyczaj może być wykorzystywana w trakcie obróbki wyników pochodzących z eksperymentu walidacyjnego. Wykorzystany zostanie przykład, który pozwoli na przytoczenie większości metod statystycznych wykorzystywanych w walidacji metody. Przykładowe dane pochodzą z oznaczania zawartości siarki w węglu i zostały pokazane w tabeli. Wykorzystane wartości wzorców dla kolejnych poziomów wynoszą odpowiednio: 0,7; 1,255; 2,45; 4,07. Wartości te zostały wyznaczone z niepewnością rozszerzoną 0,04 (rys. 1.).

 

 

Rys. 1. Dane wejściowe do analiz – arkusz Statistica

 

Opisowa analiza danych

Pierwszym krokiem jest opis zebranych danych. Oczywiście w końcowym raporcie z walidacji muszą znaleźć się dane surowe w postaci tabeli, ale ludzkie oko będzie miało problem ze wstępnym oszacowaniem zbioru surowych liczb. Dlatego pierwsze zazwyczaj obliczamy takie statystyki, jak wartość średnia i odchylenie standardowe, które mówią nam, gdzie jest „środek” danych i jak bardzo się one zmieniają. Obok znajduje się zestawienie w postaci tabeli (rys. 2.).

 

Rys. 2. Statystyki opisowe otrzymane w STATISTICA

 

Powyżej zostały obliczone statystyki dla kolejnych poziomów w całości. Zauważmy jednak, że podczas zbierania danych pomiarowych zostały one podzielone na grupy (klasy), o czym mówi zmienna grupująca „Id grupy” w pliku danych. Dane w obrębie grupy mogły być zebrane np. w różnym czasie, co mogło wprowadzić dodatkową zmienność (niepewność) do pomiarów i warto przyjrzeć się statystykom w kolejnych grupach (rys. 3.).

 

Rys. 3. Statystyki opisowe dla klas otrzymane w STATISTICA

 

W tabeli widać, że w grupach kolejne wartości średnie i odchylenia standardowe różnią się nieznacznie od siebie. Powstaje w związku z tym pytanie, czy różnice te są istotne. Aby w sposób formalny odpowiedzieć sobie na to pytanie, należy przeprowadzić odpowiednie testy, o których będzie mowa w kolejnym paragrafie. Zanim jednak będzie można wykorzystać większość testów statystycznych, należy zweryfikować, czy zebrane dane są zgodne z rozkładem normalnym. Na początek dobrze jest stworzyć histogram, w tym przypadku 4 histogramy osobno dla każdego poziomu. Obok przedstawiony jest przykładowy wykres dla poziomu 3 (rys. 4.).

 

Rys. 4. Histogram dla poziomu 3 otrzymany w STATISTICA

 

Histogram pokazuje empiryczny rozkład wartości, do którego można dopasować teoretyczną krzywą gęstości rozkładu normalnego. Daje to ogólny pogląd na „zbieżność” zbioru danych z rozkładem normalnym. Należy zauważyć, że w przypadku małej liczby danych wyciąganie wniosków o ich normalności często będzie błędne. Dużo lepszym podejściem jest zastosowanie wykresu normalności, który jest tak utworzony, że dla danych normalnych zależność pomiędzy danymi a oczekiwaną normalnością jest liniowa. Wykres normalności dla danych z histogramu przedstawiony jest na rys. 5.

 

 

Rys. 5. Wykres normalności poziomu 3 otrzymany w STATISTICA

 

Widać, że pokazana wyżej zależność jest liniowa, zatem można uznać, że normalność została zweryfikowana pozytywnie. W raporcie z walidacji powinien również znaleźć się „liczbowy” test weryfikujący normalność, np. test Shapiro-Wilka.

 

Wartości odstające

Testy wykrywające wartości odstające w zbiorach danych są poniekąd związane z rozkładem normalnym, i poszukując wartości odstających, należy wziąć pod uwagę normalność, i badając normalność wziąć pod uwagę wartości odstające. Zaproponowane poniżej testy są najbardziej odpowiednie dla danych o rozkładzie normalnym, w których wystąpiła wartość odstająca. W przypadku, kiedy spodziewamy się, że dane będą mieć rozkład inny niż normalny, testy te mogą doprowadzić do błędnych wniosków.

Korzystając z danych przykładowych, możemy ocenić, czy wśród wartości średnich i wśród odchyleń standardowych w klasach nie ma wartości odstających. W celu sprawdzenia, czy w zbiorze danych jest wartość odstająca ze względu na wartość średnią, w pierwszej kolejności musimy znaleźć kandydata na wartość odstającą, czyli wartość która jest najbardziej oddalona od ogólnej średniej. Następnie wartość bezwzględną różnicy pomiędzy wartością średnią a wartością kandydata należy podzielić przez odchylenie standardowe. Otrzymujemy w ten sposób wartość statystyki zwanej statystyką Grubbsa:

 

 

Pozostaje nam otrzymaną wartość G porównać z wartością krytyczną, którą możemy odczytać z odpowiednich tablic. Jeżeli G będzie zbyt wysokie, wtedy należy uznać kandydata za wartość odstającą.

Analogicznie należy postąpić podczas wykrywania, czy największe odchylenie standardowe w klasach nie odstaje zbytnio od pozostałych. Oczywiście inaczej jest konstruowana statystyka testowa, którą nazywamy statystyką Cochrana:

 

 

Obliczone C tak jak wyżej porównujemy z odpowiednią wartością krytyczną z tablic testu Cochrana.

Należy zwrócić uwagę, że przeprowadzając test na wartość odstającą, możemy odrzucić tylko jedną wartość i po odrzuceniu tej wartości należy powtórzyć test kolejny raz.

 

Podsumowanie

Przedstawione wyżej metody statystyczne pozwalają wstępnie przygotować i oczyścić zbiór danych przed przystąpieniem do kolejnych analiz, które pozwolą ocenić jakość metody pomiarowej. Metody te zostaną przedstawione w drugiej części artykułu. Przedstawiony zostanie również program do automatycznego tworzenia raportów zawierających wyniki statystyk, które zostały opisane w artykule, co pozwala w znaczny sposób zautomatyzować wykonywanie obliczeń. Ponadto zostaną omówione badania międzylaboratoryjne, które w istotny sposób wspomagają potwierdzenie, że rozważana metoda pomiarowa daje wiarygodne wyniki.

 

Literatura

1. PN-ISO 5725-2:2002, Dokładność (poprawność i precyzja) metod pomiarowych i wyników pomiarów. Część 2: Podstawowa metoda określania powtarzalności i odtwarzalności standardowej metody pomiarowej, grudzień 2002.
2. PN-ISO 11095, Kalibracja liniowa z zastosowaniem materiałów odniesienia, sierpień 2001.
3. Wyrażanie niepewności pomiaru, Przewodnik, Główny Urząd Miar, 1999.
4. Biuletyn Informacyjny Klubu POLLAB, 1/50/2008, „Wytyczne do zarządzania komputerami i oprogramowaniem w laboratoriach w odniesieniu do normy ISO/IEC 17025:2005”, EUROLAB TR 2/2006.

 

*Teresa Topolnicka – Instytut Chemicznej Przeróbki Węgla; **Michał Iwaniec – StatSoft Polska Sp. z o.o.