Ośrodek Badań Biegłości CLP-B LABTEST, działający w strukturach Centralnego Laboratorium Pomiarowo – Badawczego Sp. z o. o. od 01.05.2012 roku, posiada wdrożony system zarządzania wg PN-EN ISO/IEC 17043:2011 potwierdzony certyfikatem akredytacji Organizatora badań biegłości nr PT-003 wydanym przez Polskie Centrum Akredytacji w roku 2010. Tematem publikacji jest analiza rezultatów działania uczestników programu badań PT z zakresu oznaczania parametrów fizykochemicznych węgla kamiennego na przełomie 2013/2014, ze szczególnym uwzględnieniem wyników uzyskiwanych przez laboratoria nieposiadające akredytacji w zakresie objętym programem. W publikacji zostanie przedstawiony algorytm postępowania organizatora od planowania po realizację wszystkich etapów programu.

 

 

Wstęp

Z roku na rok systematycznie rośnie liczba laboratoriów poddających się weryfikacji na zgodność z normą PN-EN ISO/IEC 17025:2005 „Ogólne wymagania dotyczące laboratoriów badawczych i wzorcujących”. Liczba akredytowanych podmiotów przekroczyła już dawno 1000. Jednak w dalszym ciągu funkcjonują laboratoria, które z różnych powodów nie planują wdrożenia systemu zarządzania zgodnego z normą PN-EN ISO/IEC 17025:2005. Powodów takiej decyzji jest wiele. Jednym z nich są koszty utrzymywania systemu oraz duże wymagania formalne i techniczne. Być może w kalkulacji zysków i strat przeważa ta druga opcja. Dodatkowo mitem są ilości powstającej dokumentacji. Problem braku akredytacji dotyczy często małych laboratoriów, gdzie ilość personelu jest niewielka i decyzja o akredytacji wiązałaby się z zatrudnieniem dodatkowych pracowników. Zdarza się również, iż laboratoria przemysłowe, które wykonują badania jedynie na własne potrzeby kontroli procesu nie widzą konieczności akredytacji.

            A więc laboratorium nieakredytowane funkcjonuje i często wykonuje istotne z punktu widzenia procesu analizy jakościowe czy ilościowe. Jak w takim razie zweryfikować wiarygodność wykonywanych badań? Jedną z takich możliwości jest udział w badaniach biegłości.

            Badania biegłości stanowią jedno z istotniejszych narzędzi służących monitorowaniu i zapewnieniu jakości wyników badań, dlatego też większość organizacji oceniających kompetencje techniczne laboratoriów wymaga lub oczekuje satysfakcjonujących osiągnięć w programach PT jako istotnego potwierdzenia zdolności laboratorium do uzyskiwania wiarygodnych wyników. W dokumencie PCA DA-05 „Polityka dotycząca uczestnictwa w badaniach biegłości” czy EA-4/18 „Wytyczne dotyczące poziomu i częstości uczestnictwa w badaniach biegłości” znajdziemy szczegółowe zasady uczestnictwa laboratoriów w badaniach biegłości.Warunek regularnego uczestnictwa laboratoriów w programach badań biegłości jest jednym z podstawowych elementów oceny kompetencji technicznych laboratoriów. Dlatego niezbędne jest aby prowadzący takie programy działali zgodnie z zasadami dotyczącymi prowadzenia profesjonalnie zarządzanych programów biegłości, zarówno w rozumieniu wymagań technicznych jak i procedur statystycznych oraz zarządzania jakością. Dokumentem, stanowiącym podstawowe wymagania dla organizatorów badań biegłości jest norma PN-EN ISO/IEC 17043:2011, w której znajdziemy takie wytyczne i zasady, a także kryteria, które organizator programów badań biegłości powinien spełniać aby zostać uznanym za kompetentnego do oferowania określonych rodzajów programów PT.

CLP-B zajmuje się organizacją międzylaboratoryjnych badań biegłości od 2004 roku. Od tego czasu nieprzerwanie organizuje rundy badań biegłości w zakresie badań węgla kamiennego; do 2013 roku były to trzy rundy w roku, a od 2014 roku cztery rundy w roku. W ostatniej rundzie badań biegłości (czerwiec 2014 r.) w zakresie węgla kamiennego udział wzięło około 60 uczestników. Od początku swojej działalności w zakresie organizacji badań biegłości CLP-B zorganizowało ponad 50 różnych rund badań. Ośrodek Badań Biegłości CLP-B LABTEST oferuje w ramach swojej działalności m.in. programy badań biegłości w zakresie oznaczania parametrów fizykochemicznych węgla kamiennego, popiołu z węgla kamiennego, biomasy do celów energetycznych, popiołu z biomasy, koksu z węgla kamiennego, a także jako pierwszy w Polsce uruchomił akredytowane programy badań biegłości w zakresie oznaczania wolnej krystalicznej krzemionki w pyłach oraz oznaczania składu próbek gazowych metodą chromatografii gazowej. Celem organizowanych badań biegłości jest dostarczenie uczestnikom wiedzy o posiadanym poziomie jakości wykonywanych usług na tle innych laboratoriów. Uczestnik uzyskuje podstawy do przeprowadzenia oceny technicznej biegłości laboratorium w objętym programem zakresie badań, a stali uczestnicy mają możliwość monitorowania zmienności wskaźników osiągnięć w czasie. Udział w badaniach  biegłości pozwala potwierdzić oraz doskonalić kompetencje w zakresie oferowanych w programach analiz, a także jest nieocenionym narzędziem wczesnego wykrywania nieprawidłowości i identyfikowania ewentualnych problemów.

Publikacja poświęcona jest ocenie biegłości laboratoriów biorących udział w rundach programu PT na przełomie 2013/2014 roku z zakresu oznaczania parametrów fizykochemicznych węgla kamiennego, ze szczególnym uwzględnieniem wyników uzyskiwanych przez laboratoria nieposiadające akredytacji w zakresie objętym programem.

Opis programu badań biegłości

  Program badań miał charakter otwarty, ilościowy oraz jednoczesnego uczestnictwa i adresowany był do wszystkich laboratoriów węglowych m.in. kopalń węgla, cementowni, elektrociepłowni oraz wszelkich laboratoriów komercyjnych, które w ramach swojej działalności zajmują się analizą węgla kamiennego oraz popiołu z węgla kamiennego.

Program badania biegłości polegał na  porównaniach międzylaboratoryjnych wyników badań próbek węgla przygotowanych z materiału podstawowego, równocześnie rozsyłanych do uczestniczących laboratoriów, w celu wykonania badań równocześnie przez wszystkich uczestników. Po zakończeniu każdej rundy badań, wyniki są odsyłane przez uczestników do organizatora i porównywane z wartościami przypisanymi. W analizowanej rundzie, tj. III rundzie badań w 2013 roku udział wzięło 40 laboratoriów, w tym 18 nieakredytowanych. Natomiast w I rundzie badań w 2014 roku udział brało 34 uczestników, w tym 16 nieakredytowanych. Populacja laboratoriów nie posiadających akredytacji w omawianych rundach wynosiła więc około 40%.

 

 

 

Program badań był organizowany oraz realizowany w oparciu o zalecenia i wymagania normy PN-EN ISO/IEC 17043:2011 „Ocena zgodności. Ogólne wymagania dotyczące badania biegłości”, dokumentu PCA DAPT-01 „Akredytacja organizatorów badań biegłości. Wymagania szczegółowe” oraz normy ISO 13528:2005 „Statistical Metod for Use i Proficiency Testing by Interlaboratory Comparisons”. Organizator, w żadnym z realizowanych etapów badań biegłości nie korzystał z usług podwykonawców. Uczestnicy nie mieli obowiązku wykonywania wszystkich oferowanych w  programie badań lecz mogli dokonać ich wyboru według własnych możliwości technicznych, względnie potrzeb. Ważne jednak było, aby stosowali metody badań zgodne z metodami rutynowo stosowanymi w ich laboratoriach, z wyłączeniem przypadków kiedy organizator zalecił stosowanie odpowiednich metod badawczych np. w przypadku oznaczania części lotnych. Obiekty badań rozesłane do uczestniczących laboratoriów zostały przygotowane według odpowiednich procedur organizatora opisanych w dokumentach systemowych, z zachowaniem wszelkich wytycznych dotyczących jednorodności oraz stabilności materiału do celu badań PT/ILC. W związku z koniecznością dostarczenia do uczestników jednakowych pod względem właściwości fizykochemicznych obiektów, wprowadzono system próżniowego pakowania obiektów badań, w celu opóźnienia procesów starzeniowych i zagwarantowania stabilności obiektów. Uczestnicy badań porównawczych zostali zobligowani do wykonywania oznaczeń bezpośrednio po rozpakowaniu próbek lub w innym razie przechowywaniu ich co najmniej do czasu zakończenia badań w atmosferze beztlenowej (azot, argon).

       Zakres badań dotyczący próbki węgla kamiennego, który będzie celem analizy, obejmował: oznaczanie zawartości popiołu, ciepła spalania, części lotnych, siarki, chloru, fosforu, węgla pierwiastkowego, azotu oraz wodoru. Analiza rezultatów zostanie ograniczona do parametrów, których oznaczania podjęła się największa statystycznie populacja uczestników.

 

Analiza wyników

Opracowując raport z przeprowadzonych badań biegłości skrupulatnie oceniane są rezultaty osiągane przez uczestników. Raz, obserwowany jest rozrzut wyników, dwa badana stabilność badanego materiału w czasie. W każdej rundzie badania biegłości wyniki badań uzyskane przez uczestników są analizowane pod względem uzyskiwanych wyników zadowalających, wątpliwych i niezadowalających. Do oceny rezultatów działania uczestników badań biegłości stosuje się opcjonalnie statystykę osiągnięć wg normy PN-EN ISO/IEC 17043:2011 (załącznik B, pkt.B.3.1), wyrażoną za pomocą następujących parametrów statystycznej oceny danych ilościowych: wskaźnik z, wskaźnik z’, oraz wskaźnik zeta.

Zebrany materiał i własne przemyślenia w dużej mierze są inspiracją niniejszego artykułu. Dalsza analiza udziału i osiąganych rezultatów laboratoriów nieakredytowanych oparta jest na wynikach jednych z ostatnich rund badań biegłości w zakresie badania węgla kamiennego – runda I/2014 oraz runda III/2013.

Do oceny biegłości uczestników, w przypadku parametrów dla których uzyskano populację wyników równą lub większą od 10, wybrano statystykę osiągnięć wyrażoną za pomocą wskaźnika „z”. Przyjmuje się, że wskaźnik „z” może osiągać jeden z trzech poziomów:

│z│≤ 2 = poziom zadowalający,

2 < │z│<3 =  poziom wątpliwy,

│z│≥ 3 = poziom niezadowalający.

 Ocena rezultatów uczestników w każdej z analizowanych rund została odniesiona do liczby rezultatów wątpliwych i niezadawalających do ogólnej liczby rezultatów z osobna dla laboratoriów akredytowanych i laboratoriów nieakredytowanych (rysunki 1-4). W rundzie I/2014 procentowo większy udział wyników wątpliwych i niezadawalających generowany był przez laboratoria nieakredytowane. Zupełnie odmiennie prezentują się wyniki uzyskane przez uczestników w rundzie III/2013. Z analizy danych wynika, że procentowo większy udział wyników wątpliwych i niezadawalających generowany był przez laboratoria akredytowane. Taka interpretacja jest być może zaskakująca, gdyż laboratoria akredytowane winny jawić się jako spełniające najwyższe standardy jakości. Tak naprawdę i w jednym drugim przypadku ilości wyników niezadawalających nie są duże, jest to populacja kilku wyników. Tym co może niepokoić jest fakt, iż uzyskane wyniki niezadawalające, mimo że jest ich stosunkowo niewiele, w kilku przypadkach drastycznie odstają od wartości przypisanej dla danego parametru.

Dokonano więc głębszej analizy pod kątem wagi i istotności oznaczanego parametru.

Jako podstawowe  wybrano dwa parametry – oznaczenie zawartości popiołu i ciepła spalania.

Są to dwa istotne parametry rzutujące bezpośrednio na jakość, a co za tym idzie, cenę badanego paliwa. Są to tzw. parametry rozliczeniowe, które bezpośrednio skorelowane są z dochodem bądź realną stratą dla dostawcy/odbiorcy węgla kamiennego. Dodatkowo pamiętać należy, że parametry te wpływają istotnie na oznaczenie emisji dwutlenku węgla (głównie ciepło spalania). Jeżeli przedsiębiorstwo, do którego należy laboratorium, uczestniczy we wspólnotowym systemie handlu emisjami, każdy wynik wątpliwy bądź niezadawalający stwarza realne zagrożenie błędnych rozliczeń. Gdyby jeszcze założyć, że wyniki te układałyby się wyłącznie jako niekorzystne tzn. zawyżałyby ilość jednostek CO₂ – laboratorium w prosty sposób przyczynić się może do obniżenia kondycji finansowej przedsiębiorstwa. Wiarygodność uzyskiwanych wyników badań ma więc ogromne znaczenie.

 

 Rys. 1. Rozkład rezultatów wątpliwych – runda I/2014

 

Rys. 2. Rozkład rezultatów wątpliwych – runda III/2013

 

 

 

            Rys. 3. Rozkład rezultatów niezadawalających – runda I/2014

 

 

 Rys. 4. Rozkład rezultatów niezadawalających – runda III/2013

 

Na rys. 5-8  znajdują się rezultaty działania uczestników badań rundy I/2014 oraz III/2013 w postaci wskaźnika „z” z wyszczególnieniem osiągnięć wątpliwych oraz niezadowalających uzyskanych przez laboratoria nieakredytowane i akredytowane.

Rys. 5. Wskaźniki osiągnięć „z” uczestników w badaniach PT – runda I/2014. Oznaczenie zawartości popiołu A^d[%]

 

Rys. 6. Wskaźniki osiągnięć „z” laboratoriów w badaniach PT – runda I/2014. Oznaczenie ciepła spalania Q_s^d[kJ/kg]

 

W przypadku oznaczania ciepła spalania poziom niezadowalający osiągnęły 3 laboratoria. Dwa z nich to laboratoria akredytowane (nr uczestnika 20 i 26), kolejne nr 9 to laboratorium nieakredytowane.

 O ile w przypadku oznaczania zawartości popiołu wynik niezadowalający dotyczył głównie laboratoriów nieakredytowanych, to w przypadku oznaczania ciepła spalania sytuacja jest odmienna.

 

Rys. 7. Wskaźniki osiągnięć „z”  Uczestników w badaniach PT – runda III/2013. Oznaczenie zawartości popiołu A^d[%]

 

                             

Rys. 8. Obiekt badań A. Wskaźniki osiągnięć „z” laboratoriów w badaniach PT– runda III/2013.  Oznaczenie ciepła spalania Q_s^d[kJ/kg]

 

 

Wnioski

CLP-B jako organizator badań biegłości zaobserwował dwie tendencje. Ponieważ zgodnie z wymogami PCA każdy negatywny wynik uzyskany w badaniach biegłości należy zgłaszać do PCA, co w efekcie może wiązać się z zawieszeniem akredytacji w danym obszarze badań lub przeprowadzeniem dodatkowej oceny, niektóre akredytowane laboratoria zmniejszyły częstotliwość udziału w PT. Widać to wyraźnie właśnie w badaniach węgla kamiennego, gdzie niektórzy uczestnicy wcześniej weryfikowali jakość swoich badań trzy razy w roku, a obecnie jedynie raz na rok. Być może obawa uzyskania negatywnego rezultatu, a następnie negatywnej oceny przez PCA zaplanowanych do takiego rezultatu korekcji i działań korygujących  spowodowała, że laboratoria mniej chętnie zgłaszają się do udziału w zorganizowanych badaniach biegłości. Nie jest to dobra tendencja. Trzeba mieć nadzieje, że mniejsza częstotliwość udziału w badanach PT rekompensowana jest innymi metodami zapewnienia jakości badań. Przy czym jednoznacznie zaznaczyć należy, iż nawet taka częstotliwość weryfikacji kompetencji technicznych uczestników jest zgodna z wytycznymi PCA, które obligują laboratoria akredytowane do udziału w programach PT co najmniej raz na cykl akredytacji dla każdej określonej poddyscypliny (zgodnie z DA-05 wyd. 5 z dn. 17.11.2011 r).

Druga obserwacja dotyczy udziału laboratoriów nieakredytowanych, które z racji iż nie mają wdrożonego systemu zarządzania jakością wg PN-EN ISO/IEC 17025 : 2005, nie posiadają tym samym akredytacji PCA, nie są zobligowane do uczestnictwa w badaniach biegłości. Zatem ich udział jest niczym nie wymuszony i wynika bezpośrednio z chęci zweryfikowania poziomu biegłości swojego laboratorium. Z obserwacji Ośrodka Badań Biegłości CLP-B LABTEST wynika również, że w każdej z rund badań biegłości w zakresie oznaczania parametrów fizykochemicznych węgla kamiennego uczestnicy nieakredytowani stanowią około 40% populacji. Zatem należy jednoznacznie stwierdzić, iż udział w badaniach PT jest dla tych laboratoriów doskonałym narzędziem weryfikującym poziom i wiarygodność badań. Osobnym zagadnieniem jest, że laboratoria te nie zawsze podają wynik wraz z niepewnością rozszerzoną wyniku pomiaru, co znacznie utrudnia przeprowadzenie poprawnej analizy statystycznej i ogranicza wachlarz możliwych do zastosowania wskaźników osiągnięć. Udział w badaniach biegłości daje jedyną w swoim rodzaju szansę na weryfikację poprawności stosowanych metod szacowania niepewności wyniku pomiaru. Szczegółowa analiza porównawcza podanych przez uczestników wartości niepewności wyniku pomiaru może znacznie przyczynić się do samodoskonalenia stosowanych technik analitycznych przez laboratoria.Stąd nasuwa się wniosek, że wciąż dla wielu laboratoriów badawczych, a szczególnie nieakredytowanych, szacowanie niepewności wyniku pomiaru stanowi poważny problem. Przypominamy, że test biegłości międzylaboratoryjnej służy nie tylko ocenie wiarygodności wyników oznaczeń, ale także stanowi podstawę walidacji metod analitycznych zgodnie z PN-EN ISO/IEC 17025:2005. Uzyskiwane dane z tego typu badań mogą zostać wykorzystane w procesie wyznaczania niepewności rozszerzonej oznaczanych parametrów.

 

 

*Dr inż. Aleksandra Burczyk, dr Iwona Madejska; Centralne Laboratorium Pomiarowo – Badawcze Sp. z o.o., Jastrzębie Zdrój