반복 측정에서 한 값만 튈 때 버리고 평균 내도 되나: 원인을 확인하기 전에는 빼지 않고, 원인에 따라 무효 처리·재측정·값 유지를 정한다

동일 시료·동일 방법·동일 조건의 반복 측정에서 한 값만 튀어도 검정에서 이상치로 나왔다는 이유만으로 빼고 평균을 내지 않는다. 먼저 전사·계산, 시료 취급, 장비·시약, 시험법 무효 조건을 조사해 원인을 증거로 확인한다. 원인이 확인되면 사전에 정한 절차에 따라 정정하거나 무효 처리하고 재측정한다. 원인이 확인되지 않으면 값을 유지하고, 절차서가 미리 정한 검정과 재측정 규칙만 적용한다. 어느 경우든 원 데이터는 지우지 않고 사유·일자·담당자·승인자를 남겨 보고값이 어떻게 나왔는지 추적할 수 있게 한다.

검정에서 이상치로 나왔다는 이유만으로는 빼지 않는다
1단계 원인 조사 체크리스트: 측정 당시의 기록으로 확인한다
원인 확인 여부에 따라 정정·무효 처리·값 유지로 갈린다
가상 계산 예제: 검정이 ‘이상치’라고 해도 평균과 정밀도가 얼마나 달라지는지 보여 준다
재측정을 했다면 보고값은 미리 정한 규칙으로만 정한다
원 데이터는 지우지 않고, 처리 사유와 승인자를 남긴다
이 판단 순서를 그대로 쓰지 않는 경우

검정에서 이상치로 나왔다는 이유만으로는 빼지 않는다

같은 시료를 같은 방법과 조건으로 5회 쟀는데 한 값만 크게 벗어나면, 그 값을 빼고 나머지로 평균을 내고 싶어진다. 그러나 이상치 검정이 알려 주는 것은 '정규분포를 가정하면 이 값이 나올 가능성이 낮다'는 사실뿐이다. 그 값이 왜 나왔는지는 알려 주지 않는다. NIST/SEMATECH 통계 핸드북은 오류라고 볼 이유가 없는 값은 신중하게 검토하지 않은 채 삭제하지 말고, 이상치에는 공정이나 데이터 수집·기록 과정에 관한 정보가 담겨 있을 수 있으니 주의 깊게 조사하라고 권고한다.

그래서 판단 순서는 다음과 같다.

1. 원 데이터를 고정한다. 튄 값을 포함한 원시 기록(기기 출력, 워크시트)을 수정·삭제하지 않은 상태로 둔다.
2. 원인을 조사한다. 전사·계산, 시료 취급, 장비·시약, 시험법이 정한 무효 조건을 점검한다(아래 체크리스트).
3. 원인이 확인되면 원인에 맞게 정정하거나 무효 처리하고, 필요하면 재측정한다.
4. 원인이 확인되지 않으면 값을 유지한 채 시험법과 내부 절차서가 미리 정한 이상치 검정과 재측정 규칙만 적용한다.
5. 보고값을 정하고 기록한다. 어떤 값을 어떤 근거로 제외·유지했는지, 누가 언제 승인했는지 남긴다.

결과가 마음에 드는 쪽으로 값을 고르는 것은 이 순서의 어느 단계에서도 허용되지 않는다.

1단계 원인 조사 체크리스트: 측정 당시의 기록으로 확인한다

원인은 '그럴 수도 있다'가 아니라 측정 당시 남은 기록이나 증거로 확인되어야 한다. 값이 튄 것을 본 뒤에 만들어 낸 설명은 원인 확인으로 인정하기 어렵다.

전사·계산
– [ ] 워크시트·LIMS 값이 기기 출력, 저울 인쇄물, 크로마토그램 같은 원시 기록과 일치하는가
– [ ] 희석배수, 단위, 소수점 위치, 시료량 입력이 맞는가
– [ ] 계산식·스프레드시트 셀 참조가 다른 반복과 같은가

시료 취급
– [ ] 해당 반복의 분취 순서, 균질화, 사용 용기, 라벨이 다른 반복과 같았는가
– [ ] 시료 보관 시간·온도가 시험법이 정한 범위 안이었는가
– [ ] 오염이나 흘림 같은 이상이 작업 기록에 남아 있는가

장비·시약
– [ ] 그 측정 시점 전후의 점검 표준, 바탕값, 시스템 적합성 결과가 기준 안이었는가
– [ ] 기기 이벤트 로그에 오류, 압력 이상, 기포, 자동시료기 문제 같은 기록이 있는가
– [ ] 시약·표준용액의 로트나 조제일이 반복 사이에 바뀌었는가

시험법 조건
– [ ] 시험법이 정한 무효·중단 조건(점검 표준 실패, 조건 이탈 등)에 해당하는가
– [ ] 측정 조건(온도, 시간, 파장 등)이 해당 반복에서만 달랐는가

시험원 기록
– [ ] 측정 중에 남긴 관찰 메모가 있는가

장비 드리프트처럼 같은 배치의 다른 결과에도 영향을 줄 수 있는 원인이 나오면, 튄 값 하나만의 문제가 아니다. 이때는 ISO/IEC 17025:2017 7.10(부적합 업무) 절차에 따라 영향 범위를 확인하고, 필요하면 8.7 시정조치로 넘긴다. 7.7은 결과의 유효성을 모니터링하는 절차를 요구하므로, 반복 측정의 불일치도 그 모니터링 정보로 다룬다.

원인 확인 여부에 따라 정정·무효 처리·값 유지로 갈린다

'제외 후 평균'과 '재측정' 중 무엇을 고를지는 원인을 확인했는지, 확인한 원인이 어떤 종류인지에 달려 있다.

상황	처리	재측정	남길 기록
원인 확인: 전사·계산 오류(원시 기록은 정상)	원시 기록에 근거해 값을 정정한다. 측정 자체는 유효하다	대개 불필요	원래 값, 정정 값, 정정 일자, 정정 내용, 담당자
원인 확인: 측정 자체가 무효(시료 오염, 점검 표준 실패, 기기 오류 로그 등)	사전 절차에 따라 해당 반복을 무효 처리한다	절차서가 정한 횟수만큼 실시	무효 사유와 증거, 무효 처리된 원래 값, 승인자
원인 미확인	값을 유지한다. 절차서에 이상치 검정이 정해져 있으면 그 검정을 정해진 조건으로 한 번 적용한다	절차서의 재측정 규칙에 따름	조사 항목과 결과, 검정 종류·유의수준·통계량, 결정과 승인자
원인 미확인이고 절차서에 규정 없음	임의로 빼지 않는다. 품질책임자 검토로 넘기고 절차서를 보완한다	검토 결과에 따름	검토 경위와 결정

원인이 확인되지 않은 값을 검정 결과만으로 빼려면, 그 처리가 측정 전에 절차서에 정해져 있어야 한다. 절차서에 정해 둘 항목은 다음과 같다.

– 사용할 검정(예: 이상치 하나를 보는 Grubbs 검정)과 유의수준, 양측·단측 여부
– 적용할 수 있는 최소 반복 횟수와 적용 횟수(한 데이터 세트에 한 번만 적용하는지 등)
– 검정에서 이상치로 판정됐을 때의 처리(제외 후 평균, 재측정, 중앙값 같은 강건한 추정 사용 중 무엇인지)
– 결재권자

이런 사전 규정이 없으면 결과를 본 뒤 처리 방식을 고르게 되고, 그 자체가 선택적 보고가 된다.

가상 계산 예제: 검정이 ‘이상치’라고 해도 평균과 정밀도가 얼마나 달라지는지 보여 준다

아래 값은 가상(교육용) 데이터다. 같은 시료를 같은 조건에서 5회 반복 측정해 10.2, 10.4, 10.3, 10.1, 11.4 mg/L를 얻었다고 하자.

5개 값 전체
– 평균 10.48 mg/L, 표본표준편차(n−1) 0.526 mg/L, 상대표준편차 5.0 %

Grubbs 검정(양측, α = 0.05)
– 평균에서 가장 먼 값은 11.4 mg/L이고, 편차는 11.4 − 10.48 = 0.92 mg/L다.
– G = 0.92 / 0.526 ≈ 1.75
– 임계값은 NIST 핸드북 식 ((N−1)/√N)·√(t² / (N−2+t²))로 구한다. 이때 t는 자유도 N−2 = 3, 유의수준 α/(2N) = 0.005의 t 임계값(약 5.841)이다. 이 식에 넣으면 임계값은 약 1.715다.
– G가 임계값보다 크므로 통계적으로는 이상치로 판정된다.

11.4를 뺀 4개 값
– 평균 10.25 mg/L, 표본표준편차 0.129 mg/L, 상대표준편차 1.3 %

값 하나를 빼면 평균은 0.23 mg/L 내려가고, 반복 정밀도는 5.0 %에서 1.3 %로 좋아 보인다. 보고값과 정밀도가 모두 달라지므로, 검정 결과만으로 이 값을 빼면 결과를 실제보다 정밀하게 보이게 할 수 있다. 이 예에서 11.4 mg/L에 대해 원인 조사 체크리스트로 확인된 것이 없다면, 절차서가 정한 처리(예: 재측정)를 따르고 원래 5개 값과 검정 기록을 함께 남긴다.

검정을 쓸 때 알아 둘 한계도 있다. Grubbs 검정은 데이터가 근사적으로 정규분포를 따른다고 가정하는데, n이 5 정도면 정규성을 확인하기 어렵다. 또 한 번에 이상치 하나만 검출하므로, 둘 이상이 의심되면 일반화 ESD 검정 같은 다른 방법을 써야 한다. 그렇다고 검정을 반복 적용해 값을 하나씩 빼 나가면 안 된다.

재측정을 했다면 보고값은 미리 정한 규칙으로만 정한다

재측정은 무효 처리된 반복을 대체하거나, 원인이 확인되지 않은 불일치를 확인하기 위해 한다. 어느 경우든 다음 사항을 측정 전에 정해 둔다.

– 재측정 횟수와 시료(같은 균질 시료에서 다시 분취하는지, 새로 채취하는지)
– 재측정 값으로 보고값을 정하는 방법(무효 처리된 반복만 대체하는지, 재측정 세트만으로 다시 계산하는지)
– 재측정 값도 처음 값과 크게 다를 때의 다음 조치(시험 중단, 품질책임자 검토)

원인이 확인되지 않은 처음 값과 재측정 값을 섞어 평균하거나, 여러 번 다시 잰 뒤 마음에 드는 세트만 보고하는 방식은 쓰지 않는다. 재측정을 하더라도 처음 결과를 보존한다는 원칙은 정도관리 경고한계에 걸리면 다시 측정해야 하나에서 다룬 내용과 같으므로 여기서는 반복하지 않는다.

원 데이터는 지우지 않고, 처리 사유와 승인자를 남긴다

ISO/IEC 17025:2017(KS Q ISO/IEC 17025:2017) 7.5.1은 각 시험·교정 활동의 기술 기록에 결과와 보고서를 담고, 가능하면 결과에 영향을 주는 요인을 식별하고 원래와 가능한 한 가까운 조건으로 그 활동을 반복할 수 있을 만큼 충분한 정보를 담도록 요구한다. 7.5.2는 기술 기록을 고칠 때 원래 데이터와 고친 데이터를 모두 보존하고, 변경 일자, 변경한 내용, 변경 책임자를 남기도록 요구한다. 튄 값을 무효 처리하거나 정정하는 일도 이 요건에 해당한다.

튄 값 하나를 처리할 때 남길 항목은 다음과 같다.

– [ ] 튄 값을 포함한 원래 반복 값 전부(삭제하거나 덮어쓰지 않음)
– [ ] 원인 조사에서 확인한 항목과 결과(확인된 원인과 근거 기록, 또는 '확인되지 않음')
– [ ] 적용한 처리: 정정, 무효 처리, 값 유지, 검정 적용(검정 종류, 유의수준, 통계량, 임계값)
– [ ] 재측정 값과 재측정 일자
– [ ] 보고값을 계산한 방법과 사용한 값 목록
– [ ] 처리한 담당자, 검토·승인자, 각각의 일자

종이 기록이면 원래 값을 지우지 않고 줄을 그어 고친 뒤 서명과 일자를 적는다. 전자 기록이면 감사 추적(audit trail)으로 원래 값과 변경 이력이 남아야 한다. 의약품 시험처럼 별도 규제를 받는 분야에는 추가 요구가 있다. 예를 들어 미국 21 CFR 211.194(a)는 시험 중 얻은 모든 데이터의 완전한 기록과, 두 번째 사람이 원 기록을 검토했다는 서명을 요구한다. 이런 요구는 해당 규제 대상에만 적용되므로, 기관이 채택한 데이터 무결성 지침과 함께 확인한다.

이 판단 순서를 그대로 쓰지 않는 경우

– 법정 측정에서 시험법이 반복 횟수·평균 방법을 정한 경우: 실내공기질 공정시험기준처럼 시험법이 따로 정해 두었다면 그 시험법이 우선한다. 평균 산출 방식은 실내공기질 측정값 평균은 어떻게 구할까?를 참고한다.
– 서로 다른 상태에서 잰 값: 개선조치 전후 값은 같은 조건의 반복이 아니므로 이 글의 대상이 아니다. 첫 측정은 기준 초과, 재측정은 기준 이하일 때 최종값을 참고한다.
– 관리 시료가 관리도의 경고·조치한계를 벗어난 경우: 그 판정은 관리도 규칙을 따른다.
– 반복 측정이 아닌 협동시험·숙련도시험 데이터: 실험실 간 데이터에 쓰는 이상치 처리 규정은 해당 표준과 프로그램 규정을 따른다.