숙련도시험 z-점수는 어떻게 계산하나? 결과에서 배정값을 빼고 숙련도 평가 표준편차로 나눈다

ryumanual

z-점수는 z = (x − X) / σpt로 계산한다. 참가자 결과 x에서 공급자가 정한 배정값 X를 빼고, 공급자가 정한 숙련도 평가 표준편차 σpt로 나눈다. X와 σpt는 실험실이 정하지 않는다. 해당 회차 보고서에 적힌 값과 단위를 그대로 쓴다. ISO 13528:2022는 배정값의 표준불확도 u(X)가 0.3σpt보다 작으면 무시할 수 있다고 본다. 이 기준을 넘으면 공급자는 분모에 u(X)를 더한 z′ = (x − X) / √(σpt² + u(X)²)를 쓸 수 있다. 공급자 값과 맞는지는 세 가지로 확인한다. 공급자 점수로 x를 거꾸로 계산해 보고, 표시된 X와 σpt의 반올림 범위 안에 공급자 값이 드는지 보고, z와 z′를 모두 계산해 어느 쪽과 같은지 본다. 판정 경계값을 어떻게 다루는지는 자료마다 표기가 다르다. 따라서 해당 회차 운영계획서에 적힌 기준을 반올림하기 전 값에 적용해 기록한다.

목차

z-점수 계산식과 세 가지 입력값

숙련도시험의 z-점수는 z = (x − X) / σpt로 계산한다. x는 우리 실험실이 제출한 결과이고, X는 공급자가 그 회차 시료에 정한 배정값(assigned value, 문헌에 따라 xpt), σpt는 공급자가 정한 숙련도 평가 표준편차(standard deviation for proficiency assessment)다. 분자 x − X는 배정값에서 벗어난 정도와 방향이다. 이 값을 σpt로 나누면 측정 항목이나 단위와 관계없이 'σpt 몇 개만큼 벗어났는가'로 읽을 수 있다. 부호가 +이면 배정값보다 높게, −이면 낮게 보고했다는 뜻이다.

세 입력값 가운데 실험실이 정하는 것은 x뿐이다. X와 σpt는 공급자가 운영계획서에 정한 방법(참가자 합의값, 기준 실험실 값, 제조값 등과 적합성 기반 또는 정밀도 자료 기반의 σpt)으로 정한다. 실험실이 자체 반복 표준편차나 내부 QC 관리한계로 σpt를 바꿔 넣으면 공급자의 점수와 비교할 수 없게 된다. 공급자가 X와 σpt를 어떤 통계 알고리즘으로 정했는지는 이 글에서 다루지 않는다. 계산된 z-점수가 실험실 역량에 대해 무엇을 말하는지는 'z-점수 해석법' 글에서 다룬다.

보고서에서 X, σpt, u(X)를 찾는 위치

회차별 최종 보고서에는 보통 항목별 통계 요약표가 있다. 여기서 배정값, 숙련도 평가 표준편차, 배정값의 표준불확도, 참가자 수, 성능 통계량의 종류(z, z′ 등)를 찾는다. 같은 보고서 안에서도 항목과 시료마다 값이 다르다. 따라서 시료 번호, 항목, 단위가 우리 제출 결과와 같은 행인지 먼저 맞춘다.

확인할 점은 다음과 같다.
– 단위: 보고서의 X 단위와 제출 양식의 단위가 같은지 본다. 예를 들어 µg/L와 mg/L, 건중량과 습중량 기준의 차이를 확인한다.
– σpt 표기: σpt가 절대값이 아니라 X에 대한 백분율(예: '배정값의 일정 %')로 적혀 있으면 X에 곱해 절대값으로 바꾼 뒤 분모에 넣는다.
– u(X) 표기: 표준불확도인지 확장불확도인지 확인한다. 확장불확도로 적혀 있으면 보고서에 적힌 포함인자로 나누어 표준불확도로 바꾼다.
– 표시 자릿수: 보고서에 표시된 X와 σpt는 공급자가 계산에 쓴 값을 반올림한 것일 수 있다. 이 차이는 검산에서 반올림 범위로 확인한다.
– 사용 지표: 보고서가 z, z′, ζ, En 가운데 무엇을 썼는지 통계표의 열 제목이나 운영계획서에서 확인한다.

시험·교정기관은 ISO/IEC 17025:2017 7.7.2에 따라, 가능하고 적절한 경우 숙련도시험이나 그 밖의 시험소 간 비교를 통해 다른 실험실과 견주어 자기 성능을 모니터링하고, 그 모니터링을 계획하고 검토한다. 국내 KOLAS 공인기관은 국가기술표준원 고시인 「숙련도시험운영기준」(KOLAS-R-003)도 따른다. 이 기준은 숙련도시험 결과의 검토와 활용을 다룬다. 보고서에서 옮겨 적은 입력값과 직접 계산한 결과는 이런 검토의 근거 기록이 된다.

z와 z′ 가운데 무엇을 썼는지 가르는 기준

ISO 13528:2022는 배정값의 표준불확도가 u(X) < 0.3σpt 기준을 만족하면 u(X)를 무시할 수 있다고 본다. 이때는 z를 쓴다. 이 기준을 넘으면 배정값 자체의 불확도가 평가에 영향을 줄 만큼 크다. 그래서 분모에 u(X)를 합친 z′ = (x − X) / √(σpt² + u(X)²)를 쓴다.

분모가 커지므로 z′의 절댓값은 같은 결과의 z보다 작거나 같다. 공개 문헌의 계산 예를 보면, u(X) = 0.4σpt일 때 z = 3.00인 결과는 z′ = 2.79가 된다. 경계 근처의 결과라면 z로 계산했는지 z′로 계산했는지에 따라 판정 구간이 달라질 수 있다.

실험실이 확인할 순서는 이렇다. 먼저 보고서의 u(X)를 σpt로 나눈 비율을 계산한다. 다음으로 보고서가 그 회차에 실제로 어떤 점수를 썼는지 확인한다. 비율이 0.3을 넘어도 공급자가 다른 방식(예: 해당 항목을 정보 제공용으로만 평가)을 운영계획서에 정해 두었을 수 있다. 따라서 비율만 보고 실험실이 지표를 바꾸지 않는다.

ζ(zeta)는 분모에 참가자 자신의 불확도와 배정값의 불확도를 쓰는 지표다. 참가자가 보고한 불확도에 의존하므로 이 글의 계산 범위 밖이다. En은 'En 계산·판정' 글에서 다룬다.

가상 예제: 보고서 값으로 z 계산하기

아래 수치는 모두 가상(교육용) 데이터다. 수중 납(Pb) 항목에서 보고서 통계표에 X = 25.4 µg/L, σpt = 2.54 µg/L, u(X) = 0.62 µg/L가 적혀 있고, 우리 실험실 제출 결과는 x = 29.9 µg/L라고 하자. 공급자 보고서에는 우리 실험실의 점수가 1.79로 적혀 있다.

1. 단위 확인: x, X, σpt가 모두 µg/L이므로 환산하지 않는다.
2. 지표 확인: u(X)/σpt = 0.62 / 2.54 = 0.244이다. 0.3보다 작으므로 z를 쓰는 조건이다.
3. 분자: x − X = 29.9 − 25.4 = 4.5 µg/L.
4. 계산: z = 4.5 / 2.54 = 1.7717이고, 소수 둘째 자리까지 표시하면 1.77이다.
5. 비교: 직접 계산한 값은 1.77이고 공급자 값은 1.79여서 0.02 차이가 난다. 이 차이가 오류인지, 표시값의 반올림 때문인지는 다음 절의 검산으로 가린다.

이 계산을 사례 A라고 한다. 사례 B, C, D는 다음 절의 불일치 유형을 보여 주는 가상 사례다.

공급자 값과 맞는지 검산하는 세 가지 방법

직접 계산한 값과 공급자 값이 다를 때는 다음 세 가지를 차례로 확인한다. 모두 보고서에 공개된 값만으로 할 수 있다.

(1) 공급자 점수로 x를 역산한다. x역산 = X + z공급자 × σpt로 계산한다. 사례 A에서는 25.4 + 1.79 × 2.54 = 29.95 µg/L로, 제출값 29.9와 소수 첫째 자리에서 맞는다. 공급자가 우리 결과를 제대로 받아 적었다는 뜻이다. 역산값이 제출값과 크게 다르면 결과 전기 오류나 단위 문제를 의심한다. 사례 C는 µg/L로 제출해야 할 결과를 mg/L 숫자(0.0299)로 입력한 경우다. 이때 공급자 z는 −9.99이고, 역산값은 0에 가깝다. 이렇게 역산값이 제출값과 약 1000배 차이 나면 단위 환산이 빠졌는지 확인한다.

(2) 표시값의 반올림 범위를 확인한다. 보고서의 X = 25.4와 σpt = 2.54가 표시 자릿수에서 반올림된 값이라면, 실제 계산값은 X 25.35~25.45, σpt 2.535~2.545 사이에 있다. 이 범위에서 z를 계산하면 1.7485~1.7949가 나온다. 공급자 값 1.79가 이 범위 안에 있으므로, 0.02 차이는 공급자가 반올림하지 않은 X와 σpt로 계산한 결과로 설명된다. 공급자 값이 이 범위를 벗어나면 다른 입력값이나 다른 지표를 썼을 가능성을 본다.

(3) z와 z′를 모두 계산한다. 사례 A의 z′는 4.5 / √(2.54² + 0.62²) = 1.7211로 공급자 값 1.79와 맞지 않는다. 따라서 공급자는 z를 썼다. 사례 B는 같은 X와 σpt에 u(X) = 0.95 µg/L(비율 0.374)인 회차에서 x = 33.1 µg/L를 낸 경우다. z = 3.0315, z′ = 2.8394이고 공급자 값 2.84는 z′와 맞는다. 실험실이 z만 계산했다면 '불만족'으로 오해할 수 있다. 실제 보고서 판정은 z′ 기준으로 '의심' 구간이다.

세 확인으로도 설명되지 않는 차이가 남으면 공급자에게 계산에 쓴 X, σpt, 지표를 문의한다. 문의 내용과 답변도 기록에 남긴다.

판정 경계값은 보고서의 기준으로, 반올림 전 값에 적용한다

ISO 13528:2022를 요약한 자료에서 흔히 쓰는 구간은 |z| ≤ 2 만족, 2 < |z| < 3 의심, |z| ≥ 3 불만족이다. 그러나 값이 정확히 2나 3일 때를 어느 구간에 넣는지는 자료마다 다르다. ISO 13528 2005년판을 인용한 NIST 자료는 절댓값이 2를 넘으면 경고 신호, 3을 넘으면 조치 신호로 적었다. 공개 논문 가운데에는 |z| < 2를 만족, 2 ≤ |z| < 3을 의심으로 둔 표도 있고, 2 < |z 또는 z′| ≤ 3을 의심으로 적은 경우도 있다. 경계값을 어느 쪽에 넣을지는 실험실이 일반 자료에서 골라 쓰지 않는다. 해당 회차 운영계획서와 보고서에 적힌 기준을 따른다.

반올림 시점도 같은 문제다. 가상 사례 D에서 x = 30.49 µg/L이면 z = 5.09 / 2.54 = 2.0039다. 소수 둘째 자리까지 표시하면 2.00이다. 표시값 2.00에 '|z| ≤ 2 만족'을 적용하면 만족이 된다. 반올림 전 값은 2.0039로 2보다 크다. 공급자가 판정에 쓰는 자릿수를 따로 정해 두지 않았다면, 내부 기록에는 반올림 전 계산값과 판정에 적용한 기준 문구를 함께 남긴다. 그래야 공급자 판정과 대조할 수 있다. 판정값과 표시값의 자릿수를 나누어 관리하는 방법은 '정도관리 반올림 규칙 설정' 글에서 다룬다.

내부 기록에 남길 계산 근거 체크리스트

경영검토 자료나 숙련도시험 결과 검토 기록에 아래 항목을 남기면 다른 사람이 같은 값을 다시 계산할 수 있다.
– 회차 식별: 공급자명, 프로그램명, 회차 번호, 시료 번호, 측정 항목, 보고서 발행일과 판본
– 제출 결과: 제출한 x와 단위, 제출 양식에 적힌 원본 값(전기 오류 확인용)
– 보고서 입력값: X, σpt(절대값인지 %인지), u(X)(표준인지 확장인지, 포함인자), 각 값의 단위와 표시 자릿수
– 지표 판별: u(X)/σpt 비율, 보고서가 실제로 쓴 지표(z, z′, ζ, En)
– 계산값: 반올림 전 z(또는 z′)와 표시용 반올림 값
– 검산: 역산한 x, 반올림 범위로 구한 z의 범위, z와 z′ 비교 결과
– 판정: 운영계획서에 적힌 판정 기준 문구 그대로, 반올림 전 값에 적용한 결과, 공급자 판정과의 일치 여부
– 불일치 처리: 원인 분류(단위 환산, 반올림 시점, z·z′ 혼동, 결과 전기 오류, 기타), 공급자 문의 이력
– 작성·검토: 계산자, 검토자, 날짜, 사용한 계산 파일의 버전

이어서 볼 글: 반복 측정값의 변동계수는 어떻게 계산하나? 표본표준편차를 평균으로 나눈다

근거 자료

Related Posts

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다