정도관리 성능 지표는 개별 QC 판정 결과를 정확도·정밀도·신뢰도·커버리지 네 축으로 집계해 측정 시스템의 상태를 주기적으로 드러내는 관리 수단이다. 지표 정의, 목표값 설정, 데이터 자동 수집, 주기별 모니터링, 시정조치·경영검토 연계의 5단계로 운영하면 흩어진 QC 기록이 개선 근거로 전환된다. 지표 개수는 적게 유지하고 산출 규칙을 고정해야 기간 간 추세 비교가 무너지지 않는다.
목차
정도관리 성능 지표가 필요한 이유와 KPI 설계 원칙
정도관리 성능 지표는 개별 QC 데이터의 합격·불합격 판정을 넘어, 측정 시스템 전체의 상태를 일정 주기로 요약해 보여주는 관리 수단이다. 관리도가 한 배치의 이상 여부를 알려준다면, KPI는 분기·연간 단위로 방법과 기기가 어느 방향으로 움직이는지 알려준다.
ISO/IEC 17025:2017은 결과의 타당성 확보를 위한 모니터링 데이터를 경향이 감지 가능한 형태로 기록하고, 실행 가능한 경우 통계 기법을 적용해 검토하도록 요구한다. 경영검토 입력 항목에도 정도관리 활동 결과와 개선 기회가 포함되므로, 지표화되지 않은 QC 기록은 검토 근거로 활용되기 어렵다.
설계 원칙은 단순하다. 지표 개수는 적게, 산출 규칙은 고정하고, 목표값은 기술적 근거에서 끌어온다. 지표가 스무 개를 넘어가면 아무도 보지 않고, 산출 규칙이 매 분기 바뀌면 추세 비교 자체가 성립하지 않는다.
1단계 — 측정 프로세스 범위 확정과 지표 후보 도출
지표 설계는 집계 단위를 정하는 일에서 시작한다. 항목·매트릭스·기기·분석자 중 무엇을 축으로 묶을지 확정하지 않으면, 같은 이름의 지표가 부서마다 다른 값을 내놓는다.
실무에서는 ‘항목×기기’ 조합을 기본 단위로 두고, 분석자 간 편차가 실제로 문제되는 항목에만 분석자 축을 추가하는 방식이 관리 부담이 적다. 데이터 원천도 이 단계에서 못박는다. LIMS 결과 테이블, 관리도 판정 로그, 숙련도시험 회신 결과, 교정성적서 대장이 대표적이다.
후보 지표는 넉넉히 나열하되 최종 채택은 축당 두세 개로 줄인다. 선정 기준은 세 가지다. 관리 행동으로 이어지는가, 추가 입력 없이 기존 기록에서 자동 산출되는가, 최소 12개월 이상 같은 정의로 유지할 수 있는가.
2단계 — 정확도·정밀도 지표의 산출식과 목표값 근거
정확도 축은 인증표준물질(CRM) 측정값의 편향으로 잡는 편이 해석이 명확하다. 회차별 편향률을 (측정값−인증값)/인증값×100으로 기록하고, 기간 평균 편향과 그 신뢰구간을 함께 본다.
Eurachem/CITAC의 분석화학 품질 가이드는 정확도 확보 수단으로 표준물질 사용, 숙련도시험 참가, 관리도 운용을 함께 제시한다. 따라서 정확도 KPI는 CRM 편향률과 외부 숙련도시험 결과를 한 화면에 묶어 보는 구성이 낫다.
정밀도 축의 정도관리 성능 지표는 QC 시료의 기간 RSD, 이중분석 RPD의 중앙값, 관리도 표준편차의 갱신 폭으로 구성한다. Nordtest의 내부 정도관리 핸드북은 관리한계를 과거 데이터에서 산출한 뒤 주기적으로 재계산하도록 안내하므로, 재계산 시 한계폭의 변화율 자체를 정밀도 악화의 조기 신호로 쓸 수 있다.
목표값은 임의로 정하지 않는다. 방법 검증 시 확보한 정밀도, 측정불확도 목표, 고객·규제 요구 허용범위 중 가장 엄격한 값을 기준으로 삼고, 그 근거를 정도관리 계획서에 문서로 남긴다.
3단계 — 신뢰도·커버리지 정도관리 성능 지표 구성
신뢰도 축은 판정이 얼마나 믿을 만한가를 본다. 대표 지표는 OOL 발생률, 경보한계 이탈 이후 실제 부적합으로 확정된 비율(참경보율), 재측정·재분석 발생률, 시정조치 기한 준수율이다.
거짓 경보가 잦으면 현장은 관리도를 무시하게 되므로, 참경보율은 한계값 적정성을 되짚는 실질적 신호가 된다. 외부 신뢰도는 숙련도시험으로 확인한다. ISO 13528은 z-score를 부여값과 성능평가 표준편차로 표준화한 지표로 정의하며, |z|가 3 이상인 결과는 부여값에서 유의하게 벗어난 것으로 해석한다.
커버리지 축은 계획한 정도관리가 실제로 수행됐는지를 본다. QC 계획 대비 실행률, QC가 한 번도 적용되지 않은 항목 비율, 유효 교정 상태를 유지한 기기 비율, 유효기간 내 CRM 사용 비율이 자주 쓰인다.
커버리지 정도관리 성능 지표는 값이 100%에 근접해 무의미해 보이기 쉬우나, 미이행 건의 절대 수와 사유 분류를 함께 보면 인력·재고·일정의 구조적 병목이 드러난다.
4단계 — 정도관리 성능 지표 대시보드와 모니터링 주기
지표는 수집 주기와 검토 주기를 분리해 설계한다. 수집은 배치 단위로 자동 적재하되, 검토는 월간·분기·연간의 3층으로 나누는 구성이 무난하다.
월간에는 OOL 발생률과 커버리지처럼 즉시 조치 가능한 항목을 본다. 분기에는 편향 추세와 RSD 변화처럼 표본이 쌓여야 판단 가능한 정도관리 성능 지표를 본다. 연간에는 한계값 재산정, 방법 재검증 필요성, 기기 교체 시점 같은 자원 결정을 다룬다.
표현 방식은 단일 숫자보다 시계열 그래프가 낫다. 편향률은 0을 기준선으로 두고 목표 밴드를 음영으로 깔며, 발생률 계열은 분모인 총 QC 건수를 반드시 병기한다. 분모가 작은 달의 비율은 과대 해석되기 쉽다.
대시보드는 지표 정의서와 함께 관리한다. 지표명, 산출식, 분자·분모 정의, 데이터 출처, 목표값과 근거, 갱신 주기, 책임자를 한 장으로 정리해 두어야 담당자 교체 이후에도 정도관리 성능 지표의 연속성이 유지된다.
5단계 — 임계 초과 대응 규칙과 경영검토 연계
지표에는 임계선을 두되, 임계선이 관리도의 관리한계와 다른 성격임을 분명히 한다. 관리도는 단일 측정 결과를 판정하고, KPI 임계선은 일정 기간 누적된 상태를 판정한다.
2단 구조가 실용적이다. 주의 수준에서는 원인 분석 메모와 다음 주기 재확인만 요구하고, 조치 수준에서는 부적합 등록과 시정조치 절차를 개시한다. 임계 초과 시 누가 며칠 안에 무엇을 하는지 사전에 문서화하지 않으면 지표는 사후 보고서로만 남는다.
ISO/IEC 17025는 결과 타당성 모니터링 데이터를 경향 파악이 가능한 형태로 기록하고 통계 기법으로 검토하도록 요구하며, 경영검토 입력에 정도관리 활동 결과와 개선 기회를 포함하도록 한다. 정도관리 성능 지표는 이 두 요구를 잇는 연결 고리에 해당한다.
경영검토에는 지표 값 자체보다 판단을 올린다. 목표 미달 지표, 추정 원인, 필요한 자원, 다음 기간 목표값 조정안을 함께 제시할 때 비로소 의사결정이 이뤄진다.
관련해서 정도관리 월간 평가보고서 작성 5단계 — 집계부터 보존까지 글도 참고할 만하다.
정리 — 정도관리 성능 지표 운영 체크포인트
설계 단계 점검 항목은 네 가지다. 집계 단위가 확정됐는가, 지표가 축당 두세 개로 통제되는가, 각 목표값에 기술적 근거 문서가 붙어 있는가, 산출이 기존 기록에서 자동화되는가.
운영 단계에서는 다음을 확인한다. 비율 지표에 분모가 함께 표시되는가, 월·분기·연간 검토 주기가 지켜지는가, 임계 초과 시 담당자와 기한이 지정되는가, 정의서가 최신 상태로 유지되는가.
실패 유형도 정리해 둔다. 지표 개수 과다, 정의 변경 후 과거 값과의 혼용, 커버리지 100%에 안주해 미이행 사유를 놓치는 경우, 부적합률을 개인 평가에 직접 연결해 보고 자체가 위축되는 경우다. 마지막 항목은 데이터 무결성 측면에서 특히 위험하다.
정도관리 성능 지표는 QC 부담을 늘리기 위한 장치가 아니라, 이미 쌓여 있는 기록을 의사결정 가능한 형태로 바꾸는 장치다. 정의를 고정하고 최소 네 개 분기 이상 같은 방식으로 누적해야 정도관리 성능 지표가 추세로서 의미를 갖는다.
