정도관리 부적합 빈도 추이 분석은 시정조치가 실제로 효과를 냈는지 정량적으로 입증하는 절차다. 개별 부적합을 닫는 것과 해당 유형의 발생률이 줄었음을 증명하는 것은 별개의 활동이며, 후자는 분모가 정의된 발생률과 통계적 비교 없이는 성립하지 않는다. 본 문서는 집계 기준 확정, 기저선 산출, 전후 비교 검정, 지속성 모니터링의 4단계로 개선 효과 검증 절차를 정리한다.
목차
왜 정도관리 부적합 빈도를 개선 효과 지표로 삼는가
정도관리 부적합 빈도는 시정조치의 효과를 판단하는 가장 직접적인 지표다. 개별 OOL 사건 하나를 조사하고 종결하는 활동과, 그 유형의 부적합이 조직 수준에서 실제로 줄었는지 확인하는 활동은 성격이 다르다.
ISO/IEC 17025 8.7은 시정조치 실행 이후 그 유효성을 검토하도록 요구한다. A2LA는 검토 시점을 실행 직후가 아니라 통상 1~2개월 뒤로 배치할 것을 권고하는데, 부적합이 해소되었음을 신뢰성 있게 확인할 만큼 데이터가 쌓여야 하기 때문이다. 여기서 말하는 ‘충분한 데이터’가 곧 빈도 추이다.
문제는 상당수 실험실이 부적합 건수만 집계하고 분모를 관리하지 않는다는 점이다. 측정 배치 수가 줄거나 QC 시료 투입 횟수가 감소하면 건수도 자연히 줄어든다. 건수 감소만으로 개선을 주장하면 심사에서 근거 부족으로 지적되기 쉽다.
따라서 정도관리 부적합 빈도는 ‘기회당 발생률’ 형태로 정의해야 한다. 아래 4단계는 정의 확정, 기저선 산출, 전후 비교, 지속성 확인 순으로 진행한다.
1단계 — 부적합 정의와 분모 확정
먼저 무엇을 1건으로 세는지 확정한다. 경보한계 이탈과 관리한계 이탈, 개별 데이터점 OOL과 관리도 판정 규칙 위반(연속 상승 추세, 편측 연속 등)을 같은 단위로 섞으면 추이가 왜곡된다. 유형별로 분리 집계하고, 하나의 근본원인에서 파생된 연속 이탈은 사건 단위로 묶을지 데이터점 단위로 셀지 사전에 규정한다.
분모는 실제 발생 기회를 반영해야 한다. 일반적으로 QC 측정 횟수, 분석 배치 수, 또는 항목·기기·분석가 조합 단위가 쓰인다. 배치별 QC 개수가 일정하지 않은 실험실이라면 측정 횟수를 분모로 두는 편이 안정적이다.
계층 변수도 이 단계에서 정한다. 항목, 기기, 분석가, CRM 로트, 농도 수준은 최소한의 계층이다. 정도관리 부적합 빈도가 전체적으로는 줄었는데 특정 기기에서만 늘어나는 상황은 흔하며, 계층 없이 총계만 보면 이를 놓친다.
데이터 출처는 LIMS나 관리도 원본으로 고정하고, 집계용 스프레드시트를 별도로 만들어 수기 재입력하는 방식은 피한다. PIC/S PI 041-1은 ALCOA+ 원칙에 따라 원본성과 감사추적 확보를 요구하며, 과거 부적합을 사후에 ‘경미’로 재분류해 빈도를 낮추는 행위는 데이터 무결성 위반으로 취급될 소지가 있다. 재분류가 필요하면 사유·승인자·시점을 남긴다.
2단계 — 개선 전 정도관리 부적합 빈도 기저선 산출
비교 대상이 없는 추이는 해석되지 않는다. 시정조치 시행일을 기준점으로 두고, 그 이전 구간에서 정도관리 부적합 빈도의 기저선을 계산한다.
기저선 구간은 최소한 사건이 여러 건 관측될 만큼 길어야 한다. 발생률이 낮은 항목이라면 월 단위 집계로는 분자가 0~1에 머물러 어떤 비교도 유의해지지 않으므로, 분기 단위로 묶거나 유사 항목을 통합해 분모를 키우는 편이 낫다.
기저선 구간 선정에서 자주 발생하는 오류는 ‘가장 나빴던 달’을 기준으로 삼는 것이다. 극단값 직후에는 개입이 없어도 평균으로 되돌아가므로, 개선 효과가 과대평가된다. 계절성, CRM 로트 전환, 한계값 개정 시점이 구간에 걸쳐 있는지도 확인한다.
집계는 계수형 관리도로 시각화하면 판단이 빨라진다. 배치 크기가 변하는 경우 u 관리도가 적합하며, 여기에 관리도 판정 규칙을 적용해 추세 여부를 본다. 다만 NIST/SEMATECH 핸드북은 WECO 보조 규칙을 함께 쓰면 오경보 발생 간격이 평균 371점에서 약 91.75점으로 짧아진다고 설명한다. 규칙을 많이 걸수록 민감도는 오르지만 거짓 개선·거짓 악화 신호도 늘어난다는 점을 기저선 단계에서부터 감안한다.
3단계 — 전후 비교와 통계적 유의성 판정
개선 후 구간의 발생률을 기저선과 비교한다. 사건 수가 적으면 카이제곱보다 Fisher 정확검정이 안전하고, 분모가 측정 횟수처럼 노출량 성격이면 포아송 발생률비 검정이 적합하다. 점추정치보다 신뢰구간 폭을 함께 보고하는 편이 실무 판단에 유용하다.
관리도를 활용하는 방법도 있다. 기저선으로 산출한 한계를 고정한 뒤 개선 후 데이터를 이어 그려, 점들이 중심선 아래에서 연속으로 유지되는지 확인한다. 누적 변화를 민감하게 보려면 CUSUM이 유리하다.
혼란 요인 보정이 이 단계의 핵심이다. 같은 기간에 관리한계를 넓혔거나 QC 빈도를 줄였다면 정도관리 부적합 빈도는 시정조치와 무관하게 감소한다. 이런 ‘가짜 개선’은 심사에서 가장 먼저 지적되는 항목이므로, 비교 구간의 한계값·측정 개수·항목 구성이 동일한지 명시적으로 기록한다.
표본이 부족해 유의성 판정이 불가능한 경우에는 무리하게 결론을 내리지 않는다. ‘현재 데이터로는 개선을 확인할 수 없으며 관측을 연장한다’는 판정도 유효한 결론이며, 이를 기록으로 남기는 편이 근거 없는 유효 판정보다 낫다.
4단계 — 지속성 모니터링과 재발 판정
유의한 감소가 확인되어도 즉시 종결하지 않는다. 시정조치 직후에는 관심 효과로 일시적으로 지표가 좋아지는 경우가 많으므로, 최소 3~6개월 또는 사전에 정한 데이터 축적량에 도달할 때까지 추이를 이어서 본다.
재발 판정 기준은 수치로 미리 정해 둔다. 예를 들어 개선 후 구간에서 동일 유형 부적합이 기저선 발생률 수준으로 복귀하거나, 관리도 상 연속 상승 추세가 재현되면 시정조치를 ‘유효하지 않음’으로 판정하고 근본원인 분석을 재개한다. 판정 기준이 없으면 재발 여부가 담당자 재량으로 흐른다.
지속성이 확인된 시점에 한계와 기준선을 갱신한다. 개선 후 데이터로 관리도 한계를 재산정하고, 정도관리 부적합 빈도를 월간 평가보고서와 KPI 체계에 정식 지표로 편입해 경영검토 입력자료로 올린다.
기록은 사건 단위가 아니라 분석 단위로 남긴다. 집계 규칙, 기저선 구간과 산출값, 사용한 검정과 결과, 혼란 요인 검토 내용, 최종 유효성 판정과 승인자를 하나의 검토 기록으로 묶어 보존한다.
관련해서 부적합 시정조치 4단계 — 근본원인 규명부터 재발 방지까지 글도 참고할 만하다.
정도관리 부적합 빈도 추이 분석 체크포인트
집계 기준 — 부적합 유형(경보/관리한계, 개별 OOL/규칙 위반)이 분리 집계되는가. 1건의 정의와 분모(측정 횟수 또는 배치 수)가 문서로 고정되어 있는가.
계층 — 항목·기기·분석가·로트·농도 수준별로 나누어 볼 수 있는가. 총계 개선 뒤에 특정 계층의 악화가 가려져 있지 않은가.
기저선 — 구간 길이가 사건 수를 확보할 만큼 충분한가. 극단값 직후를 기준으로 삼아 평균 회귀를 개선으로 오인하지 않았는가.
검정 — 사건 수에 맞는 방법(Fisher 정확검정, 포아송 발생률비 등)을 썼는가. 신뢰구간을 함께 보고했는가.
혼란 요인 — 비교 구간에서 한계값·QC 빈도·항목 구성이 변경되지 않았음을 확인했는가. 변경이 있었다면 그 영향을 분리해 서술했는가.
지속성 — 유효성 검토 시점이 데이터 축적을 고려해 설정되었는가. 재발 판정 기준이 수치로 사전 정의되어 있는가.
기록 — 집계 원본이 LIMS·관리도 원본에서 추적 가능한가. 재분류가 있었다면 사유와 승인이 감사추적으로 남는가.
환류 — 개선이 확인된 뒤 관리도 한계와 KPI 기준선이 갱신되고 경영검토에 보고되었는가.
