정도관리 거짓 경보는 관리 상태의 배치를 부적합으로 오판해 재측정과 조사 비용을 키우는 대표적 낭비다. 단일 2s 규칙에 의존하면 N이 늘수록 오기각이 9~18%까지 치솟으므로, 한계 설정과 판정 규칙을 함께 최적화해야 한다. 이 글은 오류검출력은 유지하면서 정도관리 거짓 경보를 줄이는 실무 4단계를 다룬다.
목차
1단계 — 정도관리 거짓 경보의 정체와 비용부터 정의한다
정도관리 거짓 경보란 분석 시스템이 실제로 관리 상태(in-control)에 있음에도 관리도가 이상 신호를 내어 배치를 부적합으로 오판하는 경우를 말한다. 통계적으로는 제1종 오류(오기각, Pfr)에 해당하며, 오류검출력(제2종 오류의 반대)과 항상 상충 관계에 있다.
거짓 경보는 눈에 잘 띄지 않는 비용을 만든다. 불필요한 재측정, 시약 소모, 조사(OOL/OOS) 문서화, 보고 지연이 누적되며, 반복되면 분석가가 신호를 무시하는 ‘경보 피로’까지 유발한다.
따라서 개선의 출발점은 감(感)이 아니라 수치다. 최근 수개월 관리도에서 며칠에 한 번 신호가 뜨는지, 그 신호가 실제 오류로 확정된 비율은 얼마인지를 집계해야 한다. 이 기저율을 모르면 한계나 규칙을 바꿔도 개선 여부를 판단할 수 없다.
2단계 — 관리한계와 경고한계를 원리에 맞게 설정한다
정규분포를 전제하면 관리 상태의 값이 3σ 관리한계를 벗어날 확률은 단측 0.00135, 양측 약 0.0027이다. 즉 평균적으로 약 370개 점마다 한 번 거짓 경보가 발생하며, 이 값이 Shewhart 관리도의 in-control 평균런길이(ARL0=370.4)다.
반면 2σ 경고한계는 약 22개 점마다 한 번 걸린다. 경고선을 곧바로 기각 기준(1_2s)으로 쓰면 N=2에서 약 9%, N=3에서 약 14%, N=4에서 약 18%가 관리 상태인데도 기각된다.
그래서 실무 원칙은 명확하다. 2s선은 ‘기각선’이 아니라 ‘경고선’으로만 쓰고, 기각 판정은 3s 및 조합 규칙에 맡긴다. 한계값 자체도 교과서 3σ를 그대로 복사하지 말고, 충분한 관리시료 데이터로 산출한 실험실 고유의 표준편차에 근거해 설정해야 정도관리 거짓 경보의 기저를 낮출 수 있다.
3단계 — 다중규칙으로 정도관리 거짓 경보를 억제한다
단일 규칙은 오기각과 검출력을 동시에 만족시키기 어렵다. 1_3s만 쓰면 오기각은 N=2~4에서 1% 수준으로 낮지만 의미 있는 오류를 놓치고, 1_2s만 쓰면 검출력은 높지만 거짓 경보가 폭증한다.
Westgard 다중규칙은 이 딜레마를 조합으로 푼다. 개별적으로 오기각이 낮은 규칙(1_3s, 2_2s, R_4s, 4_1s, 10x 등)을 선별해 함께 적용하되, 실제 기각은 여러 규칙이 동시에 지지할 때만 내린다. 목표치는 오류검출력 0.90 이상, 오기각 0.05 이하로 잡는 것이 일반적 권고다.
규칙을 늘릴 때는 상충 효과를 반드시 계산한다. Western Electric의 4개 존 규칙을 모두 적용하면 개별 규칙의 ARL0 370이 결합되어 약 91.75개 점마다 한 번 신호로 떨어진다. 즉 규칙을 무분별하게 더하면 오히려 정도관리 거짓 경보가 늘어난다. N과 관리시료 수준(Low/Mid/High)에 맞춰 규칙 세트를 설계하는 것이 핵심이다.
4단계 — 판정 규칙을 데이터로 검증하고 운영에 고정한다
규칙을 바꿨다면 바꾼 근거를 데이터로 확인해야 한다. 과거 관리도를 새 규칙 세트로 재판정(백테스트)해 거짓 경보 건수와 실제 오류 검출 건수가 어떻게 변하는지 비교한다.
검증 지표는 두 축이다. Pfr(오기각률)이 목표 0.05 이하로 내려갔는지, 그리고 알려진 오류를 넣은 시나리오에서 검출력(Ped)이 0.90 수준을 유지하는지다. 한쪽만 좋아지면 개선이 아니라 균형 이동일 뿐이다.
확정된 규칙은 정도관리 계획서와 SOP에 규칙명·적용 N·수준별 적용 여부·기각 시 조치까지 문서로 고정한다. 감사증적과 재현성 확보를 위해 규칙 변경 이력과 근거도 함께 남긴다. 한계는 상황이 안정되면 주기적으로 재계산해 최신 공정 산포를 반영한다.
관련해서 관리도 이상 판정 규칙 — Western Electric 규칙 실무 적용 글도 참고할 만하다.
체크포인트 — 정도관리 거짓 경보 최적화 요약
첫째, 개선 전 기저율을 집계한다. 신호 빈도와 그중 실제 오류로 확정된 비율을 알아야 개선을 측정할 수 있다.
둘째, 2s는 경고선으로만 쓰고 기각은 3s·조합 규칙에 맡긴다. 3σ의 ARL0=370, 2σ의 약 22점 신호 주기를 기준으로 한계의 역할을 분리한다.
셋째, 다중규칙은 ‘더 많이’가 아니라 ‘균형 있게’다. 오기각 0.05 이하, 검출력 0.90 이상을 목표로 규칙을 선별하고, 규칙 추가가 ARL0을 어떻게 떨어뜨리는지 계산한다.
넷째, 바꾼 규칙은 백테스트로 검증하고 SOP에 고정한다. 이 네 단계를 지키면 오류검출력을 희생하지 않으면서 정도관리 거짓 경보를 실질적으로 줄일 수 있다.
