검량선 직선성 판정은 R² 값 확인이 아니라 판정 기준 사전 확정, 회귀진단, 이상점 처리, 재판정·기록의 4단계 절차다. 결정계수는 직선 모델을 기각할 근거는 되지만 채택할 근거로는 부족하며, 잔차 패턴과 적합결여 검정으로 보완해야 한다. 이상점을 제외할 때는 통계적 신호와 기술적 원인을 함께 확보하고 원자료와 제외 사유를 감사추적 가능한 형태로 남긴다.
목차
검량선 직선성 판정에서 R²만 보면 안 되는 이유
검량선 직선성 판정을 R² 값 하나로 끝내는 관행은 실무에서 가장 흔한 취약점이다. 결정계수는 두 변수의 관계 강도를 요약하는 지표일 뿐이며, 명백히 휘어 있는 데이터에서도 1에 가까운 값이 나올 수 있다.
관련 리뷰 문헌은 상관계수 r이 0.997을 넘으면서도 95% 신뢰수준의 적합결여(lack-of-fit) 검정에서 탈락하는 계산 사례를 제시한다. 고농도 구간에서 검출기가 포화되기 시작해도 전체 R²는 거의 떨어지지 않기 때문이다.
ICH Q2(R2)는 개정 과정에서 ‘직선성’ 항목을 ‘작업범위(working range)’와 ‘검량 모델의 적합성’ 개념으로 재편했다. 특정 R² 컷오프를 고정하기보다, 선택한 모델이 의도한 용도에 적합한지를 잔차와 추세로 입증하라는 방향이다.
따라서 검량선 직선성 판정은 단일 숫자 대조가 아니라 기준 확정, 회귀진단, 이상점 처리, 재판정·기록으로 이어지는 4단계 절차로 구조화해야 한다. 아래 각 단계는 그대로 SOP 조항으로 옮겨 쓸 수 있는 수준으로 서술한다.
1단계 — 판정 기준 사전 확정: R² 하한과 부가 지표
기준은 데이터를 본 뒤가 아니라 검량 설계 시점에 문서로 확정한다. 측정 후에 기준을 조정하면 데이터 무결성 관점에서 결과 선택(testing into compliance)으로 해석될 여지가 생긴다.
R² 하한은 방법과 농도 범위에 따라 차등한다. 의약·환경 분야 실무에서는 통상 0.99 또는 0.995 수준을 관용값으로 쓰지만, 이는 규제상 고정 수치라기보다 방법별 타당성으로 정당화해야 하는 값이다. 특히 정량하한(LOQ) 근처를 포함하는 넓은 범위 곡선에서는 같은 R²라도 저농도 오차가 훨씬 크다.
R² 단독 판정을 피하려면 부가 지표를 함께 규정한다. 실무에서 유용한 조합은 세 가지다. 첫째, 각 표준점의 응답인자(반응/농도) RSD가 허용폭 안에 드는지. 둘째, 역산 농도의 상대오차가 각 수준에서 허용치 이내인지. 셋째, y절편이 최저 표준점 반응 대비 유의하게 큰지 여부다.
판정 기준서에는 표준점 개수와 반복수, 가중 방식, 원점 통과 여부, 재측정 허용 횟수까지 함께 적는다. 이 항목들이 비어 있으면 이후 단계의 검량선 직선성 판정 결과가 분석자마다 달라진다.
2단계 — 회귀진단: 잔차 패턴과 적합결여 검정
회귀진단의 출발점은 잔차 산점도다. 잔차를 농도에 대해 그렸을 때 0을 중심으로 무작위 산포하면 직선 가정이 유지된다고 본다.
패턴은 두 가지 형태로 읽는다. U자형 또는 역U자형 곡률은 모델 형태의 문제, 즉 직선이 아닌 관계를 직선으로 맞춘 신호다. 저농도에서 좁고 고농도로 갈수록 벌어지는 나팔형은 분산 불균일(이분산)의 신호이며, 모델 형태가 아니라 가중 방식의 문제다.
곡률이 의심되면 정성 판단에 그치지 말고 통계 검정을 붙인다. 각 농도 수준에서 반복측정이 있으면 분산분석으로 적합결여 분산과 순수오차를 F검정으로 비교한다. 반복이 없거나 2차항 채택 여부를 다툴 때는 1차와 2차 모델의 잔차표준편차를 비교하는 Mandel 적합검정을 쓰며, 문헌 사례는 99% 신뢰수준 적용을 보여준다.
이분산이 확인되면 최소자승법 대신 1/x 또는 1/x² 가중회귀를 검토한다. 가중회귀는 저농도 구간의 역산 정확도를 개선하고 정량범위를 넓히는 효과가 있으나, 가중 방식 선택은 반드시 근거와 함께 정당화하고 검증 문서에 남긴다.
이 단계까지 통과해야 검량선 직선성 판정이 ‘모델이 데이터에 맞는다’는 진술로 성립한다. R²는 이때 보조 요약값으로 함께 보고하는 위치에 둔다.
3단계 — 이상점 탐지와 제외 정당성 확보
이상점은 통계 신호와 기술적 원인 두 가지가 모두 확보될 때만 제외한다. 통계 신호만으로 제외하면 곡선을 인위적으로 펴는 조작으로 간주될 수 있다.
탐지 기준은 사전에 하나로 고정한다. 실무에서 쓰이는 방식은 표준화 잔차 절댓값 3 초과, 잔차가 ±t(0.05, p−2)×Sy/x 밖에 놓이는 경우, 영향도 지표인 Cook 거리 등이다. Grubbs·Dixon 같은 단일 이상치 검정은 동일 농도의 반복측정군에는 적용할 수 있으나, 서로 다른 농도의 표준점 집합에 그대로 쓰면 전제가 어긋난다.
기술적 원인 조사 항목은 조제 칭량과 희석배수, 주입량과 피크 적분, 표준용액 로트와 개봉 이력, 바이알 위치와 캐리오버다. 원인이 특정되면 제외가 아니라 재측정이 우선 조치가 된다.
제외 한도도 규정한다. 통상적으로 표준점 하나의 제외는 허용하되, 두 점 이상 제거해야 기준을 만족한다면 곡선 자체를 폐기하고 재작성한다. 최저점 또는 최고점을 제거한 경우에는 정량범위를 그만큼 축소해 보고하며, 축소 전 범위로 측정한 시료는 범위 이탈로 재판정한다.
검량선 직선성 판정에서 이상점 처리는 곡선 형태를 맞추는 작업이 아니라 정량범위 경계를 다시 긋는 작업이라는 점이 핵심이다.
4단계 — 재판정과 검량선 직선성 판정 기록의 무결성
제외·가중·재측정을 반영한 뒤에는 1~2단계 기준으로 다시 판정한다. 재판정 시에도 R², 잔차 패턴, 역산 정확도를 동일한 순서로 확인해 판정 논리가 일관되게 유지되도록 한다.
기록은 결과값이 아니라 과정이 남아야 한다. 최소한 원자료 전체(제외한 점 포함), 사용한 회귀식과 가중 방식, 제외 근거와 조사 결과, 판정자와 일시, 승인자를 남긴다. 크로마토그래피 데이터 시스템을 쓴다면 재적분과 점 제외가 감사추적에 기록되는지 설정을 확인한다.
제외한 점을 원자료에서 삭제하는 행위는 데이터 무결성 위반이다. 배제 표시와 사유 주석으로 처리하고 원본은 그대로 보존한다.
판정 불합격이 확정되면 영향 범위를 정한다. 직전 합격 검량선 이후 해당 곡선으로 정량한 시료가 소급 대상이며, QC 시료 회수율과 관리도 추세를 함께 검토해 재분석 대상을 좁힌다. 검량선 직선성 판정 결과가 시료 결과의 유효성 판단과 연결되는 지점이 여기다.
관련해서 검량선 점 개수 결정 실무 — 정밀도와 비용의 균형 글도 참고할 만하다.
정리 — 검량선 직선성 판정 체크포인트
현장 점검 시 다음 항목이 문서로 확인되면 절차가 성립한 것으로 본다.
첫째, R² 하한과 부가 판정 지표(응답인자 RSD, 역산 상대오차, 절편 유의성)가 측정 전에 SOP로 확정되어 있다. 둘째, 매 곡선마다 잔차 산점도를 확인하고 곡률·이분산 여부를 판단한 기록이 있다. 셋째, 반복측정이 있는 방법은 적합결여 검정 또는 Mandel 검정 결과를 남긴다.
넷째, 이상점 탐지 기준이 하나로 고정되어 있고 통계 신호와 기술적 원인이 함께 기록된다. 다섯째, 제외 허용 개수와 그에 따른 정량범위 축소 규칙이 명시되어 있다. 여섯째, 제외한 점을 포함한 원자료와 감사추적이 보존된다.
마지막으로 불합격 시 소급 범위 결정과 고객 통보 판단이 연결된 절차로 정의되어 있어야 한다. 검량선 직선성 판정은 개별 곡선의 합부를 가리는 작업으로 끝나지 않고, 정량범위 선언과 결과 유효성 판단의 근거를 만드는 작업이다.
R²는 그 근거의 일부일 뿐이며, 잔차와 이상점 처리 기록이 붙어야 판정으로 완결된다.
참고 자료
- ICH Q2(R2) Validation of Analytical Procedures (2023)
- Linearity of Calibration Curves for Analytical Methods: A Review of Criteria for Assessment of Method Reliability (IntechOpen)
- From a glimpse into the key aspects of calibration and correlation to their practical considerations in chemical analysis (PMC)
