데이터 이상치 판정은 눈으로 튀어 보이는 값을 임의로 지우는 작업이 아니라 유의수준 기준의 통계 검정으로 근거를 남기는 절차다. Dixon Q, Grubbs, Cochran 검정으로 이상치와 기각치를 구분하고, 폐기 전 원인 조사와 재측정을 거쳐야 한다. 이 글은 판정부터 재측정까지 5단계로 정리한다.
목차
왜 데이터 이상치 판정에 통계 기준이 필요한가
반복 측정에서 한 값이 유독 튀어 보일 때, 그 값을 지울지 남길지는 분석자의 인상이 아니라 명시된 기준으로 결정해야 한다. 데이터 이상치 판정을 주관적으로 하면 유리한 값만 골라 남기는 선택적 폐기가 되고, 이는 정량 결과의 신뢰성과 감사 대응을 무너뜨린다.
통계적 판정은 “이 값이 같은 모집단에서 나왔다고 보기 어려운가”를 정해진 유의수준에서 검증한다. 관례적으로 유의수준 5%를 넘는 값은 기각치(straggler), 1%를 넘는 값은 이상치(outlier)로 구분해 다룬다.
중요한 점은 검정이 통계적으로 유의하다는 사실만으로 폐기가 정당화되지 않는다는 것이다. 검정은 재조사 대상을 지목할 뿐이며, 폐기 여부는 원인 규명과 함께 판단해야 한다.
1단계 — 정규성 확인과 검정법 선택
대부분의 이상치 검정은 데이터가 정규분포를 따른다는 전제 위에서 성립한다. 따라서 데이터 이상치 판정에 앞서 반복수와 분포 형태를 확인하고, 명백한 비대칭이나 다봉 분포가 있으면 검정 결과를 그대로 신뢰하지 않는다.
반복수가 적은 소규모 데이터(대략 n=3~10)에는 값의 범위 대비 간격을 보는 Dixon Q 검정이 간편하다. 반복수가 크거나 이상치 위치가 불특정할 때는 평균에서의 최대 편차를 표준편차로 나눈 Grubbs 검정이 더 적절하다.
실험실 간 또는 조건 간 분산의 이질성을 볼 때는 Cochran 검정으로 특정 조건의 반복 분산이 과도한지를 먼저 점검한다. ISO 5725 계열 절차는 Cochran을 먼저 적용한 뒤 Grubbs로 넘어가는 순서를 권장한다.
2단계 — 데이터 이상치 판정 검정 실행과 임계값 비교
Dixon Q 검정은 의심 값과 가장 가까운 이웃 값의 차이를 전체 범위로 나눈 Q 통계량을 계산하고, 반복수와 유의수준에 대응하는 임계값 Qcrit과 비교한다. Q가 Qcrit을 초과하면 그 값을 통계적 이상치로 지목한다.
Grubbs 검정은 G = |의심값 − 평균| / 표준편차를 구해 임계값과 비교한다. 한 값을 제거해도 다른 극단값에 가려진 이상치가 남을 수 있으므로, 필요하면 검정을 순차적으로 반복해 은폐(masking)를 확인한다.
이 단계의 데이터 이상치 판정은 반드시 사용한 검정법, 반복수, 유의수준, 계산된 통계량과 임계값을 함께 기록으로 남긴다. 숫자 하나만 지우고 근거를 남기지 않으면 판정 자체가 무효로 취급된다.
3단계 — 원인 조사와 폐기 근거 기록
검정에서 이상치로 지목되었더라도 곧바로 폐기하지 않는다. 먼저 시료 취급, 주입 재현성, 적분 오류, 캐리어가스나 이동상 변동, 기기 이상 등 지정 가능한 원인이 있는지 조사한다.
원인이 확인되면 그 기록을 근거로 값을 폐기하는 것이 정당하다. 반면 뚜렷한 원인 없이 통계적으로만 극단인 값은 실제 변동을 반영한 참값일 수 있으므로, 함부로 버리기보다 재측정으로 확인하는 편이 안전하다.
데이터 이상치 판정의 결론은 “폐기”, “보류 후 재측정”, “유지” 세 가지로 갈린다. 어떤 결론이든 판정 사유와 담당자, 일자를 남겨 추적 가능하게 한다.
4단계 — 재측정 프로세스와 대체 규칙
폐기가 결정되면 임의로 남은 값의 평균으로 메우지 않고, 동일 조건에서 재측정을 수행한다. 재측정 전에는 원인 조사에서 드러난 문제(라이너 오염, 기포, 적분 파라미터 등)를 먼저 교정한다.
재측정한 값은 다시 같은 이상치 판정 절차에 넣어 검증한다. 재측정값이 기준을 통과하면 데이터셋에 편입하고, 반복해서 이상치가 나오면 판정을 멈추고 메서드나 기기 상태를 근본 점검한다.
한 데이터셋에서 폐기할 수 있는 값의 개수에는 사전 한계를 둔다. 여러 값이 연쇄로 이상치가 된다면 개별 값의 문제가 아니라 시스템 적합성 문제일 가능성이 높기 때문이다.
관련해서 측정 데이터 이상치 걸러내기 — 실무자가 보는 신호 글도 참고할 만하다.
정리 — 데이터 이상치 판정 체크포인트
핵심은 판정과 폐기를 분리하는 것이다. 통계 검정은 재조사 대상을 지목하는 도구이고, 실제 폐기는 원인 규명이 뒷받침될 때만 정당하다.
실무 체크포인트는 다섯 가지다. 첫째 정규성과 반복수를 확인해 검정법을 고른다. 둘째 Dixon Q·Grubbs·Cochran으로 유의수준(5% 기각치, 1% 이상치)에 따라 판정한다. 셋째 원인을 조사한다. 넷째 폐기 근거를 기록한다. 다섯째 교정 후 재측정하고 재검증한다.
이 절차를 표준작업지침으로 문서화해 두면 데이터 이상치 판정이 분석자마다 흔들리지 않고, 규격이 요구하는 QA/QC 추적성도 확보된다.