SOFTMOA TECHNOLOGY

AI 분류 모델이 불량을 놓칠 때 임계값과 재현율 확인 방법

소프트모아가 정리한 기술 기록입니다.

Contents
작성일 2026. 11. 19.

AI 분류 모델의 정확도가 97%인데도 불량을 놓친다면, 모델을 다시 학습시키기 전에 지금 쓰는 분류 임계값부터 확인해 보세요. 점수와 정답은 그대로 두고 임계값만 바꾸면 누락 건수와 검수 물량을 비교할 수 있습니다. 아래 가상 자료에서 임계값을 50점에서 42점으로 내리니 놓친 불량은 1건에서 0건으로 줄었습니다. 검수 물량은 5건에서 8건으로 늘었습니다.

정확도 97%가 감춘 불량 1건

100건 중 실제 불량은 4건, 정상은 96건인 가상 검사 자료를 사용합니다. 모델의 불량 점수는 0~100 사이의 정수라고 가정합니다. 여기서 50점이 불량 확률 50%라는 뜻은 아닙니다. 점수가 임계값 이상일 때에만 사람 검수로 보냅니다. 50점은 50점 기준에 포함되고 49점은 제외됩니다. 같은 점수를 받은 건의 경계 처리는 구현마다 다를 수 있으니, 운영 코드가 >=를 쓰는지 >를 쓰는지부터 보세요.[1][3]

  • TP와 FP는 검수 대기열에 들어온 실제 불량과 정상입니다. 둘을 더하면 검수 물량이고, 그중 TP 비율이 정밀도입니다.
  • FN과 TN은 대기열에 들어오지 않은 실제 불량과 정상입니다. 실제 불량 전체(TP + FN) 중 잡은 비율이 재현율입니다. 정확도는 전체에서 TP와 TN이 차지하는 비율입니다.[2]

같은 100건에 임계값만 바꿔 보기

아래 코드를 check_thresholds.py로 저장한 뒤 python3 check_thresholds.py를 실행하세요. Python 3.14.8에서 확인했고 외부 패키지나 모델 호출은 필요 없습니다. 입력은 (정답, 점수) 쌍입니다. 정답 1은 불량, 0은 정상입니다. 실제 데이터를 넣을 때는 모델 점수와 사람의 확정 판정을 같은 건으로 짝지으세요. 검수에 올라온 건만으로는 대기열 밖의 불량을 셀 수 없어 전체 재현율을 구할 수 없습니다.[6]

from collections import Counter

rows = [(1, s) for s in (80, 65, 50, 42)]
rows += [(0, s) for s in (70, 55, 49, 48)] + [(0, 10)] * 92

def counts(cutoff):
    grid = Counter((label, int(score >= cutoff)) for label, score in rows)
    return grid[1, 1], grid[0, 1], grid[1, 0], grid[0, 0]

def rate(numerator, denominator):
    return f"{numerator / denominator:.0%}" if denominator else "N/A"

print("cut  TP FP FN TN queue precision recall accuracy")
for cut in (90, 50, 49, 42):
    tp, fp, fn, tn = counts(cut)
    queue = tp + fp
    print(f"{cut:>3} {tp:>3} {fp:>2} {fn:>2} {tn:>2} {queue:>5}",
          f"{rate(tp, queue):>9} {rate(tp, tp + fn):>6}",
          f"{rate(tp + tn, len(rows)):>8}")
cut  TP FP FN TN queue precision recall accuracy
 90   0  0  4 96     0       N/A     0%      96%
 50   3  2  1 94     5       60%    75%      97%
 49   3  3  1 93     6       50%    75%      96%
 42   4  4  0 92     8       50%   100%      96%

50점에서는 대기열 5건 중 3건이 진짜 불량입니다. 정밀도는 3/5, 재현율은 3/4입니다. 49점으로 내리면 49점짜리 정상 1건만 더 들어와 검수 건수가 6건으로 늘고 실제 불량 4건 중 1건은 여전히 빠집니다. 42점에서야 마지막 불량이 대기열에 들어옵니다. 50점 때보다 3건을 더 검수해서 불량 1건을 더 잡은 셈입니다.

90점에서는 검수 대상이 한 건도 없어 정밀도의 분모가 0입니다. 코드는 이 경우를 N/A로 표시합니다. 실제 불량은 4건이므로 재현율은 0/4, 즉 0%입니다. 정상 96건은 모두 검수 대상에서 빠져 정확도는 96%입니다. 모든 불량을 놓친 90점과 모든 불량을 검수에 올린 42점의 정확도가 같습니다.[2]

검수 한도가 6건이면 어느 점수를 쓰나요?

이 자료에서 검수 최대 6건과 불량 누락 0건을 동시에 만족하는 단일 임계값은 없습니다. 가장 낮은 불량 점수가 42점이라 누락을 없애려면 임계값이 42점 이하여야 합니다. 그 시점에 이미 8건이 들어오고, 임계값을 더 내려도 검수 물량은 줄지 않습니다. 임계값 변경은 기존 점수를 분류에 쓰는 기준만 바꿉니다. 점수의 순서를 바꾸지는 못합니다.[3]

실제 운영에서는 검수할 수 있는 건수와 허용할 누락을 먼저 정하세요. 두 조건을 만족하는 값이 없다면 검수 인력을 늘리거나, 추가 검사 신호를 써서 점수 순서를 개선하는 방법을 검토하세요. 기준을 고르는 데 쓴 자료로 성능을 확정하지 마세요. 설정이 정해지면 별도 평가 자료에서 검수 건수와 누락을 다시 셉니다. 예제에서는 불량 4건을 모두 찾아 재현율 100%가 나왔지만 운영에서도 누락이 없다고 볼 근거는 아닙니다.[3][6]

소프트모아의 개발 서비스는 softmoa.com에서 확인할 수 있습니다.

참고 자료

소프트모아는 해당 시스템을 구축합니다. 문의하기

Share this

AI

Have a questions?

견적 및 기술문의

mobile : 010-7931-4813

Contact Form