
SOFTMOA TECHNOLOGY
AI 학습·검증 데이터 중복 확인, Python으로 같은 문장 찾는 방법
소프트모아가 정리한 기술 기록입니다.
Contents
AI 모델의 검증 점수가 유난히 높다면 모델 설정을 바꾸기 전에 학습·검증 데이터에 같은 문장이 들어갔는지 확인하세요. 행 ID는 달라도 내용이 같을 수 있습니다. 텍스트를 일정한 규칙으로 정규화한 뒤 두 집합의 교집합을 검사하면 이런 중복부터 찾습니다. 학습·평가 자료의 겹침이 평가를 왜곡하는 문제는 언어 모델 데이터 중복 연구에서도 다룹니다.
ID가 다르다는 확인만으로는 부족합니다
아래는 짧은 한국어 문의를 분류하는 AI의 입력 데이터를 가정한 예제입니다. 학습용 train은 2행, 검증용 valid는 3행이며 실제 고객 자료가 아닙니다. T01과 V01에는 같은 비밀번호 재설정 문장을 넣되 V01의 공백과 한글 표현 형식을 바꿨습니다. ID 교집합은 비어 있지만 내용 중복은 남습니다.
비교 규칙은 NFC 정규화와 연속 공백을 한 칸으로 합치는 두 단계입니다. Python 공식 문서의 NFC와 NFD는 유니코드 정규화 형식입니다. 예제의 NFD 입력은 화면에서 비슷하게 보이는 문자열도 내부 표현이 다를 수 있다는 조건을 재현합니다. 정규화한 값은 비교용으로만 쓰고 원문은 덮어쓰지 않습니다.
학습 없이 실행하는 중복 점검 코드
다음 코드를 split_check.py로 저장해 python3 split_check.py로 실행합니다. Python 3.14.8에서 실행 결과를 확인했으며 외부 패키지, 모델 다운로드, API 호출은 없습니다. 문자열이 아닌 값과 공백뿐인 입력은 ValueError로 거부합니다.
import unicodedata
train = [("T01", "비밀번호 재설정"), ("T02", "배송 조회")]
valid = [
("V01", unicodedata.normalize("NFD", " 비밀번호 재설정 ")),
("V02", "배송 상태 확인"),
("V03", "계정 삭제"),
]
def key(text):
if not isinstance(text, str):
raise ValueError("text must be a string")
value = " ".join(unicodedata.normalize("NFC", text).split())
if not value:
raise ValueError("empty text")
return value
def overlaps(left, right):
index = {}
for row_id, text in left:
index.setdefault(key(text), []).append(row_id)
return [(row_id, index[key(text)]) for row_id, text in right
if key(text) in index]
print("id_overlap:", sorted({i for i, _ in train} & {i for i, _ in valid}))
print("text_overlap:", overlaps(train, valid))
valid_keys = {key(text) for _, text in valid}
clean_train = [(i, t) for i, t in train if key(t) not in valid_keys]
print("remaining_train:", [i for i, _ in clean_train])
print("after:", overlaps(clean_train, valid))
assert not overlaps(clean_train, valid)
실행 결과는 다음과 같습니다.
id_overlap: []
text_overlap: [('V01', ['T01'])]
remaining_train: ['T02']
after: []
text_overlap은 검증 행 V01이 학습 행 T01과 겹친다는 뜻입니다. 예제에서는 검증 자료를 고정한 채 해당 학습 행을 제외해 clean_train을 만듭니다. 학습 후보는 2행에서 1행으로 줄고 검증 자료 3행은 그대로입니다. 원래 train 목록은 바꾸지 않으므로 이후 학습에 train을 다시 넘기면 중복이 돌아옵니다. 실제 처리 단계에는 검토한 clean_train을 연결해야 합니다.
after가 비어도 남아 있는 문제
T02의 배송 조회와 V02의 배송 상태 확인은 뜻이 비슷해도 이 코드에서 겹치지 않습니다. after: []는 정한 규칙으로 일치하는 문자열이 없다는 결과일 뿐, 의미가 비슷한 문장까지 제거했다는 증거는 아닙니다. BigCode의 중복 처리 글도 유사 문서를 찾는 별도 절차와 실제 후보 검토를 다룹니다. 이 예제에는 그 절차를 구현하지 않았습니다.
- 같은 상담이나 원문에서 파생한 문장은 출처 ID로 묶어 분리하는 방안을 검토하세요. scikit-learn의 GroupKFold는 같은 그룹이 학습·평가 양쪽에 들어가지 않도록 나눕니다.
- 공백 자체가 의미인 코드나 표에는 이 비교 규칙을 그대로 적용하지 마세요. 불필요한 병합을 막으려면 자료 종류별로 규칙을 정해야 합니다.
- 이미 학습한 모델에서 중복의 영향을 없애는 코드는 아닙니다. 정리한 데이터로 다시 학습하고 평가해야 하며, 이 예제는 정확도 개선을 측정하지 않았습니다.
새 데이터셋을 설계한다면 중복·출처 그룹을 먼저 정하고 그룹 단위로 분리하는 편이 낫습니다. 이미 분리한 자료를 정리할 때는 제거한 행 ID와 사유, 분리 후 수량을 남겨 검토하세요. 이 작은 예제는 필터 동작을 확인합니다. 학습 행이 1개 남았다고 해서 학습량이 충분하다는 뜻은 아닙니다.
문자열 중복 검사와 전처리 과정의 데이터 누수도 구분해야 합니다. scikit-learn의 데이터 누수 안내처럼 평균이나 특징 선택 기준을 학습하는 전처리는 학습 자료에만 fit하고 검증·시험 자료에는 transform을 적용합니다. 이 글의 고정된 문자열 비교 규칙은 데이터에서 통계값을 학습하지 않습니다. 최종 시험 자료를 모델 선택에 반복해서 쓰는 문제 역시 별도로 관리해야 합니다.
AI 데이터 점검과 업무 시스템 연동에 관한 소프트모아의 서비스는 softmoa.com에서 확인할 수 있습니다.
소프트모아는 해당 시스템을 구축합니다. 문의하기
