Contents
see List개요
LLM을 도메인에 특화시키는 대표적인 두 가지 접근법은 Fine-tuning(미세조정)과 RAG(Retrieval-Augmented Generation)입니다. 많은 팀이 "우리 데이터로 AI를 학습시키자"고 할 때 바로 Fine-tuning을 떠올리지만, 실제로는 RAG가 더 적합한 경우가 대부분입니다.
이 글에서는 두 접근법의 원리, 비용, 성능을 객관적으로 비교하고, 실무에서 올바른 선택을 내리기 위한 의사결정 프레임워크를 제시합니다.
핵심 개념: 두 접근법의 원리
- Fine-tuning: 사전학습된 모델의 가중치를 도메인 데이터로 추가 학습. 모델 내부에 지식이 "각인"됩니다. 출력 스타일, 포맷, 특정 도메인 어휘를 학습시키는 데 효과적입니다.
- RAG: 모델 가중치는 그대로 두고, 추론 시점에 관련 문서를 검색하여 컨텍스트로 제공. 외부 지식 저장소를 "참고 자료"로 활용합니다. 사실 기반 응답과 최신 정보 반영에 효과적입니다.
실전 예제: 비용과 성능 비교
1. Fine-tuning 파이프라인
# OpenAI Fine-tuning 예시
import openai
import json
# 1. 학습 데이터 준비 (JSONL 형식)
training_data = [
{
"messages": [
{"role": "system", "content": "당신은 의료 전문 AI입니다."},
{"role": "user", "content": "고혈압 환자의 1차 치료약은?"},
{"role": "assistant", "content": "고혈압 1차 치료약으로는 ACE 억제제(에날라프릴), ARB(발사르탄), CCB(암로디핀), 티아지드계 이뇨제가 권장됩니다. JNC-8 가이드라인에 따르면..."}
]
},
# ... 수백~수천 개의 학습 예시
]
with open("training.jsonl", "w") as f:
for item in training_data:
f.write(json.dumps(item, ensure_ascii=False) + "\n")
# 2. 파일 업로드
file = openai.files.create(
file=open("training.jsonl", "rb"),
purpose="fine-tune"
)
# 3. Fine-tuning 작업 시작
job = openai.fine_tuning.jobs.create(
training_file=file.id,
model="gpt-4o-mini-2024-07-18",
hyperparameters={
"n_epochs": 3,
"learning_rate_multiplier": 1.8
}
)
# 4. 학습 완료 후 사용
response = openai.chat.completions.create(
model=f"ft:{job.fine_tuned_model}",
messages=[{"role": "user", "content": "당뇨병 진단 기준은?"}]
)2. 동일 도메인의 RAG 구현
# RAG로 동일한 의료 Q&A 구현
from langchain_openai import ChatOpenAI, OpenAIEmbeddings
from langchain_community.vectorstores import Chroma
from langchain.chains import RetrievalQA
# 의료 가이드라인 문서를 벡터DB에 색인
embeddings = OpenAIEmbeddings(model="text-embedding-3-small")
vectorstore = Chroma.from_documents(
documents=medical_guidelines, # 의료 가이드라인 PDF 파싱 결과
embedding=embeddings
)
# RAG 체인 구성
qa = RetrievalQA.from_chain_type(
llm=ChatOpenAI(model="gpt-4o", temperature=0),
retriever=vectorstore.as_retriever(search_kwargs={"k": 5}),
return_source_documents=True
)
result = qa.invoke({"query": "당뇨병 진단 기준은?"})
print(result["result"])
print("참고 문헌:")
for doc in result["source_documents"]:
print(f" - {doc.metadata['source']}, p.{doc.metadata.get('page', 'N/A')}")3. 비용 비교표
+------------------+-------------------+-------------------+
| 항목 | Fine-tuning | RAG |
+------------------+-------------------+-------------------+
| 초기 비용 | $50~$500+ | $5~$50 |
| | (학습 컴퓨팅) | (임베딩 생성) |
+------------------+-------------------+-------------------+
| 추론 비용/건 | 기본 모델 대비 | 임베딩 + 검색 |
| | 동일 또는 저렴 | + LLM 비용 |
+------------------+-------------------+-------------------+
| 데이터 업데이트 | 재학습 필요 | 문서 추가만 |
| | (수 시간~수 일) | (수 분) |
+------------------+-------------------+-------------------+
| 필요 데이터량 | 수백~수천 예시 | 원본 문서 그대로 |
+------------------+-------------------+-------------------+
| 할루시네이션 | 여전히 발생 가능 | 출처 기반으로 감소 |
+------------------+-------------------+-------------------+
| 구현 복잡도 | 중간 | 낮음~중간 |
+------------------+-------------------+-------------------+활용 팁
- RAG 먼저 시도하세요: 대부분의 사용 사례에서 RAG가 더 빠르고 저렴하며 유지보수가 쉽습니다. Fine-tuning은 RAG로 해결되지 않는 경우에만 고려하세요.
- Fine-tuning이 필요한 경우: 특정 출력 형식/톤 강제, 모델 크기 축소(소형 모델을 대형 모델 수준으로), 지연 시간 최소화가 필요할 때입니다.
- 하이브리드 접근: Fine-tuned 모델 + RAG를 결합하면 최고의 성능을 얻을 수 있습니다. 모델은 도메인 스타일을, RAG는 최신 사실을 담당합니다.
- 평가 기준 먼저 설정: 어떤 접근법을 선택하든, 성능을 측정할 평가 데이터셋을 먼저 만드세요. 정량적 비교 없이는 올바른 판단이 불가능합니다.
- 데이터 품질이 핵심: Fine-tuning은 학습 데이터의 품질에, RAG는 검색 문서의 품질에 결과가 직결됩니다. 양보다 질을 우선하세요.
마무리
Fine-tuning과 RAG는 경쟁 관계가 아닌 보완 관계입니다. "RAG 먼저, Fine-tuning은 필요할 때"가 가장 실용적인 전략입니다. 빠르게 변하는 정보에는 RAG, 일관된 출력 스타일에는 Fine-tuning, 최고 성능이 필요하면 두 가지를 결합하세요. 올바른 선택은 기술적 우열이 아니라 비즈니스 요구사항에 달려 있습니다.