2026-07-23 로그
벡터 RAG vs 위키 RAG — 동일 질문 10문 대결
같은 법령, 같은 로컬 LLM, 같은 질문 10개. 검색 적중률은 둘 다 10/10 — 그러나 순위 정밀도와 속도, 투명성에서 성격이 갈렸다.
두 방식을 구축했으니 이제 대결이다. 산업안전보건법령에 대한 질문 10개를 벡터 RAG와 위키 RAG에 동일하게 던지고, 정답 조문이 근거에 포함됐는지·몇 위로 잡혔는지·답변이 그 조문을 인용했는지·시간을 자동 측정했다.
종합 성적
| 지표 | 벡터 RAG | 위키 RAG |
|---|---|---|
| 정답 조문이 근거에 포함 | 10 / 10 | 10 / 10 |
| 정답 조문이 1위 | 9 / 10 | 4 / 10 |
| 답변이 정답 조문 인용 | 9 / 10 | 9 / 10 |
| 근거 확보 시간 (평균) | 0.3초 | 0.8초 |
| 질문당 총 시간 (평균) | 9.8초 | 18.2초 |
질문별 정답 조문 순위 (v = 벡터, w = 위키)
| 질문 | v | w |
|---|---|---|
| 중대재해 시 사업주 조치 (§54) | 1위 | 2위 |
| 추락 위험 장소 조치 (§38) | 2위 | 2위 |
| 도급인의 안전조치 (§63) | 1위 | 2위 |
| 안전보건관리책임자 선임 (§15/영§14) | 1위 | 1위 |
| 유해위험방지계획서 (§42) | 1위 | 6위 |
| 근로자 작업중지권 (§52) | 1위 | 1위 |
| 물질안전보건자료 (§110) | 1위 | 1위 |
| 정기 안전보건교육 (§29/규칙§26) | 1위 | 4위 |
| 일반건강진단 주기 (§129/규칙§197) | 1위 | 3위 |
| 산재 은폐 (§57) | 1위 | 1위 |
해석
적중률은 무승부, 정밀도는 벡터의 승. 둘 다 정답 조문을 놓친 적은 없다 — 위키 RAG는 키워드 검색이 흔들려도 링크 확장이 구멍을 메웠다(6위까지 내려가도 열람 목록에는 들어옴). 그러나 정답을 1위로 꽂는 능력은 임베딩 유사도(9/10)가 키워드 검색(4/10)을 압도했다. LLM이 뽑는 검색어에 노이즈가 섞이는 게 주 원인이다.
속도도 벡터의 승. 위키 RAG는 최대 8페이지를 읽어 컨텍스트가 길어지는 만큼 생성이 느리다(평균 18.2초 vs 9.8초). 근거 확보 자체는 양쪽 다 1초 미만 — 병목은 검색이 아니라 컨텍스트 길이다.
그럼에도 위키 RAG가 가진 것. ① 탐색 경로가 전부 화면에 보인다 — "왜 이 답인가"를 사람이 따라가며 검증할 수 있고, 실패 원인(잘못 뽑힌 검색어)도 즉시 눈에 띈다. ② 부산물로 사람이 읽을 수 있는 555페이지 법령 위키가 남는다. ③ 벡터 DB·임베딩 모델 없이 파일과 grep만으로 돌아간다.
결론
정확도·속도가 우선인 서비스형 QA는 벡터 RAG, 근거 추적·감사가능성이 우선인 검토형 업무는 위키 RAG — 그리고 최선은 hybrid다: 벡터로 찾고, 위키 링크로 문맥을 넓히고, 탐색 경로를 보여주는 것. 다음 실험 후보로 남긴다.
측정 원자료(질문·근거·답변 전문)는 실험실에 보관. 두 데모 모두 지금 직접 던져볼 수 있다.