6,000명이 사용하는 대형 은행 준법감시팀 내규 챗봇 구축 전 과정을 공개합니다. 성공한 것만큼 실패한 시도도 솔직하게 씁니다.
프로젝트 배경
준법감시팀 직원 1인이 하루 평균 수십 건의 내규 문의를 처리하고 있었습니다. 문서가 3,200페이지, 최근 3년간 개정 이력까지 포함하면 사실상 전문가도 즉시 답하기 어려운 수준. AI로 대체할 수 있다면 담당자가 진짜 필요한 심층 업무에 집중할 수 있습니다.
청킹 전략이 성패를 갈랐다
첫 시도는 고정 길이 청킹(512토큰). 결과는 참혹했습니다. 조항이 중간에 잘리면서 맥락이 끊기고, 검색 품질이 낮았습니다. 두 번째 시도로 구조 기반 청킹(조, 항, 호 단위)을 적용했고 정확도가 크게 올랐습니다. 법률/규정 문서는 반드시 문서 구조를 파악하고 청킹해야 합니다.
임베딩 모델 선택
OpenAI text-embedding-3-large vs bge-m3 (한국어 특화) 비교 결과, 한국어 법률 문서에서는 bge-m3가 10%p 이상 높은 검색 성능을 보였습니다. 비용도 셀프호스팅 기준으로 훨씬 저렴합니다. 한국어 특화 문서라면 한국어 임베딩 모델을 반드시 검토하세요.
최종 성과
78% 단축조회 시간평균 4시간 → 즉시 답변
92%만족도준법감시팀 내부 평가
3배 증가처리 건수같은 인원으로