최근 시나리오 기반 챗봇을 LLM 기반 챗봇으로 전환하는 기업이 늘고 있습니다. 이때 필요한 작업 중 하나는 기존 챗봇에 쌓여 있는 데이터를 새로운 챗봇으로 옮기는 일입니다. 이러한 데이터 이전 작업을 마이그레이션이라고 합니다. 쉽게 말해 기존 챗봇에서 LLM 챗봇으로 데이터를 이사하는 것입니다.
하지만 기존 챗봇의 데이터를 새로운 챗봇에 그대로 옮길 수 있는 것은 아닙니다. 시나리오 기반 챗봇은 사전에 정의된 인텐트에 따라 답변을 제공하지만 LLM 챗봇은 기존 FAQ의 정보를 조합하거나 새로운 답변을 생성하는 등 다양하게 활용할 수 있기 때문입니다. 따라서 기존 FAQ에 잘못된 정보가 포함되어 있다면 해당 정보를 참고하는 다른 답변에도 영향을 줄 수 있습니다. 또한 기존 챗봇에서 사용하던 말풍선이나 카드, 조건별 분기 등의 답변 구조가 새로운 챗봇에 맞지 않는 경우도 있습니다.
이사할 때 새로운 집에 맞춰 짐을 정리하고 다시 배치하는 것처럼, 마이그레이션에서도 새로운 챗봇에 필요한 데이터를 선별하고, 새로운 구조에 맞게 정리한 뒤, 실제로 잘 활용되는지까지 확인해야 합니다.
TEXTNET은 국내 자동차 기업의 시나리오 기반 챗봇을 LLM 기반으로 전환하는 프로젝트에서 FAQ 마이그레이션을 수행했습니다. 이번 글에서는 데이터 선별부터 구조 변환, 실제 화면 검증까지 각 단계에서 어떤 기준을 적용하고 문제를 해결했는지 소개합니다.
마이그레이션 할 데이터를 고르는 기준
이사를 준비할 때 먼저 가져갈 물건과 정리할 물건을 구분하듯, FAQ 마이그레이션도 새로운 시스템에서 활용할 데이터를 선별하는 것부터 시작했습니다.
마이그레이션해야 할 인텐트 구분
기존 시나리오 기반 챗봇에는 고객 질문에 답하는 인텐트 외에도 여러 기능을 수행하는 인텐트가 등록되어 있었습니다. 대표적으로 아래와 같은 인텐트가 있습니다.
메뉴 인텐트 : 다른 답변이나 기능으로 이동하는 역할
API 연동 인텐트 : 판매 지점 검색, 견적 등 실시간 정보 조회
대화 흐름 제어 인텐트 : 챗봇 시작·종료 등 대화 흐름 관리
메뉴 인텐트와 대화 흐름 제어 인텐트에는 질문에 답할 정보가 없습니다. 옮겨도 쓰일 데가 없는 데이터입니다. API 연동 인텐트를 FAQ로 옮기면 실시간 조회 기능이 빠져, 사용자가 원하는 정보 대신 단순 ‘버튼을 눌러 주세요.’ 수준의 안내 문구만 제공될 수 있습니다. 기존에는 분명 필요한 인텐트였지만, 옮길 필요가 없거나 오히려 문제를 일으킬 수 있는 것입니다.
저희는 마이그레이션 전에 전체 인텐트를 검토해 FAQ로 활용할 데이터와 별도 처리가 필요한 데이터를 구분했습니다. 그 결과, 총 332개 인텐트 중 100개(약 30%)가 FAQ 외 처리 대상으로 분류됐으며, 이 중 절반가량이 API 연동 인텐트였습니다.
오류가 있는 인텐트 검증 및 제외
FAQ로 활용할 수 있는 데이터라도 내용이 정확한지 확인해야 했습니다. 실제로 차량 기능 관련 질문·답변 데이터를 검토하던 중 질문과 맞지 않는 답변이 발견됐고, 이에 1,170건을 전수조사했습니다. 그 결과 약 10%에서 오류가 확인됐습니다.
오류 유형 | 설명 | 예시 |
|---|---|---|
질문과 맞지 않는 답변 | 질문과 상관없는 답변 연결 됨 | "서비스 가입 방법"을 물었는데 "멤버십 포인트"에 대해 안내 |
미답변 | 답변 없이 안내 문구로 일괄 처리 됨 | "제휴 카드 신청" 문의에 "답변드리기 어려운 내용입니다"만 출력 |
발견된 오류가 데이터 추출 과정에서 발생한 문제인지 확인하기 위해 운영 중인 챗봇에 동일한 질문을 입력했고, 실제 서비스에서도 같은 오류가 발생하는 것을 확인했습니다.
처음에는 오류가 있는 데이터만 선별해 제외하는 방안을 검토했습니다. 하지만 전수조사 결과 특정 구간에서는 오류 비율이 60%에 달했고, 기존 시스템에서 이를 바로잡기도 어려운 상황이었습니다. 일부 오류만 제거하는 것으로는 해당 데이터의 품질을 보장하기 어렵다고 판단했습니다.
이에 저희는 오류 현황과 유형별 사례, 전체 오류 목록을 분석 보고서로 정리해 고객사에 공유하고 처리 방향을 논의했습니다. 그 결과, 해당 구간의 데이터 전체를 마이그레이션 대상에서 제외하기로 결정해 기존 오류가 새로운 챗봇으로 이어지는 것을 방지했습니다.
📄
새로운 챗봇에 맞춰 답변 구조를 바꾸는 기준
이사할 때 새로운 집의 구조에 맞춰 가구를 다시 배치하듯, 기존 챗봇의 답변도 새로운 시스템에 맞게 재구성해야 했습니다. 기존 챗봇은 여러 말풍선과 캐러셀, 카드, 지도, 조건별 분기 등 다양한 형태로 답변을 제공했습니다. 반면 이번 프로젝트에서 적용한 FAQ는 질문 하나에 답변 하나를 연결하는 구조였기 때문에, 기존 답변을 합치거나 나누고 문장을 다시 작성하는 과정이 필요했습니다.
기존 답변 구조를 5가지 패턴으로 변환
저희는 원본 답변의 형태에 따라 5가지 변환 패턴을 정리하고 적용했습니다.
① 텍스트 통합
여러 말풍선으로 나뉘어 있던 답변을 하나의 FAQ 본문으로 통합했습니다.
② 캐러셀 분리
각 슬라이드가 독립적인 질문에 대응할 수 있다면 슬라이드별로 FAQ를 분리했습니다.
③ 분기 분리
조건에 따라 답변이 달라지는 경우, 해당 조건을 제목(Title)에 명시하고 FAQ를 분리했습니다.
④ 카드형 변환
기존 이미지는 유지하되, 짧은 설명은 이미지 없이도 의미가 전달되도록 주어와 설명 대상을 명확히 했습니다.
⑤ 지도형 대체
새로운 챗봇에서 지도를 직접 제공하지 않아, 주소는 본문에 기재하고 지도는 링크로 연결했습니다.
LLM이 활용할 수 있도록 문장 정제
답변 구조를 변환한 뒤에는 FAQ 본문의 표현도 검토했습니다. 기존 시나리오 기반 챗봇에서는 앞선 대화나 화면 구성을 통해 의미가 전달되던 문장도, LLM이 답변 생성에 활용할 때는 해당 맥락이 함께 제공되지 않을 수 있습니다.
이에 문장의 주어와 설명 대상을 명확히 하고, 일부 문장만 따로 읽어도 의미가 통하도록 수정했습니다. 또한 오탈자와 불명확한 표현을 정리하고, 기존 답변의 정보가 누락되지 않았는지 확인했습니다. 아래는 실제 프로젝트에서 적용한 대표적인 문장 수정 사례 5가지입니다.
유형 | 수정 전 | 수정 후 | 바뀐 점 |
오탈자 | 차량에서 시동을 킬 때마다 구매 정보를 통신으로 확인하고 있습니다. | 차량에서 시동을 걸 때마다 구매 정보를 통신으로 확인하고 있습니다. | '시동을 키다'를 '시동을 걸다'로 바로잡음 |
띄어쓰기 | 차량 정보를 정상적으로조회할 수 있도록 조치가 필요합니다.자세한 내용은 OO샵 고객센터 : 000-0000-0000 감사합니다. | 차량 정보를 정상적으로 조회할 수 있도록 조치가 필요합니다. 더 궁금한 점은 OO샵 고객센터(000-0000-0000)로 문의해 주세요. 감사합니다. | 붙은 말을 띄어 쓰고, 문의처 안내를 요청 문장으로 끝맺어 줄을 나눔 |
주술 호응 | OO패스는 월 정액 멤버십 구독 시, 급속 충전 요금을 일정금액 할인 받을 수 있습니다. | OO패스는 월 정액 멤버십 구독 시, 급속 충전 요금을 일정금액 할인 받을 수 있는 구독형 충전요금제입니다. | 주어(OO패스)에 맞게 서술어로 끝맺음 |
소제목 분리 | • 평생 이용 : 소유권이 넘어갑니다. | 평생 이용 | 조건이 다른 안내가 한 목록에 섞여 있어, 조건별 소제목으로 나눔 |
문장 재작성 | OO샵 리뉴얼 이전의 주문들은 이전주문 내역에서 노출됩니다. | OO샵 리뉴얼 이전의 주문들은 이전주문 내역에서 노출됩니다. | 대상을 구체적으로 씀. 조건절을 주제어로 바꿈. 겹치는 말과 군더더기를 덜어 냄. 줄바꿈을 문단 나눔으로 바꿈 |
📄
관련 콘텐츠 : RAG 챗봇 성능 문제? 데이터 설계에 답이 있다
FAQ 검증과 작성 기준 보완
이사를 마친 뒤 실제로 생활해 보면 예상하지 못한 불편함이 발견되기도 합니다. FAQ도 마찬가지입니다. 작업 파일에서는 문제가 없던 답변도 실제 챗봇 화면에서는 다르게 표시될 수 있기 때문에 등록 후 화면 검증이 필요합니다.
실제 화면에서 발견한 서식 문제
이번 프로젝트에서는 엑셀에서 FAQ를 작성한 뒤 새로운 챗봇에 등록하는 방식으로 작업했습니다. FAQ 197건을 등록하고 실제 화면을 확인하는 과정에서 일부 서식이 엑셀에서 작업한 것과 다르게 보이는 문제가 발견됐습니다.
줄바꿈으로 구분했던 내용은 하나로 이어져 보였고, 굵게 표시한 제목은 본문과 충분히 구분되지 않아 단순 강조처럼 보였습니다. 저희는 실제 사용자 화면에서 의도한대로 보여지도록 줄 바꿈, 볼드 등 제대로 정의되어 있지 않던 다섯 가지 서식 규칙을 보완하였습니다.
반복되는 판단 기준을 표준 매뉴얼로 정리
어떤 인텐트를 옮길지, 답변을 합칠지 나눌지, 문장과 서식을 어떻게 작성할지 등 인텐트를 FAQ로 변환하는 과정에서는 반복적으로 판단해야 하는 사항들이 있습니다. 저희는 332개 인텐트를 검토해 최종 276건의 FAQ를 구축하는 동안 작업자마다 판단이 달라지지 않도록 인텐트 선별, 답변 구조 변환, 문장 정제, 서식 적용 기준을 FAQ 작성 표준 매뉴얼로 정리했습니다.
최초 작성 이후에도 FAQ 관리 시스템의 기획 내용과 실제 화면 검증 결과를 반영하며 여러 차례 개정하며 매뉴얼의 완성도를 끌어올릴 수 있었고 이를 통해 향후 FAQ를 추가하거나 수정할 때도 일관된 기준을 적용할 수 있는 기준을 만들었습니다.
마치며
기존 챗봇에 쌓인 FAQ는 LLM 챗봇으로 전환할 때 활용할 수 있는 중요한 자산입니다. 하지만 기존 시스템에서 문제없이 사용하던 데이터라고 해서 새로운 환경에서도 그대로 활용할 수 있는 것은 아닙니다. 답변의 정확성뿐 아니라 데이터의 구조와 활용 방식까지 새롭게 검토해야 합니다.
이번 프로젝트에서 TEXTNET은 기존 데이터의 오류를 발견해 마이그레이션 범위를 조정하고, 다양한 답변 구조를 새로운 FAQ 형식에 맞게 변환했습니다. 그 결과 FAQ 276건을 구축했으며, 작업 과정에서 수립한 데이터 선별·변환·검증 기준을 표준 매뉴얼로 정리할 수 있었습니다 단순히 데이터를 옮기는 데 그치지 않고, 이후에도 일관된 기준으로 FAQ를 구축하고 관리할 수 있는 기반을 마련한 것입니다.
TEXTNET은 기존 챗봇 데이터의 분석과 정제부터 FAQ 구조 변환, 품질 검증 및 작성 기준 수립까지 LLM 기반 서비스 전환에 필요한 데이터 구축 업무를 수행합니다. 기존 챗봇의 답변 데이터를 새로운 AI 서비스에 활용하고자 한다면, 무엇을 옮길지 결정하는 단계부터 TEXTNET과 함께 검토해 보시기 바랍니다.