통신사 챗봇·콜봇 운영 사례 : 폴백 분석으로 개선 방향을 찾은 과정

챗봇·콜봇을 운영하다 보면 고객의 질문이 엉뚱한 답변으로 연결되거나, 답변을 찾지 못하는 상황을 마주하게 됩니다. 저희도 프로젝트 초기에는 고객의 다양한 표현을 훈련문장에 추가하는 데 집중했습니다. 하지만 문장을 보강해도 비슷한 오류가 반복되면서, 학습 데이터 외에 다른 원인이 있는지 확인해야 했습니다.

고객의 표현을 충분히 학습하지 못한 것인지, 문의 유형을 제대로 구분하지 못하는 것인지, 안내나 시나리오에 문제가 있는 것인지에 따라 대응은 달라집니다. 원인을 구분해야 무엇을 어떻게 수정할지도 정할 수 있습니다.

TEXTNET은 최근 국내 통신사의 챗봇·콜봇 운영 프로젝트에서 '지식 구축'을 담당했습니다. 봇 빌더에 조건문과 파라미터를 적용해 분기를 설계하고, 상담 시나리오를 반영해 실제 동작하는 결과물로 구현했습니다. 또한 봇이 고객 발화를 정확히 이해하도록 인텐트, 동의어, 훈련문장을 지속적으로 구축·관리하며 서비스를 고도화했습니다.

이번 글에서는 실제 프로젝트 운영 중 발생한 인텐트 오매칭과 폴백 발화를 어떻게 분석하고 대응했는지 소개하며, 각 사례를 통해 비슷한 문제가 반복될 때 무엇을 확인해야 하는지 함께 살펴보겠습니다.

훈련문장을 보강해도 인텐트 오매칭이 반복된다면

고객의 질문이 잘못된 답변으로 연결되면, 먼저 해당 표현을 올바른 인텐트의 훈련문장에 추가하고 유사한 질문도 함께 보강합니다. 하지만 보강 이후에도 같은 오류가 반복된다면 학습 문장 외의 원인을 살펴봐야 합니다. 여러 인텐트에 비슷한 표현이 겹쳐 있는지, 입력 처리 과정에서 문장의 의미가 달라지는지에 따라 수정할 지점이 달라지기 때문입니다.

이번 프로젝트에서는 '주요 키워드'가 달라도 문장 구조가 비슷하면 엉뚱한 인텐트로 매칭되는 문제가 나타났습니다.

• "받은 쿠폰 확인 방법" → '전화 요금제 조회 방법'과 가장 높은 순위로 매칭

• "내 명의로 가입된 회선이 몇 개인지 확인해줘" → '가족 명의 회선 조회 좀 하게 해주세요'와 가장 높은 순위로 매칭

첫 번째는 핵심 키워드인 '쿠폰'을 놓치고, 문의 대상이 다른 답변으로 연결된 경우입니다. 두 번째는 '내 명의'와 '가족 명의'라는 조회 조건의 차이가 반영되지 않고, 뒷부분 표현이 비슷하다는 이유로 연결된 경우입니다. 두 사례 모두 의도를 이해한 결과가 아니라 문장 구조의 유사성에 따른 매칭이었습니다.

그래서 훈련문장을 보강하면서 관련 인텐트의 구분 기준도 함께 점검했습니다. 여러 인텐트에 같은 표현이 등장하는 상황에서는 단어 하나만으로 기준을 세우기 어려웠습니다. 이에 문의 대상과 행동·조건이 함께 드러나는 두 어절 이상의 조합을 기준으로 문장을 정비했습니다.

입력 처리 과정에서 원인을 찾은 사례도 있었습니다. 고객이 “컴플레인”이라고 입력했는데 ‘PC 관리’ 관련 답변이 나온 경우입니다. 동의어 사전을 확인해 보니 ‘컴’이 ‘PC’의 동의어로 등록돼 있었습니다. 이 때문에 ‘컴플레인’이 ‘PC플레인’으로 치환되고 있었습니다. 고객의 의도를 식별하기 전에 입력의 의미가 바뀐 것입니다.

이 상태에서는 불만 관련 훈련문장을 추가해도 잘못된 치환이 남습니다. 저희는 전체 동의어 목록을 점검해 필요한 단어 위주로 정제하고, 정비된 동의어를 기준으로 훈련문장도 전수 점검했습니다.

동의어는 고객의 다양한 표현을 인식하기 위한 데이터이지만, 적용 방식에 따라 다른 단어에 영향을 줄 수도 있습니다. 특히 짧은 단어나 약어를 등록할 때는 다른 단어의 일부로 등장했을 때도 치환되는지 확인할 필요가 있습니다.

인텐트 오매칭이 반복된다면 고객의 원래 발화, 처리 후 발화, 매칭된 인텐트를 함께 비교해 보는 것이 좋습니다. 표현이 부족한 문제인지, 인텐트의 구분 기준이 흐려진 문제인지, 입력이 잘못 바뀐 문제인지 구분한 뒤 훈련문장을 보강해야 합니다.

폴백 발화 로그, 전부 학습시키면 안 되는 이유

폴백(fallback)은 봇이 발화를 적절한 인텐트로 연결하지 못해 발생합니다. 로그가 쌓이면 학습할 문장이 많이 확보된 것처럼 보이지만, 실제로는 서로 다른 이유로 연결되지 못한 발화가 섞여 있습니다.

기존 인텐트가 있는데 고객의 표현을 인식하지 못한 경우도 있고, 그 문의를 처리할 인텐트 자체가 없는 경우도 있습니다. 개인정보 입력이나 중복 발화, 의미가 불분명한 표현도 포함됩니다. 이를 구분하지 않고 학습시키면 의도가 다른 문장이 기존 인텐트에 섞일 수 있습니다. 폴백을 줄이려면 문장을 추가하기 전에 각각을 어떤 작업으로 연결할지 판단해야 합니다.

저희는 봇 플랫폼에서 폴백 로그를 내려받아 서비스 내용과 인텐트 구조를 기준으로 검토했습니다. 한 달간 발생한 챗봇 폴백 4,595건을 분석해 아래와 같이 분류했습니다.

학습 대상으로 선별한 478건에는 유사 표현을 보강해 총 594건의 훈련문장을 추가했습니다. 기존 인텐트가 없는 유효 문의는 유형별로 묶어 별도 검토 대상으로 정리했습니다.

제외 데이터에는 현재 인텐트 구조로 직접 대응하기 어려운 복잡하고 구체적인 발화도 포함됐습니다. 여기서 제외는 고객의 요구가 중요하지 않다는 의미가 아니라, 곧바로 기존 훈련문장에 넣기 어렵다는 의미였습니다.

분석 파일에는 대화 ID와 폴백이 발생한 (시나리오) 위치, 사용자 발화, 학습 여부, 처리 유형, 기타 검토 의견을 함께 기록해 학습에 반영할 발화와 별도 검토가 필요한 문의를 구분했습니다. 문장만으로 의도를 판단하기 어려운 경우에는 세션 ID로 전체 대화 흐름을 확인해 고객이 어떤 단계에서 무엇을 요청했는지 파악했습니다.

이렇게 정리한 결과는 학습할 문장 목록이면서, 동시에 다른 개선 과제를 검토하는 자료가 됐습니다. 폴백으로 잡혔다고 해서 무조건 훈련문장으로 추가하는 것이 아니라 분류에 따라 어떻게 대응해야 할지 판단하는 것이 중요합니다.

반복 문의, 발화 인식이 아니라 UI 문제일 수 있습니다

챗봇의 특정 단계에서 비슷한 문의가 반복되면, 해당 표현을 훈련문장에 추가하는 일부터 검토하곤 합니다 . 하지만 고객이 안내를 이해하지 못했거나 다음 행동을 찾지 못해 질문한 상황이라면, 발화를 더 잘 인식하는 것만으로는 문제가 해결되지 않을 수 있습니다.

이번 프로젝트에서는 AS 방문 일정을 선택하는 과정에서 아래와 같은 문의가 반복되고 있었습니다.

“원하는 요일 시간대가 없는데요?”
“원하는 시간 클릭이 안됨”
“AS 희망날짜 선택이 안돼요”

단순히 문의 내용만 본다면, 예약 가능한 시간이 부족했던 것인지, 선택 과정에 문제가 있었던 것인지 구분하기 어렵습니다. 이럴 경우, 대화 흐름과 함께 챗봇 UI를 함께 살펴보면 문제를 명확하게 찾을 수 있습니다.

당시 서비스에는 선택 가능한 시간이 마감된 경우 이용할 수 있는 별도 경로가 있었습니다. 화면 하단의 ‘희망시간이 마감되었나요?’를 통해 다른 일시를 선택하면, 상담사가 확인한 뒤 고객에게 연락하는 방식이었습니다.

저희는 이 경로가 마련돼 있는데도 관련 문의가 발생한다는 점에 주목했습니다. 고객이 대체 경로를 발견하기 어려웠을 가능성을 리포트에 정리하고, 안내 위치와 접근 경로를 점검하는 UI 개선을 제안했습니다.

운영 담당자는 서비스 구조를 알고 있어 대체 경로를 쉽게 찾을 수 있습니다. 반면 고객은 원하는 선택이 되지 않는 상황에서 다음 행동을 찾고 있습니다. 안내가 마련돼 있어도 그 순간에 눈에 들어오지 않으면 문의가 발생할 수 있습니다.

따라서 특정 단계의 반복 문의를 분석할 때는 고객이 직전에 받은 안내와 선택할 수 있었던 경로를 함께 확인해야 합니다. 필요한 정보가 화면에 있는지에 더해, 선택이 어려운 상황에서 다음 행동을 알 수 있는지도 살펴볼 필요가 있습니다.

이 사례에서 저희가 확인한 것은 고객의 질문을 어떻게 인식할지뿐 아니라, 고객이 왜 그 단계에서 질문하게 됐는지였습니다.

인텐트, 무작정 늘리기 전에 구조부터 점검해야 합니다

새로운 문의에 대응하다 보면 인텐트가 점점 늘어나게 됩니다. 물론 세부 문의마다 답변을 준비할 수 있다는 장점이 있지만, 비슷한 표현을 사용하는 인텐트가 많아지면 식별이 어려워질 수 있습니다. 이럴 때는 각 인텐트의 답변과 처리 경로가 실제로 다른지, 고객의 발화에서 그 차이가 드러나는지 확인해야 합니다. 내부 업무 기준으로는 구분되는 문의라도 고객이 항상 그 기준에 맞춰 질문하는 것은 아니기 때문입니다.

저희는 발화 분석과 고객사 담당자와의 논의를 바탕으로 통합할 인텐트를 검토했습니다. 문의 빈도와 중요도, 유사 인텐트가 여러 곳에 나뉘어 있는지, 개별 구분이 오히려 식별을 방해하는지를 기준으로 판단했습니다.

가족결합 관련 안내도 그 중 하나였습니다. 기존에는 가족결합 관련 안내가 ‘외국인 가입, 인터넷 해지 시 할인 유지, 다른 명의의 인터넷 결합’ 등 8개 세부 인텐트로 분산되어 있었습니다. 저희는 이를 ‘가족결합 유의사항’이라는 세부 인텐트로 통합하고, 인트로 화면(가족결합 안내) 내 버튼으로 구성했습니다. 고객이 기본 안내를 확인한 뒤, 가입 조건이나 할인 종료 조건이 궁금하면 ‘유의사항’을 선택하도록 구성한 것입니다.

추가 정보는 ‘자세히 보기’로 연결했습니다. 이렇게 고객의 첫 질문만으로 세부 문의를 모두 구분하는 대신, 대표 안내를 중심으로 필요한 내용을 선택해 확인하도록 경로를 정리하여 세부 인텐트 식별에 대한 의존도를 줄였습니다.

또한 인텐트 통합 외에 삭제도 검토할 필요가 있습니다. 예를 들어 '고객 소유 PC 고장'이나 '타사 공유기 고장' 관련 인텐트는 별도로 유지할 필요성이 낮았고, '고장·장애'라는 표현이 핵심 인텐트(AS 진단)의 식별을 방해한다고 판단해 삭제 대상으로 정리했습니다.

이처럼 서비스 운영 중 인텐트 식별 문제가 반복된다면 학습 표현이 부족한지뿐 아니라, 기존 인텐트 구조가 적절한지도 함께 검토해봐야 합니다.

7개월간 폴백률 82% 감소

이번 프로젝트에서는 고객 발화를 바탕으로 학습 데이터를 정비하고, 인텐트 구조와 상담 시나리오를 보완하는 데 집중했습니다. 2026년 2월부터 8월까지, TEXTNET의 개선 업무와 고객사의 인프라 안정화를 진행한 결과, 콜봇의 발화 기준 폴백률은 27.88%에서 5.14%로 낮아졌습니다. 초기 대비 약 82% 감소한 수치입니다. 같은 기간 챗봇 폴백률도 4.32%에서 2.82%로 약 35% 낮아졌습니다.

개선 방향을 정할 때 중요했던 것은 실패한 발화를 곧바로 학습시키기보다, 현재 서비스에서 해당 문의를 어떻게 처리할 수 있는지 먼저 확인하는 것이었습니다. 원인에 따라 학습 데이터, 인텐트, 시나리오 중 수정할 대상을 구분하며 적절한 조치를 취한 것입니다.

다만, 폴백률이 낮아진 이후에도 인텐트 오매칭은 별도로 확인해야 할 과제입니다. 다른 인텐트에 잘못 연결된 질문은 답변이 제공됐기 때문에 폴백으로 잡히지 않을 수 있습니다. 따라서 답변을 찾지 못하는 경우가 줄었는지뿐 아니라, 실제로 연결된 답변이 고객의 문의에 맞는지도 함께 점검해야 합니다.

마치며

챗봇·콜봇을 운영하다 보면 로그 확인은 꾸준히 이어지지만, 분석 결과를 실제 수정 작업으로 옮기는 데는 판단이 필요합니다. 어떤 문의를 우선 개선할지 정하고, 학습 데이터와 상담 흐름에 반영한 뒤, 그 결과를 다시 확인해야 합니다. 이 과정이 이어져야 운영 중 쌓이는 고객의 질문을 서비스 개선에 활용할 수 있습니다.

TEXTNET은 학습 데이터와 시나리오 구축은 물론, 운영 중 발견되는 문제를 분석하고 개선하는 업무까지 함께 수행합니다. 반복되는 인텐트 오매칭과 폴백에 대응하고 있지만 무엇부터 손봐야 할지 판단하기 어렵다면, TEXTNET과 함께 운영 현황을 살펴보고 필요한 개선 작업을 구체화해 보시기 바랍니다.