국내 대형 통신사 AICC 운영 사례로 보는 챗봇·콜봇 품질 관리 방법

운영 효율을 위해 AICC를 도입했지만, 정작 구축보다 운영 단계에서 어려움을 겪는 사례가 늘고 있습니다. 이유는, 같은 상황에서도 매번 다르게 질문하는 고객과, 상품·정책·이벤트 등 수시로 바뀌는 내부 상황 때문입니다. 최근 텍스트넷이 진행한 국내 대형 통신사도 AICC 운영 과정에서 발생하는 고객의 발화를 인식하지 못하는 문제를 겪고 있었습니다. 저희는 챗봇 월 약 5,000건, 콜봇 월 약 10,000건 수준의 의도 미인식 발화를 분석하여 이를 실제 개선 작업과 테스트, 품질 관리 프로세스로 연결했습니다. 이 글에서는 위 사례를 기반으로 AICC 품질 관리 방법에 대해 알아보겠습니다.

의도 미인식 발화를 ‘학습 문장 추가’와 ‘개선안 도출’로 구분하는 방법

AICC 운영에서 가장 큰 문제는 봇이 이해하지 못하는 발화가 많다는 것입니다. 이러한 의도 미인식 발화에는 실제 문의 내용뿐만 아니라 오입력, 본 서비스와 무관한 표현, 의도가 불명확한 문장들이 섞여 있습니다. 따라서, 모든 발화를 학습 시키게 되면 오히려 응답 품질이 흔들릴 수 있습니다.

유효 발화를 선별할 때는 서비스와의 관련성, 고객의 의도, 개선 가능 여부 등을 충분히 고려해야 합니다. 텍스트넷이 적용하는 선별 기준은 아래와 같습니다.

• 고객 의도를 유사 유형별로 분류 후, 기존 답변으로 처리 가능한 문의와 개선이 필요한 문의로 구분

• 기존 답변으로 처리 가능하나 표현 방식이 다양해 의도 인식에 실패한 문의는 학습 문장으로 추가

• 반복적으로 인입되지만 기존 답변으로 처리하기 어려운 문의는 항목별로 구분하여 개선안 도출
  (예: FAQ 신규 답변 추가, API 개발, 로직 개선 등)

이때, 발생 빈도나 리스크 수준에 따라 중요도를 구분하여 선별하면 개선 우선순위를 보다 명확하게 설정할 수 있습니다. 아래와 같이 유형별로 발생 건수, 고객 영향도, 개선 방향을 함께 정리하면 어떤 항목을 먼저 개선해야 하는지 객관적으로 판단할 수 있습니다.

분석 결과를 실제 AICC 개선으로 연결하는 방법

의도 미인식 발화 분석으로 도출한 개선점은 챗봇/콜봇 운영 구조에 따라 어떻게 반영할지 각각 검토해야 합니다. 예를 들어, 빌더 내 템플릿만으로 구현이 가능한지, 프론트엔드·백엔드 개발이 추가로 필요한지, 상담사 연계 시스템을 고려해 사전에 반영해야 할 로직이나 설정값은 없는지 등을 먼저 확인해야 합니다. 답변 문구 변경 역시 최신 상품·정책과 맞는지, 고객이 오해할만한 표현은 없는지 함께 면밀히 검토해야 합니다.

중요한 것은 고객의 질문과 서비스 요구사항을 단순히 "학습 문장 추가", "답변 문구 변경"과 같이 항목 단위로 보는 것이 아니라 운영 환경이 고려된 작업 단위로 구체화하는 것입니다. 구체화된 작업은 담당자, 진행 상태, 산출물 등을 함께 관리할 수 있는 형태로 정리되어야 실제 운영 환경에 안정적으로 반영할 수 있습니다. 아래는 텍스트넷이 고객사와 개선 작업을 관리한 사례의 일부입니다.

이처럼 같은 항목이라도 운영 구조와 환경에 따라 반영 방식과 영향 범위가 달라질 수 있기 때문에, 작업 단위별 리스크와 구체화 방식을 함께 점검하는 것이 중요합니다. 아래 표는 개선 작업을 실제 운영 환경에 반영하기 전 확인해야 할 주요 기준입니다.

테스트, 승인, 배포 후 확인을 연결하는 품질 관리 방법

개선안과 작업 범위가 확정되면 개발 환경에 먼저 반영하고 테스트를 진행해야 합니다. 중요한 것은 수정한 항목 외에도 전체 상담 흐름에 미치는 영향, 즉 사이드 이펙트(side-effect) 발생 여부까지 함께 검증하는 것입니다. 예를 들어, 봇에 새로운 분기를 추가했다면, 해당 분기가 의도대로 동작하는지 확인하는 것뿐만 아니라 ① 기존에 정상적으로 동작하던 로직이 새 분기로 인해 영향을 받지 않는지, ② 새 분기와 기존 분기 간 우선순위나 조건 충돌은 없는지, ③ 특정 발화가 의도하지 않은 분기로 잘못 연결되지는 않는지 등도 함께 점검해야 합니다.

콜봇의 경우에는 고객이 화면보다 음성 안내에 의존하기 때문에 일반적인 케이스만 확인해서는 안 됩니다. ① 본인 확인 실패, ② 상담 연결 실패, ③ 예외 상황에서도 고객이 다음 행동을 이해할 수 있는지 등도 함께 확인해봐야 합니다. 또한 테스트 항목별 수행 단계와 예상 결과를 사전에 정의하고, STG 환경에서의 검증 결과까지 함께 관리해야 실제 운영 환경에서도 안정적인 품질을 확보할 수 있습니다. 아래는 콜봇 테스트 케이스 검수 항목의 일부입니다.

AICC 관련 콘텐츠 더 보기

업무 효율 극대화를 위한 사내 챗봇, 콜봇 구축 및 고도화 사례

LLM 사용성 평가: 가장 효율적인 평가(Evaluation) 진행 방법

마치며 : 좋은 AICC는 운영하면서 계속 고도화됩니다

AICC 품질은 초기 구축만으로 결정되지 않습니다. 실제 고객 질문을 분석하고, 지속적으로 개선하는 과정이 반복될 때 품질을 지속적으로 관리할 수 있습니다. 텍스트넷의 AICC 운영 사례에서 확인할 수 있듯이, 좋은 AICC를 위해서는 아래 세 가지 역량이 필요합니다.

• 첫째, 고객 질문에서 의미 있는 내용을 선별하는 분석 역량

• 둘째, 분석 결과를 챗봇·콜봇 구조에 맞게 반영하는 개선 실행 역량

• 셋째, 테스트와 배포 후 확인까지 관리하는 품질 관리 역량

결국 AICC 운영의 핵심은 봇이 이해하지 못한 질문을 확인하는 데서 끝나지 않습니다. 그 질문을 학습 문장과 개선안으로 전환하고, 실제 고객 환경에서 안정적으로 동작할 때까지 관리하는 데 있습니다. 우리 기업의 챗봇·콜봇을 실제 고객 질문을 기반으로 더 안정적으로 운영하고 싶다면, 텍스트넷과 함께 AICC 운영 품질 관리 체계를 점검해보시기 바랍니다.