AI 챗봇 성능 평가 고도화: 평가 효율은 높이고, 개선 지점은 구체적으로

AI 챗봇의 성능을 평가할 때 정확하게 답변했는지, 충분한 정보를 전달했는지는 중요한 평가 기준입니다. 하지만 챗봇을 이용하는 고객의 입장에서 생각해보면 앞서 말한 평가 기준만큼이나 고객이 원하는 일을 얼마나 수월하게 해결했는지도 고려해야 합니다.

예를 들어 고객이 제품의 사용 방법을 문의했을 때, 챗봇이 관련 매뉴얼을 안내하는 것과 고객이 바로 따라 할 수 있도록 구체적인 방법을 설명하는 것은 차이가 있습니다. 두 응답 모두 필요한 정보를 제공하지만, 고객이 직접 정보를 찾거나 판단하는 과정에서 고객 경험의 차이가 발생하기 때문입니다.

이러한 차이를 평가에 반영하려면 단순히 답변이 정확한지 확인하는 것에서 나아가, 고객이 문제를 해결하는 과정에서 챗봇이 얼마나 도움이 되는지 구체적으로 살펴보아야 합니다. 또한 평가 결과를 통해 어떤 부분이 충분했고 무엇이 부족했는지 확인하고 개선이 필요한 지점을 파악할 수 있어야 합니다.

TEXTNET은 그동안 글로벌 AI 챗봇 평가 프로젝트를 수행하며 쌓아온 경험을 바탕으로 고객의 문제 해결 과정까지 살펴볼 수 있도록 기존 평가체계를 고도화했습니다.

이번 글에서는 평가 기준을 세부 행동 조건으로 구체화하고 실제 고객의 이용 흐름을 평가에 반영한 과정을 소개하며, 이러한 평가 방식이 챗봇의 성능을 보다 정밀하게 검증하고 개선 지점을 파악하는 데 어떤 도움이 되는지 살펴보겠습니다.

고객의 노력 감소를 공통 평가 목적으로

이번 평가체계 고도화에서는 챗봇이 제공하는 개별 기능보다 고객이 챗봇을 통해 원하는 목적을 얼마나 수월하게 달성할 수 있는지에 초점을 맞췄습니다. 고객은 제품을 탐색하거나 구매를 결정하고, 사용 중 발생한 문제를 해결하기 위해 챗봇을 이용합니다. 따라서 이러한 과정에서 고객이 직접 해야 하는 일을 얼마나 줄여주는지가 중요한 평가 기준이 됩니다.

이를 위해 TEXTNET은 기존 여러 평가 항목에 분산되어 있던 고객 편의 관점을 ‘고객의 노력을 얼마나 줄여주는가?’라는 하나의 공통 평가 목적으로 정리하고, 평가체계 전반에 적용했습니다. 고객이 정보를 탐색하고 판단하며 행동하는 데 필요한 노력을 챗봇이 얼마나 줄여주는지를 살펴보는 것입니다.

이러한 관점은 실제 배점 원리에도 반영했습니다. 세부 항목마다 점수 구간은 다르지만, 고객이 직접 해야 하는 일이 얼마나 남아 있는지를 기준으로 배점 수준을 구분했습니다.

이처럼 응답이 필요한 정보를 제공했는지에 그치지 않고, 고객이 추가로 정보를 찾거나 판단해야 하는지, 안내받은 내용을 바탕으로 바로 행동할 수 있는지에 따라 수행 수준을 구분했습니다. 이를 통해 챗봇의 응답 이후 고객에게 어떤 노력이 남아 있는지를 평가 결과에서 확인하고, 개선이 필요한 지점을 파악하는 데 활용할 수 있도록 했습니다.

세부 행동 조건을 활용한 응답 품질 평가

이번 평가체계 고도화의 핵심 중 하나는 챗봇의 응답을 세부 행동 조건으로 나누고, 각 조건의 충족 여부를 확인할 수 있도록 평가 방식을 정교화한 것입니다. 예를 들어 고객이 “TV에서 소리가 안 나와요”라고 문의했을 때, 챗봇의 응답을 다음 세 가지 조건으로 나누어 평가합니다.

평가자는 각 조건의 충족 여부를 O/X로 기록하고, 그 조합에 따라 점수를 산정합니다. 단순히 충족한 조건의 개수를 합산하는 방식이 아니라, 어떤 조건이 충족되었는지를 함께 고려하는 것입니다.

예를 들어 챗봇이 고객이 바로 따라 할 수 있는 조치 방법과 그 이유를 충분히 설명했다면 별도의 참고 링크가 없어도 높은 점수를 받을 수 있습니다. 반면 관련 자료의 링크만 제공하고 고객이 직접 해결 방법을 찾아야 한다면 낮은 점수를 받게 됩니다. 아래 사례의 경우, 해결 방법과 참고 경로를 안내했더라도 각 조치의 이유를 설명하지 않았기 때문에 해당 조건은 충족하지 못한 것으로 평가됩니다.

이처럼 하나의 응답을 세부 조건으로 나누면 최종 점수뿐 아니라 어떤 행동을 수행했고 어떤 행동이 빠져 있는지까지 확인할 수 있습니다. 따라서 해결 방법은 안내했지만 이유를 설명하지 않았는지, 참고 자료만 제공했는지 등 응답의 구체적인 차이를 파악할 수 있습니다.

이번 프로젝트에서는 이러한 방식으로 19개 평가 발화에 12개 평가 항목과 48개 세부 행동 조건을 구성했습니다. 평가 결과를 점수로 비교하는 동시에, 각 응답에서 보완이 필요한 부분을 보다 구체적으로 확인할 수 있도록 한 것입니다.

고객 여정을 연결한 멀티턴 시나리오 평가

챗봇을 이용하는 고객의 문의는 한 번의 질문과 답변으로 끝나지 않는 경우가 많습니다. 제품을 추천받은 뒤 조건을 변경하거나, 추가 정보를 확인하면서 구매를 결정하는 등 여러 차례 대화를 이어갑니다. 이때 개별 응답이 적절하더라도 앞선 대화의 조건을 놓치면 고객이 원하는 결과를 얻기 어려워질 수 있습니다.

이번 고도화에서는 이러한 대화 흐름까지 평가하기 위해 개별 발화 중심의 평가를 고객 여정에 따라 연결된 시나리오 단위로 재구성했습니다. 기존에도 일부 항목에서 연속 대화를 평가했지만, 이번에는 제품 탐색부터 구매, 배송부터 설치·사용, 문제 해결부터 A/S까지 고객의 이용 과정을 하나의 흐름으로 연결했습니다.

각 시나리오에서는 대화 단계별로 필요한 행동을 평가하면서, 앞선 대화에서 확인한 정보와 조건이 이후 응답에도 적절하게 반영되는지 함께 살펴봅니다. 예를 들어 시나리오 A에서는 다음과 같은 대화가 이루어질 수 있습니다.

위 사례에서 챗봇은 초기 탐색 단계에서 화면 크기와 예산 등 구체적인 질문으로 고객에게 필요한 정보를 확인했습니다. 이후 변경된 55인치 조건과 인기 모델이라는 요청도 반영했지만, 고객이 제외한 65인치 제품을 다시 비교 대상으로 제시했습니다.

이처럼 초기 탐색 질문은 적절하게 수행했더라도 이후 조건 변경 과정에서는 이전 대화의 정보가 불필요하게 유지되는 문제가 발생할 수 있습니다. 멀티턴 시나리오 평가에서는 각 단계의 수행 수준과 함께 이러한 맥락 유지 문제까지 확인합니다. 이를 통해 개별 응답의 품질뿐 아니라 고객이 처음 문의한 시점부터 원하는 목적에 도달하기까지 대화가 일관되게 이어지는지 평가할 수 있도록 했습니다.

UX/UI 평가를 대화와 연결하고 중대한 오류는 별도로 관리했습니다

챗봇이 정확한 정보를 제공하더라도 고객이 필요한 내용을 찾거나 다음 단계로 이동하기 어렵다면 이용 과정에서 불편이 발생할 수 있습니다. 따라서 응답 내용뿐 아니라 고객이 정보를 얼마나 쉽게 이해하고 활용할 수 있는지도 함께 살펴볼 필요가 있습니다.

이번 고도화에서는 기존에 별도로 평가하던 UX/UI를 19개 평가 발화 중 고객 경험과의 연관성이 높은 7개 발화와 연결했습니다. 특히 시각 자료나 링크, 버튼 등이 중요한 발화에서는 다음 항목을 함께 평가합니다.

예를 들어 고객이 제품의 초기 설정 방법을 문의했다면, 설정 순서를 정확하게 안내했는지뿐 아니라 설명이 이해하기 쉽게 구성되어 있는지, 참고 자료나 추가 지원 경로를 제공하는지도 함께 확인합니다.

또한 Critical Failure(CF)를 별도로 기록하는 방식도 추가했습니다. 추정·편향된 응답, 명백히 사실과 다른 정보, 개인정보보호 위반, 위험한 행동 권유처럼 고객에게 피해를 줄 수 있는 오류는 총점만으로 판단하기 어렵기 때문입니다.

CF는 평가 점수에 직접 합산하지 않고, 오류 유형과 발생 건수를 별도로 기록·관리하도록 했습니다. 이를 통해 총점이 높더라도 고객에게 중대한 영향을 줄 수 있는 문제가 있는지 함께 확인할 수 있습니다.

이처럼 응답 품질과 UX/UI를 연결해 평가하고 중대한 오류를 별도로 관리함으로써, 점수만으로 드러나지 않는 고객 경험의 문제와 위험 요소까지 살펴볼 수 있도록 했습니다.

평가는 더 효율적으로, 진단은 더 정밀하게

이번 평가체계 고도화는 평가 방법을 정교화하는 데 그치지 않고, 평가 부담을 줄이면서도 기존 점수만으로는 드러나지 않았던 품질 문제를 더 구체적으로 확인할 수 있다는 데 의의가 있습니다.

평가 운영 효율화

기존에는 여러 발화에 나누어 확인하던 평가 요소를 하나의 발화에서 함께 검증하도록 재구성했습니다. 평가 발화 수는 33개에서 19개로 줄었지만, 확인하는 품질 요소는 오히려 다양해졌습니다. 실제 평가에 소요되는 시간도 기존보다 약 30% 단축됐습니다.

평가 기준이 구체적이라는 점도 중요합니다. ‘충분한 정보를 제공했는가?’처럼 해석의 여지가 있는 기준을 관찰 가능한 세부 행동 조건으로 바꾸고, 충족 여부를 O/X로 확인하도록 했습니다. 실제 평가 과정에서도 평가자 간 판단 차이가 줄어드는 것을 확인했습니다.

이러한 세부 행동 조건과 점수 산정 규칙은 향후 평가 자동화에도 활용할 수 있습니다. 평가자가 모든 응답을 종합적으로 판단하는 대신, 조건별 중요도와 조합에 따라 평가 결과를 산정하는 구조이기 때문입니다.

품질진단 고도화

고도화된 평가체계를 실제로 적용하면서, 기존에는 높은 점수에 가려져 있던 품질 문제를 구체적으로 식별할 수 있었습니다.

대표적으로 부품 문의에서는 챗봇이 필요한 부품과 구매처를 상세하게 안내해 기존 평가 기준에서는 만점을 받았지만, 정작 고객이 보유한 제품과의 호환 여부는 안내하지 않은 사례가 확인됐습니다. 정보의 양은 충분했지만, 고객이 해당 부품을 구매해도 되는지 판단하는 데 필요한 정보는 부족했던 것입니다.

멀티턴 시나리오에서도 개별 응답의 적절성과 별개로, 대화 과정에서 고객의 조건을 일관되게 반영하지 못하는 문제를 확인했습니다. 즉, 챗봇이 개별 질문에는 적절하게 답변하더라도, 대화가 이어지는 과정에서는 변경된 조건을 놓칠 수 있다는 것입니다.

이러한 사례는 정보가 충분해 보이는 응답이라도 고객의 목적 달성에 필요한 부분이 빠져 있을 수 있다는 점을 보여줍니다. 세부 행동 조건과 대화 맥락을 함께 평가하면 단순히 점수가 낮다는 사실을 넘어, 어떤 정보나 행동이 부족했는지 확인할 수 있습니다. 이는 실제 서비스에서 개선할 부분과 우선순위를 판단하는 근거가 됩니다.

마치며

AI 챗봇의 성능을 평가할 때 높은 점수가 반드시 좋은 고객 경험을 의미하는 것은 아닙니다. 정확하고 충분한 정보를 제공하더라도 고객이 직접 해결 방법을 찾아야 하거나, 대화 과정에서 필요한 조건을 놓친다면 원하는 목적을 달성하기 어려울 수 있습니다.

이번 평가체계 고도화에서는 이러한 차이를 구체적으로 확인할 수 있도록 평가 기준을 정교화했습니다. 평가에 필요한 시간은 줄이면서도 기존 점수만으로는 드러나지 않았던 문제를 발견하고, 어떤 부분을 보완해야 하는지 판단할 수 있게 된 것입니다.

결국 좋은 성능 평가는 점수를 매기는 데서 끝나지 않고, 실제 서비스에서 무엇을 개선해야 하는지 알려줄 수 있어야 합니다. TEXTNET은 앞으로도 실제 AI 서비스 평가 경험을 바탕으로 평가 방법을 지속적으로 고도화하고, 고객의 문제 해결에 실질적으로 도움이 되는 AI 서비스 품질 개선을 지원하겠습니다.