안녕하세요. 텍스트넷 챗봇사업팀의 김예슬 PM입니다. 오늘은 ‘진짜 현장에서 쓰이는 챗봇’을 만들기 위해, 저희 팀이 어떤 고민과 실험을 거쳐왔는지 생생하게 전해드리려 합니다. 이번 프로젝트의 고객사는 시설관리 전문 기업으로, 수많은 부서와 문서들 사이에서 헤매던 임직원들을 위해, 질문 하나면 필요한 정보를 즉시 제공하는 RAG 기반 사내 챗봇을 구축하는 것이 목표였습니다.
“어디서 찾지?”를 없애라 — 진짜 필요한 챗봇
프로젝트 초반, 고객사 내부의 실상을 마주했을 때 가장 많이 들은 말은 이거였습니다.
“그 문서요? 아마 총무팀에 있을 텐데...아니, 인사팀인가?”
총 15개 팀, 60여 개 문서, 1,000페이지가 넘는 양. 직원들은 필요한 정보를 찾기 위해 부서를 전전하거나, 메신저로 계속 묻는 일이 반복되고 있었죠. 고객사는 이를 개선하여 업무 효율을 향상시키기 위해 챗봇을 도입하고 싶어했습니다.
“사용자가 질문을 입력하면, 챗봇이 관련 문서를 검색하고, 그 근거와 함께 정확한 답변을 제공한다.”
단순하지만, 조직 전체의 정보 흐름을 바꾸는 방식이었습니다. 사람들이 더 이상 파일을 뒤지거나 타부서에 연락하지 않고도 원하는 정보를 찾을 수 있도록 하는 것이 이번 프로젝트의 출발점이었습니다.
보기 좋은 응답이 사용자 신뢰를 만든다
서비스가 어느 정도 완성됐다고 느꼈을 때, 뜻밖의 복병이 나타났습니다.
사용자가 요청한 "법령별 담당 부서 목록" 표에… <\/table> 이 그대로 노출되는 상황이 발생한 것입니다.
기술적으로는 사소한 출력 오류일 수 있지만, 사용자 입장에서는 이야기가 달랐습니다. “아, 이거 아직 덜 만든 서비스네.”라는 인식이 생기게 되는 거죠. 정보를 정형화된 형식으로 보여주지 못하는 챗봇은 곧 신뢰를 잃을 수 있습니다. 저희는 이를 해결하기 위해 v8.0 버전에서 다음과 같은 개선을 반영했습니다.
HTML 표 출력 가이드 강화 : 완전한 HTML 표 예시를 프롬프트에 고정 삽입해 모델이 안정적으로 출력할 수 있도록 유도
Few-shot 학습 강화 : 챗봇이 ‘이렇게 보여줘야 한다’는 기준을 반복적으로 학습
사전 렌더링 검증 추가 : 사용자에게 노출되기 전, HTML 유효성을 체크해 오류를 미리 방지
그 결과, 표 출력 오류율은 대폭 감소했고, 사용자 설문에서는 “응답이 훨씬 깔끔해졌다”는 피드백을 받았습니다. 기술의 본질은 결국 사용자에게 신뢰를 줄 수 있느냐의 문제였습니다.
사람이 수백 개 QA를 만든다고요? 자동 생성으로 효율화!
챗봇이 잘 작동하는지 검증하려면 다양한 질문을 던져보고, 그에 제대로 답하는지를 체크해야 합니다. 그런데 그 질문들을 사람 손으로 하나하나 만든다? 시간도, 인력도 너무 아까웠습니다. 그래서 저희는 작업의 효율을 향상시키기 위해 자체 개발한 GPT 기반 QA 생성 툴을 활용했습니다.
문서를 분석해 300개 이상의 질문-답변 쌍 자동 생성
내부 검수 후, 실제 챗봇 테스트 및 학습 데이터로 활용
덕분에 QA 테스트의 품질은 유지하면서도 리소스는 절반 이하로 줄일 수 있었고, 다양한 질문 유형도 폭넓게 확보할 수 있었습니다.
챗봇은 말투와 포맷도 ‘설계’해야 한다
챗봇은 단순히 “정답을 말하는 AI”가 아닙니다. 어떤 어조로, 어떤 형식으로, 어떤 흐름으로 말하느냐가 중요합니다. 예를 들어 “출장비 정산 절차 알려줘”라는 질문에, 텍스트만 주르륵 이어붙인 답이 나간다면? 사용자는 이해하지 못하거나, 다시 질문할 수밖에 없습니다. 그래서 저희는 응답을 설계할 때 이런 전략을 적용했습니다.
절차 안내는 단계별 번호로 나열
제출 기한, 대상 등은 표 형식으로 정리
불필요한 수식어는 줄이고, 핵심만 간결하게
말투는 정중하면서도 군더더기 없이
이런 설계가 쌓이자, 응답 하나하나가 훨씬 명확하고, 신뢰감 있게 느껴졌습니다.
마무리하며
이번 프로젝트를 돌아보면, 결국 핵심은 사용자 경험에 대한 집요한 고민이었습니다. 단순히 문서를 검색하고 답변을 주는 챗봇을 넘어서, “이 챗봇, 진짜 쓸만하다.”라는 말을 듣기 위해 표 하나, 말투 한 줄, 답변 길이 하나까지 작지만 중요한 요소들을 하나하나 개선해 나갔습니다.
결국 이 모든 것이 사용자가 챗봇을 신뢰하게 만드는 힘이 되었습니다. 앞으로도 텍스트넷은 기술 자체보다 ‘현장에 딱 맞고, 실질적으로 잘 작동하는 챗봇’을 만드는 데 집중할 것입니다. 단순한 정보 전달이 아니라, 사람들이 자주 찾고, 쉽게 이해하고, 편하게 소통할 수 있는 AI 도우미를 만들겠습니다.
