AI 에이전트를 운영하다 보면 사용자 선호, 과거 대화, 이메일, 업무 이력처럼 답변에 활용할 정보가 계속 늘어납니다. 시간이 지날수록 모델이 필요한 정보를 정확하게 기억하고 활용하는지가 서비스 품질을 좌우하게 됩니다.
그렇다면 이 능력은 어떻게 평가해야 할까요?
많은 사람은 질문을 던지고 모델의 답변이 정답과 일치하는지만 확인하면 된다고 생각합니다. 하지만 실제 평가에서는 그보다 먼저 확인해야 할 것이 있습니다. 바로 비교 기준이 되는 정답이 어떻게 만들어졌는지입니다.
많은 평가 데이터셋은 대화나 문서를 먼저 만든 뒤, 그 안에서 질문과 정답을 추출하는 방식으로 구축됩니다. 구축이 비교적 쉽다는 장점은 있지만 두 가지 한계가 있습니다. 정답 라벨 자체에 오류가 포함될 수 있고, 실제 인물이나 사실이 들어가면 모델이 메모리 시스템을 활용하지 않아도 사전학습된 지식만으로 정답을 맞히는 경우가 생길 수 있습니다.
최근 공개된 Ground Truth First 연구는 이 순서를 뒤집었습니다. 연구진은 먼저 가상의 사용자 프로필과 시간의 흐름에 따른 생활 이력을 설계했습니다. 각 사실에는 유효 기간, 변경 가능성, 출처를 함께 정의했습니다. 이후 이 정보를 바탕으로 대화와 이메일을 생성하고, 설계한 사실이 실제 데이터에 정확하게 반영됐는지 검증했습니다. 질문과 정답 역시 생성된 대화에서 추출한 것이 아니라 처음 설계한 정보에서 일관된 규칙으로 만들었습니다.
핵심은 순서를 바꾼 것입니다. 기존처럼 대화를 만든 뒤 정답을 찾는 방식이 아니라, 정답을 먼저 설계한 뒤 그 정답을 포함하는 데이터를 만드는 방식을 적용했습니다. 이렇게 설계한 이유는 장기 메모리를 사용하는 AI 에이전트를 보다 신뢰성 있게 평가하기 위해서였습니다. 연구진은 짧은 기간과 긴 기간을 나눠 메모리 구조를 비교했고, 정답의 유효 기간, 정보 출처, 오래된 정보의 유지 여부까지 함께 평가했습니다. 결과는 흥미로웠습니다. 같은 시스템이라도 평가 기간과 메모리 구조를 어떻게 설정하느냐에 따라 성능 순위가 달라졌습니다.
운영 기간에 따라 평가 성능이 달라지는 이유
연구진은 이 평가 프레임워크를 이용해 다섯 가지 AI 에이전트 메모리 구조와 메모리가 없는 기준 시스템을 비교했습니다. 단기 운영과 장기 운영 환경을 각각 평가했고, 동일한 질문을 반복해 결과의 안정성도 함께 확인했습니다.
가장 눈에 띄는 결과는 평가 기간에 따라 성능 순위가 달라졌다는 점입니다. 짧은 테스트에서는 제한된 저장 공간 안에서 정보를 효율적으로 관리하는 구조가 높은 성능을 보였습니다. 하지만 운영 기간이 길어질수록 초기에 저장한 정보를 잃어버리면서 성능이 떨어졌습니다. 반대로 정보의 출처와 관계를 함께 유지하는 그래프 기반 구조는 장기 운영 환경에서 더 안정적인 결과를 보였습니다.
또 하나 주목할 점은 정보를 메모리에 저장하는 단계의 품질이 이후 답변 품질과 강하게 연결됐다는 것입니다. 사실을 부정확하게 저장하거나 중요한 정보를 빠뜨리면 이후 질문에서도 동일한 오류가 반복됐습니다. 연구에서는 저장 품질이 낮았던 정보에서 생성된 질문의 실패율이 그렇지 않은 경우보다 훨씬 높게 나타났습니다.
보안 측면에서도 의미 있는 결과가 나왔습니다. 정보의 출처를 구분해 저장하는 메모리 구조는 악의적인 오류를 유도하는 문장에 잘 대응했습니다. 반면 출처 정보를 구분하지 않고 저장하는 방식은 일부 공격에서 더 쉽게 영향을 받았습니다. 이 연구가 말하는 핵심은 특정 메모리 구조가 가장 뛰어나다는 것이 아닙니다. 평가 기간, 정답 설계 방식, 정보 출처 관리 방식에 따라 같은 시스템도 전혀 다른 평가 결과를 받을 수 있다는 점입니다.
PoC 점수와 운영 품질은 다르게 움직입니다
기업의 생성형 AI 프로젝트에서도 비슷한 일이 자주 발생합니다. PoC 단계에서는 대부분의 모델이 충분히 좋아 보입니다. 테스트 데이터가 많지 않고, 평가 기간도 짧으며, 확인해야 할 예외 상황도 제한적이기 때문입니다. 하지만 운영이 시작되면 상황은 달라집니다. 문서는 계속 수정되고, 정책은 바뀌며, 새로운 질문 유형과 예외 사례가 꾸준히 추가됩니다. 이전에는 맞았던 답변이 새로운 정책에서는 틀린 답이 되기도 합니다.
이런 환경에서는 PoC에서 사용했던 평가 데이터만으로 실제 운영 품질을 판단하기 어렵습니다. 그래서 평가에서는 모델보다 먼저 정답 데이터를 관리해야 합니다. 정답은 누가 작성했고, 어떤 문서를 근거로 만들었는지, 언제까지 유효한지, 이후 정책 변경으로 대체됐는지까지 함께 관리되어야 합니다.
특히 RAG나 AI 에이전트처럼 외부 지식과 메모리를 함께 사용하는 시스템에서는 하나의 질문에도 여러 기준이 존재할 수 있습니다. 어떤 질문은 현재 정책을 기준으로 답해야 하고, 어떤 질문은 특정 시점의 정책을 기준으로 답해야 합니다. 또 어떤 정보는 사용자가 직접 제공한 정보이고, 어떤 정보는 내부 문서나 이메일에서 가져온 정보입니다. 이런 차이를 평가 데이터셋에서 구분하지 않으면 모델 성능을 실제보다 높게 평가할 가능성이 커집니다.
골든셋은 정답표가 아니라 운영 기준입니다
운영형 AI 서비스를 평가하려면 골든셋을 단순한 정답 모음이 아니라 운영 기준을 담은 데이터로 구축해야 합니다.
정답을 먼저 설계해야 합니다. 실제 로그에서 질문을 수집하는 것도 중요하지만, 그보다 먼저 어떤 사실을 검증할 것인지, 어떤 조건에서 정답이 달라지는지, 어떤 문서를 근거로 사용할 것인지를 정의해야 합니다.
시간에 따라 변하는 정답을 관리해야 합니다. 사내 정책, 상품 정보, 담당자, 수수료처럼 시간이 지나면서 바뀌는 정보는 현재 기준과 과거 기준을 구분해 관리해야 합니다.
정보의 출처를 함께 관리해야 합니다. 사용자가 직접 제공한 정보인지, 내부 문서인지, 외부 메일인지에 따라 답변의 신뢰성과 검증 방식은 달라질 수 있습니다.
운영 기간을 고려한 평가를 수행해야 합니다. 출시 직전 테스트에서는 문제가 없더라도 몇 주, 몇 달이 지나면 오래된 정보 누락이나 정책 충돌이 발생할 수 있습니다. 단기 테스트와 장기 테스트를 구분해야 하는 이유입니다.
실패 데이터를 다음 평가에 활용해야 합니다. 운영 중 발견된 실패 사례는 수정으로 끝내지 말고 다음 모델 변경이나 프롬프트 변경에서도 다시 검증할 수 있는 평가 데이터로 축적해야 합니다.
TEXTNET 관점에서 보면
실제 기업 프로젝트에서는 평가 데이터 자체보다 정답 기준이 명확하지 않은 경우를 더 자주 만나게 됩니다. 모델을 비교하기 전에 무엇을 정답으로 볼 것인지, 어떤 문서를 기준으로 답해야 하는지, 정책이 바뀌면 언제부터 새로운 정답을 적용할 것인지가 먼저 합의되지 않는 경우가 많습니다.
이 상태에서 수행한 평가는 실제 서비스 품질을 평가하기 어렵습니다. 평가 데이터셋은 모델을 채점하기 위한 표가 아니라, AI 서비스가 어떤 근거를 바탕으로 답해야 하는지를 정의한 운영 기준에 가깝습니다.
그래서 평가 데이터를 구축할 때는 도메인 담당자, 운영 담당자, 검수자가 함께 참여해야 합니다. 도메인 담당자는 정답과 근거를 확인하고, 운영 담당자는 실제 사용자 질문을 반영하며, 검수자는 답변 품질과 위험도를 검토합니다. 이 과정을 거쳐야 평가 점수가 실제 운영 품질과 연결됩니다.
TEXTNET도 이러한 관점에서 기업 환경에 맞는 평가 데이터셋과 골든셋을 설계하고, 운영 환경을 반영한 답변 품질 검증 체계를 구축합니다. 특히 장기 운영이 필요한 챗봇과 AI 에이전트는 평가 데이터도 함께 운영되어야 합니다. 정책 변경, 신규 문서, 반복 오류, 사용자 로그를 지속적으로 반영해야 평가 결과 역시 실제 서비스 품질을 따라갈 수 있습니다.
마무리하며
생성형 AI 평가에서 중요한 것은 고난도의 질문을 많이 만드는 것이 아닙니다. 어떤 답을 정답으로 정의할 것인지 먼저 결정하는 것이 더 중요합니다. 정답이 흔들리면 모델 점수도 흔들립니다. 짧은 테스트에서 좋은 성능을 보인 시스템도 장기 운영에서는 전혀 다른 결과를 보일 수 있습니다. 평가 데이터가 실제 운영 환경을 반영해야 하는 이유입니다.
결국 신뢰할 수 있는 AI 평가는 모델을 평가하는 과정이 아니라 정답을 관리하는 과정에서 시작됩니다. 정답 설계, 근거 관리, 실패 사례 축적, 정책 변경 반영, 주기적인 재검증까지 하나의 운영 체계를 갖춰야 평가 결과가 실제 서비스 품질과 연결될 수 있습니다. TEXTNET은 기업 환경에 맞춘 평가 데이터셋 구축, 골든셋 설계, 답변 품질 검증 기준 수립을 통해 AI 서비스의 운영 품질을 지속적으로 검증할 수 있도록 지원합니다.