잘 답하는 챗봇일수록 문제도 잘 생긴다
기업이 RAG 챗봇을 도입하는 이유는 분명합니다. 흩어진 사내 문서, 매뉴얼, 정책, 지식 베이스를 연결해 직원이나 고객이 필요한 답을 빨리 찾게 만들 수 있기 때문입니다. 그런데 챗봇이 문서를 잘 찾고 잘 요약할수록 운영 담당자는 또 다른 것을 생각해야 합니다.
챗봇이 어디까지 답하도록 만들어야 할지를 정하는 것입니다.
챗봇 보안이라고 하면 보통 금지어, 프롬프트 인젝션, 개인정보 마스킹을 먼저 떠올립니다. 모두 필요한 장치입니다. 다만 사내 문서 기반 RAG에서는 문제가 조금 더 복잡합니다. 사용자가 원문 문서를 직접 열람할 권한은 없어도, 질문을 여러 번 바꿔 던지면 답변을 통해 문서의 일부 내용을 추론해 낼 수 있기 때문입니다.
그래서 RAG 보안은 ‘위험한 질문에 답하지 못하도록 막았는가’에서 끝나지 않습니다. 검색된 내부 지식이 답변 안에서 얼마나 구체적으로 드러나는지, 그 수준을 조직이 감당할 수 있는지까지 봐야 합니다.
RAG 보안을 위한 연구 사례
Adobe Research 연구진은 RAG 시스템에서 보안 공격이 어떻게 일어나는지 비교하기 위해 벤치마크를 만들었습니다. 기업용 챗봇, 의료 보조 서비스, 에이전트 메모리 관리처럼 외부 지식 베이스를 붙여 쓰는 RAG 환경을 대상으로 삼았습니다.
연구진이 본 공격은 크게 두 단계로 나뉩니다. 먼저 공격자는 RAG 챗봇이 민감한 문서를 가져오도록 질문을 설계합니다. 그다음 생성 모델이 검색된 문서 내용을 다시 말하도록 유도합니다. 한 번에 모든 정보를 빼내는 방식만 있는 것은 아닙니다. 질문과 답변을 여러 차례 주고받으며 조각난 정보를 조금씩 모으는 방식도 가능합니다.
이 연구가 보여준 핵심은 단순합니다. RAG 보안은 입력 문장 검사만으로 해결되지 않습니다. 사용자의 질문, 검색 단계, 생성 단계, 지식 베이스의 문서 구조가 모두 공격 지점이 됩니다. 연구진도 방어 전략을 입력, 검색, 생성 단계로 나눠 비교했고, 지식이 어떤 형식으로 저장되어 있는지와 질문이 얼마나 다양하게 바뀌는지가 추출 가능성에 영향을 준다고 봤습니다.
RAG가 내부 지식을 찾아 답하는 구조라면, 문서 접근 권한만으로는 부족합니다. 기업 입장에선 답변으로 ‘어디까지 재현해도 되는가’를 따로 정해야 합니다.
검색되는 문서와 답변은 다르다
사내 RAG 챗봇을 설계할 때는 보통 ‘이 문서를 검색 대상에 넣어도 되는가’를 먼저 고민합니다. 하지만 운영 단계에서는 질문을 이렇게 바꿔야 합니다.
이 문서의 내용이 답변으로 다시 쓰여도 되는가?
문서가 검색되는 것과 답변으로 노출되는 것은 다릅니다. 어떤 문서는 챗봇이 참고해도 되지만, 원문 표현이나 구체적인 수치가 그대로 드러나면 곤란합니다. 내부 장애 보고서, 고객사별 계약 조건, 인사 정책의 예외 조항, 보안 운영 매뉴얼이 대표적입니다. 챗봇이 이런 문서를 참고하는 일과 그 내용을 사용자가 알아볼 수 있게 풀어 말하는 일은 전혀 다른 문제입니다.
TEXTNET은 이 지점을 RAG 운영의 핵심 경계로 봅니다. RAG 챗봇은 단순한 문서 검색창이 아닙니다. 검색 결과를 바탕으로 새 답변을 만드는 시스템입니다. 그래서 접근 권한도 ‘문서를 볼 수 있는가’에서 멈추면 부족합니다. ‘문서의 어떤 내용이 어떤 수준으로 답변에 반영되어도 되는가’까지 정해야 합니다.
안정적인 RAG를 위한 답변 기준 설계
RAG 챗봇을 안전하게 운영하려면 모델 성능 평가와 별개로 답변 경계를 먼저 잡아야 합니다.
첫째, 문서 공개 등급과 답변 재현 등급 분리해야 합니다. 검색 근거로 쓸 수 있는 문서라도 원문에 가까운 표현이나 세부 수치를 답변에 넣으면 안 되는 경우가 있습니다.
둘째, 검색 허용과 답변 허용 나누어야 합니다. 검색 결과에 포함된 문서가 곧바로 답변 가능한 지식이 되면 권한 설계가 너무 느슨해질 수 있습니다.
셋째, 반복 질문 테스트가 필요합니다. 한 번의 질문에서는 문제가 없어 보여도, 질문을 가꿔 여러 번 묻다 보면 민감한 정보가 누적될 수 있습니다. RAG 검수는 단일 답변만 보지 말고 대화 흐름 단위로 봐야 합니다.
넷째, 원문 재현률을 확인해야 합니다. 답변이 정확한지만 보면 부족합니다. 내부 문서의 문장, 수치, 고유명사가 답변에 얼마나 그래도 옮겨졌는지도 확인해야 합니다. 어떤 답변은 정확하기 때문에 더 위험하기도 합니다.
다섯째, 차단하는 답변과 대체할 답변의 기준을 정해야 합니다. 모든 민감 질문에 ‘이 질문에는 답변할 수 없습니다.’로 막는다면 사용성이 떨어집니다. 반대로 모두 일반화해서 답하면 정보 노출 위험이 커집니다. 질문에 따라 요약하여 답변할지, 담당자를 연결할지, 답변 자체를 막을지 정할 기준이 필요합니다.
TEXTNET 관점에서 보면
보안 공격은 사고이기 전에, 조직의 지식 분류 체계가 RAG 환경에 맞게 바뀌지 않았다는 신호일 수 있습니다. 기존 문서 권한 체계는 사람이 파일을 열어 보는 상황을 기준으로 만들어진 경우가 많습니다. 반면 RAG 챗봇은 사용자가 파일을 열지 않아도 답변으로 내용을 전달합니다. 이때 ‘열람 가능한 문서’와 ‘답변 가능한 지식’을 같은 기준으로 관리하면 문제가 생깁니다. 챗봇이 내부 참고용 정보를 외부 설명처럼 바꿔 말할 수 있기 때문입니다.
그래서 RAG 보안에서 더 중요한 질문은 ‘무엇을 보여주지 않을지’가 아닙니다. ‘근거로만 쓸 지식은 무엇이고, 사용자에게 문장으로 풀어줘도 되는 지식은 무엇인지’입니다. 이 차이는 사내 문서 챗봇에서 특히 큽니다. 같은 문서 안에도 공개 가능한 안내와 내부 판단용 정보가 함께 들어 있기 때문입니다. 문서 단위로만 허용하거나 차단하면 운영이 거칠어집니다. 문단, 항목, 수치, 고유명사, 고객사명, 내부 절차처럼 답변으로 옮겨졌을 때 위험해지는 단위를 따로 봐야 합니다.
📄
RAG 챗봇은 내부 문서를 잘 찾아주는 도구입니다. 하지만 운영 환경에서는 잘 찾는 능력만큼 잘 숨기는 능력도 필요합니다. 특히 사내 문서 기반 챗봇은 보안팀의 문서 접근 권한과 서비스팀의 답변 정책이 함께 맞물려야 합니다. 검색은 허용되지만 답변에 사용하면 안 되는 정보가 있습니다. 반면, 답변은 가능하지만 원문 수준으로 드러나면 곤란한 정보도 있습니다. 또한, 반복 질문을 거치며 조금씩 드러난 정보가 모이면 위험해지는 경우도 있습니다.
결국 RAG 보안은 질문을 막는 기술이 아니라, 조직이 책임질 수 있는 답변의 경계를 정하는 일입니다. 텍스트넷은 기업의 문서 구조, 사용자 권한, 답변 정책을 함께 고려해 RAG 챗봇을 설계합니다. 사내 문서를 기반으로 안전한 AI 챗봇을 구축하고 싶다면, 텍스트넷의 챗봇 서비스를 확인해보세요.