RAG, 사내 문서로 답하는 AI를 만들 때 정할 것
RAG로 사내 문서 AI를 만들 때는 기술보다 문서 최신본·볼 수 있는 사람·채점할 질문 목록을 먼저 정합니다. 일반 챗봇·추가 학습 비교와 만드는 여섯 단계를 정리했습니다.
RAG(검색 증강 생성)는 질문이 들어오면 먼저 회사 문서에서 관련 부분을 찾아 AI에 함께 넘기고, 그 내용을 근거로 답하게 하는 방식입니다. 이 글은 매뉴얼 · 규정 · 상품 정보 같은 사내 문서로 답하는 AI를 만들 때를 기준으로 씁니다. 만들기 전에 정할 것은 기술보다 세 가지입니다 — 근거가 될 문서의 최신본, 문서마다 볼 수 있는 사람, 답이 맞았는지 채점할 질문 목록.
RAG란 무엇인가요
RAG는 Retrieval-Augmented Generation의 줄임말로, 2020년 발표된 논문에서 붙은 이름입니다. RAG 뜻을 한 줄로 줄이면 「찾아 읽고 답하는 AI」입니다. 대규모 언어 모델(LLM) — 많은 글을 학습해 문장을 만들어 내는 AI 모델 — 은 학습한 일반 지식으로 답하기 때문에, 회사 규정이나 이번 달 바뀐 배송 정책은 모릅니다. RAG는 질문할 때마다 회사 문서에서 찾은 부분을 붙여 넘겨 이 빈자리를 메웁니다.
움직이는 순서는 네 단계입니다. 문서를 문단 단위 조각으로 나눠 색인하고, 질문이 오면 가장 가까운 조각 몇 개를 찾고, 질문과 조각을 함께 AI에 넘기고, AI가 근거 문서 이름과 함께 답합니다. 조각을 찾을 때는 대개 임베딩 — 문장의 뜻을 숫자 목록으로 바꿔 비슷한 뜻끼리 찾게 하는 방식 — 을 써서, 낱말이 달라도 뜻이 가까우면 찾아냅니다. 사내 지식 검색에 AI 답변을 얹은 구조라고 보면 됩니다.
개인정보보호위원회의 「생성형 인공지능(AI) 개발·활용을 위한 개인정보 처리 안내서」(2025년 8월)도 RAG를 외부 지식베이스를 검색해 입력값에 결합하는 기법으로 설명하며, 환각 — AI가 사실이 아닌 내용을 그럴듯하게 만들어 내는 현상 — 을 줄이고 답의 정확성 · 최신성을 높이는 방법으로 소개합니다.
RAG는 문서를 찾아 답하는 데서 멈춥니다. 정해 둔 화면 작업을 되풀이하는 일은 RPA, 화면 반복 작업을 로봇에 맡기는 기준과 순서로, 목표를 받아 여러 단계를 이어 처리하는 일은 AI 에이전트, 업무에 맡길 일과 맡기지 않을 일로 이어집니다.
RAG·일반 AI 챗봇·추가 학습은 무엇이 다른가요
셋 다 흔히 「AI 챗봇 만들기」라고 부르지만 답의 근거가 다릅니다. 추가 학습(파인튜닝)은 예시 문답을 모델에 더 학습시켜 모델 자체를 바꾸는 방법입니다.
| 항목 | RAG | 일반 AI 챗봇 | 추가 학습(파인튜닝) |
|---|---|---|---|
| 답의 근거 | 질문마다 찾은 회사 문서 조각 | 모델이 학습한 일반 지식 — 회사 문서는 모름 | 모델 안에 새겨진 예시 문답 |
| 새 문서 반영 | 문서를 바꾸고 색인만 다시 하면 다음 질문부터 | 반영되지 않음 — 질문할 때마다 문서를 붙여 넣어야 함 | 다시 학습해야 반영 |
| 비용 구조 | 색인 구축 · 문서 관리에 질문당 AI 이용료 | 이용료만 | 학습 데이터 준비 · 학습 비용에 이용료 |
| 틀린 답 확인 | 근거 조각을 함께 보여 줘 사람이 바로 대조 | 근거를 확인하기 어려움 | 어느 예시에서 나온 답인지 추적하기 어려움 |
| 맞는 경우 | 매뉴얼 · 규정 · 상품 정보처럼 자주 바뀌고 근거가 필요한 답 | 초안 쓰기 · 요약처럼 회사 문서가 필요 없는 일 | 답의 말투 · 형식을 일정하게 맞추는 일 |
사내 문서로 답하게 하려는 목적이라면 RAG로 시작합니다. 문서가 자주 바뀌고, 답마다 근거를 보여 줘야 하기 때문입니다. 추가 학습은 답의 말투나 형식을 일정하게 맞춰야 할 때 검토합니다. AI는 대개 AI 회사의 API로 불러 쓰는데, API · 서버 같은 말은 API·서버·배포 뜻 — 개발 회의 용어에 한 줄씩 풀려 있습니다.
사내 문서 AI는 어떤 순서로 만드나요
여섯 단계입니다. 앞의 세 단계는 문서와 표로 하는 일이고, 넷째 단계부터 시스템을 씁니다.
- 질문 목록 50개 모으기 — 메신저 · 메일 · 문의 게시판에서 실제로 받은 질문을 모읍니다. 지어낸 질문보다 받은 질문이 채점에 쓸모 있고, 이 목록이 다섯째 단계의 채점표가 됩니다.
- 답이 있는 문서 정리 — 같은 문서의 옛 판은 색인에서 빼고 최신본 하나만 남깁니다. 표 · 이미지 안에만 있는 내용은 검색에 잡히도록 글로 옮겨 적습니다.
- 볼 수 있는 사람 나누기 — 문서마다 전 직원 · 부서 · 임원 같은 공개 범위를 정하고, AI는 질문한 사람이 볼 수 있는 문서 안에서만 찾게 합니다. 개인정보보호위원회 안내서도 RAG로 문서를 쓸 때 비식별화되지 않은 문서나 민감정보가 질문에 반응해 출력될 수 있다며 접근 통제 · 사용자 인증 · 응답 필터링 · 기록 관리를 짚습니다.
- 검색 · 답변 시범 — 문서 20~30개와 질문 50개로 먼저 돌립니다. 답보다 찾은 조각이 맞는지를 먼저 봅니다 — 엉뚱한 조각을 찾으면 답도 틀립니다.
- 정답표로 채점 — 질문마다 모범 답과 근거 문서를 적어 두고, AI 답을 맞음 · 일부 맞음 · 틀림으로 표시합니다. 문서에 답이 없는 질문도 몇 개 넣어 「문서에 없습니다」라고 답하는지 봅니다.
- 출처를 함께 보여 주며 공개 — 답 아래에 근거 문서 이름과 갱신일을 붙이고, 틀린 답을 알리는 버튼을 둡니다. 알림이 모이면 매주 문서나 설정을 고치고 같은 50개로 다시 채점합니다.
만들기를 맡긴다면 질문 목록 · 문서 정리표 · 공개 범위가 곧 요구사항입니다 — 정리하는 순서는 프로그램 개발 의뢰 전 요구사항 정리하는 순서에 있습니다. 문서를 올리면 바로 쓰는 기성 서비스로 시작할지, 사내 시스템의 권한과 이어 직접 만들지는 프로그램 직접 만들기와 구매해 쓰기 고르는 기준으로 가르고, 직접 만든다면 세 가지 표가 사내 시스템 연동 개발 범위를 세는 기준이 됩니다.
문서 정리표는 어떻게 채우나요
문서 하나가 한 줄입니다. 다섯 칸을 채우면 색인에 넣을 문서와 뺄 문서가 갈립니다. 아래는 직원 40명 쇼핑몰 회사를 가정한 예시입니다.
| 문서 종류 | 최신본 위치 | 담당자 | 공개 범위 | 갱신 주기 |
|---|---|---|---|---|
| 배송 · 교환 · 반품 안내 | 고객센터 공유 폴더 | 고객 응대 팀장 | 전 직원 · 고객용 답변에 사용 가능 | 정책이 바뀔 때 |
| 상품 사양서 | 상품 폴더, 상품별 파일 하나 | 상품 담당 | 전 직원 | 신상품 등록 때 |
| 고객 문의 답변 모음 | 답변 모음 표 | 고객 응대 팀장 | 전 직원 | 매월 |
| 휴가 · 복리후생 규정 | 인사 공유 폴더 | 인사 담당 | 전 직원 | 개정 때 |
| 거래처 공급 단가표 | 영업 폴더 | 영업 팀장 | 영업팀만 | 분기마다 |
| 직원 개인정보가 든 문서 | — | — | 색인에 넣지 않음 | — |
담당자 칸이 비는 문서는 넣지 않습니다. 틀린 답이 나왔을 때 문서를 고칠 사람이 없기 때문입니다. 공개 범위가 「영업팀만」처럼 좁은 문서는 셋째 단계의 권한 확인이 붙은 뒤에 넣습니다.
자주 묻는 질문
회사 문서를 AI 회사 서버로 보내도 되나요
보내기 전에 쓰려는 서비스의 이용 약관과 데이터 정책에서 세 가지를 확인합니다 — 보낸 내용을 모델 학습에 쓰는지, 얼마나 보관하는지, 어느 나라 서버에서 처리하는지. 개인정보보호위원회 안내서(2025년 8월)는 서비스형 LLM을 쓸 때 데이터 보관 · 재이용(학습 포함) · 국외 이전 여부를 미리 검토하라고 하고, 개인용 무료 라이선스와 달리 기업용 API 라이선스는 학습에 쓰지 않는 것을 기본으로 두는 경우가 많다고 정리합니다.
2026년 9월에 확인한 주요 AI 회사들의 공식 안내도 API · 기업용으로 보낸 데이터를 기본값으로 학습에 쓰지 않는다고 밝히지만, 무료 판은 입력을 서비스 개선에 쓰거나 사람이 검토할 수 있다고 적은 곳이 있습니다. 개인정보가 든 문서는 처리 위탁 · 국외 이전 요건을 개인정보 담당자와 함께 확인하고, 시범 단계에서는 빼 둡니다.
틀린 답을 줄이려면 어떻게 하나요
네 가지를 차례로 합니다. 같은 내용의 옛 판 문서를 색인에서 뺍니다. 찾은 조각 안에서만 답하고, 없으면 「문서에 없습니다」라고 답하도록 지시문에 적습니다. 답마다 근거 문서를 보여 줘 사람이 바로 대조하게 합니다. 문서나 설정을 바꿀 때마다 같은 질문 50개로 다시 채점해 점수가 떨어지지 않았는지 봅니다.
고객 응대에도 쓸 수 있나요
쓸 수 있지만 순서를 둡니다. 먼저 직원이 답을 찾는 사내용으로 몇 주 쓰며 정답률을 확인합니다. 고객용은 공개해도 되는 문서만으로 색인을 따로 만들고, 환불 · 보상처럼 회사의 약속이 되는 답은 사람에게 넘기게 합니다. 이미 써 둔 답변 문장이 있다면 좋은 재료입니다 — 문의를 여덟 묶음으로 나눠 답변을 미리 써 두는 방법은 고객 문의 응대, 답변 문장 미리 써 두기에 있습니다.
고객이 직접 쓰는 AI 상담으로 내놓는다면 인공지능 기본법의 사전 고지 대상인지도 확인합니다 — 기준은 AI 에이전트, 업무에 맡길 일과 맡기지 않을 일의 질문에 정리했습니다.
오늘 할 일
직원이나 고객에게 자주 받는 질문 스무 개를 적고, 답이 적힌 문서가 어디 있는지 옆 칸에 적으십시오. 같은 답이 두 문서에 있으면 어느 쪽이 최신인지 표시하고, 답이 적힌 문서가 없는 질문은 따로 모아 둡니다. 따로 모은 질문은 AI보다 문서를 먼저 써야 할 자리입니다. 30분이면 됩니다.
자주 받는 질문 예시와 답이 있는 문서 종류를 적어 문의로 보내 주시면, RAG 적용 범위와 시범 구성안을 정리해 회신드립니다.
이어서 읽기 — 카카오톡 챗봇, 자동응답 만드는 6단계와 비용
