챗봇 상담 도입, 기획자가 먼저 정의해야 할 시나리오

 

코로나 이후 비대면 문의가 급증하면서, 상담 챗봇 도입을 검토하는 팀이 많아졌습니다.
저희 팀도 마찬가지였어요.
문의량이 평소의 세 배 가까이 늘면서 상담팀이 감당을 못 하는 상황이 왔고, "챗봇 하나 만들면 해결되지 않을까"라는 이야기가 자연스럽게 나왔습니다.

그런데 막상 프로젝트를 시작하면 "일단 챗봇부터 만들자"는 식으로 접근하다가 중간에 방향을 잃는 경우를 자주 봅니다.
저희도 초반에 그랬어요.
개발팀은 어떤 NLU 엔진을 쓸지부터 고민했고, 디자이너는 말풍선 UI 디자인부터 그리기 시작했는데, 정작 "이 챗봇이 어떤 문의를 처리할 것인가"는 아무도 정리하지 않은 상태였습니다.
회의를 몇 번 하고서야 저희는 순서가 잘못됐다는 걸 깨달았어요.
그래서 기획자가 개발에 들어가기 전에 먼저 정리해둬야 할 시나리오를 하나씩 정리해봤습니다.

 

우선 챗봇이 모든 문의를 처리할 수는 없습니다.
저희는 상담 로그 3개월치를 뽑아서 문의 유형별로 분류하는 작업부터 시작했어요.
분류해보니 전체 문의의 60% 정도가 배송 조회, 환불 절차, 영업시간 안내처럼 패턴이 명확한 질문이었습니다.
이런 자주 묻는 질문 중심의 "닫힌 시나리오"와, 컴플레인이나 계약 관련 상담처럼 상담원 연결이 필요한 "열린 시나리오"를 먼저 구분해야 합니다.
이 구분이 없으면 챗봇이 답하지 못하는 질문에 계속 "죄송합니다, 이해하지 못했어요"만 반복하게 되고, 사용자는 두세 번 만에 이탈해버려요.

 

챗봇이 답을 못 찾았을 때 어떻게 할지를 미리 정의해야 합니다.
저희는 처음에 이 부분을 놓쳐서, 런칭 초반에 "이해하지 못했습니다"만 반복해서 뜨는 화면 때문에 항의가 꽤 들어왔어요.
상담원 연결 버튼을 바로 보여줄지, 관련 FAQ 링크를 추천할지, 재질문을 유도할지 - 이 폴백 경로가 없으면 사용자는 챗봇 화면에 갇힌 채 이탈합니다.
저희가 최종적으로 적용한 방식은 3단계였습니다.
1차로 재질문 유도, 2차로 관련 FAQ 3개 추천, 그래도 해결이 안 되면 3차로 상담원 연결 버튼을 자동으로 노출하는 방식이었는데, 이 흐름을 넣은 이후로 이탈률이 눈에 띄게 줄었습니다.

 

런칭 직후에는 "어떤 질문에 챗봇이 자주 실패하는가"를 파악하는 게 가장 중요합니다.
그런데 로그 설계를 나중에 하면 분석이 불가능한 형태로 쌓여요.
저희도 초반에 로그를 그냥 텍스트로만 쌓아뒀다가, 나중에 "실패율이 높은 의도가 뭔지" 알고 싶어도 일일이 사람이 읽어봐야 하는 상황이 됐습니다.
그래서 처음부터 의도(intent) 태그, 실패 여부, 폴백 발생 여부를 구조화된 로그로 남기도록 요구사항에 포함시켜야 합니다.
이렇게 해두면 매주 "실패율 상위 10개 의도"를 대시보드로 뽑아볼 수 있고, 그 데이터를 바탕으로 시나리오를 계속 보강할 수 있어요.

 

챗봇의 답변 스크립트는 시나리오가 늘어날수록 관리가 어려워집니다.
저희 프로젝트에서도 답변 문구를 개발자 코드 안에 하드코딩해뒀다가, 정책이 바뀔 때마다 배포를 새로 해야 하는 불편함을 겪었어요.
초반부터 답변을 별도 스프레드시트나 CMS로 관리하고, 버전 관리를 해두는 게 나중에 큰 도움이 됩니다.
저희는 결국 구글 시트로 답변 콘텐츠를 관리하고, 매일 자정에 그 내용을 챗봇 서버가 동기화해가는 구조로 바꿨는데, 이후로는 콘텐츠 담당자가 개발자 없이도 문구를 직접 수정할 수 있게 됐습니다.

 

이 부분은 나중에 추가한 항목인데, 처음부터 넣었어야 했다고 생각해요.
"챗봇 만족도"만 지표로 잡으면 애매합니다.
저희는 결국 세 가지를 같이 봤어요.
1. 폴백 없이 시나리오가 종료된 비율,

2. 상담원 연결 후 평균 처리 시간 변화,

3. 그리고 재문의율 이었습니다.

이 세 가지를 매주 리뷰하면서 시나리오를 계속 고쳐나갔고, 3개월쯤 지나니 상담팀 문의량이 확실히 줄어드는 게 보였어요.

 

챗봇은 "만들면 끝"이 아니라 "만든 뒤 계속 다듬는" 서비스입니다.

기획 단계에서 이 전제를 팀 전체와 공유해두는 것만으로도 런칭 이후의 혼란을 많이 줄일 수 있어요.
저희도 처음엔 이걸 몰라서 고생했지만, 지금 돌아보면 이 다섯 가지만 미리 정리해뒀어도 초반 삽질을 절반은 줄일 수 있었을 거라고 생각합니다.