챗봇 도입 ROI 어떻게 측정하나

 

챗봇을 도입하자는 제안은 쉬운데, "그래서 이게 얼마나 돈이 되는가"를 설명하는 건 항상 어려운 부분이었습니다.
저희도 챗봇 프로젝트 예산을 받기 위해 경영진에게 ROI를 설명해야 했는데, 처음엔 "고객 만족도가 올라갈 것"이라는 식으로만 이야기했다가 구체적인 숫자를 요구받고 당황했던 기억이 있어요.
이번 글에서는 그 이후로 저희가 정리한 챗봇 ROI 측정 방법을 공유해보려 합니다.

 

가장 명확하게 계산할 수 있는 부분은 상담 인력 비용 절감입니다.
저희는 먼저 챗봇이 처리할 수 있는 문의 유형(배송 조회, 환불 절차 안내 같은 것들)이 전체 상담량의 몇 퍼센트를 차지하는지 파악했어요.
저희 케이스에서는 전체 문의의 45%가 이런 반복 문의였고, 상담원 한 명이 하루에 처리하는 문의 수와 평균 인건비를 곱해서 "이만큼의 문의를 챗봇이 대신 처리하면 상담 인력을 몇 명 줄일 수 있는가"를 계산했습니다.
이 계산으로 나온 숫자가 연간 상담 인건비의 약 15% 절감이었는데, 이 숫자를 경영진에게 제시하니 훨씬 설득력이 있었어요.

 

인력을 줄이는 것뿐 아니라, 상담원이 반복 문의에 쓰던 시간을 다른 업무에 쓸 수 있게 되는 것도 ROI에 포함시켜야 합니다.
저희는 챗봇 도입 전후로 상담원 한 명이 반복 문의에 쓰는 평균 시간을 측정했는데, 하루 평균 1.5시간 정도가 줄었습니다.
이 시간을 컴플레인 처리나 VIP 고객 대응처럼 더 부가가치가 높은 업무에 쓸 수 있게 됐고, 이것도 간접적인 비용 효과로 계산에 넣었어요.

 

챗봇이 비용 절감뿐 아니라 매출에도 기여할 수 있다는 걸 처음엔 놓쳤습니다.
저희 챗봇은 상담 문의뿐 아니라 상품 추천 질문에도 답할 수 있게 설계했는데, 챗봇을 통해 상품 페이지로 이동한 사용자의 구매 전환율을 별도로 추적해봤어요.
결과적으로 챗봇을 거친 사용자의 구매 전환율이 일반 검색 대비 약 8% 높게 나왔고, 이 부분도 ROI 계산에 추가했습니다.
비용 절감만 강조하다가 이 매출 기여 부분을 놓치면 ROI를 실제보다 낮게 평가하게 되니, 놓치지 말아야 할 부분이에요.

 

"고객 만족도가 올라간다"는 말은 그 자체로는 ROI 계산에 넣기 어렵습니다.
저희는 이걸 재구매율, 재문의율 감소와 연결해서 계산했어요.
챗봇 도입 이후 같은 사용자가 같은 문의를 다시 하는 재문의율이 줄었는데, 이는 상담 리소스 절감으로 다시 환산할 수 있는 지표였습니다.
정성적인 만족도 지표를 정량적인 비용/매출 지표로 연결하는 다리를 만드는 게 ROI 설명에서 중요한 작업이었어요.

 

ROI는 효과만이 아니라 투입 비용도 정확해야 의미가 있습니다.
저희는 초기 개발 비용, NLU 엔진 라이선스 비용, 콘텐츠 관리 인력 비용, 그리고 챗봇 유지보수에 들어가는 개발 리소스까지 모두 포함해서 계산했어요.
특히 유지보수 비용을 처음엔 과소평가했는데, 실제로는 시나리오를 계속 업데이트하고 로그를 분석하는 데 매주 상당한 시간이 들어가고 있었습니다.
이 부분을 누락하면 ROI가 실제보다 부풀려지기 때문에, 투입 비용은 보수적으로 넉넉하게 잡는 걸 원칙으로 하고 있어요.

 

ROI는 한 번 계산하고 끝내는 게 아니라 주기적으로 다시 확인해야 합니다.
저희는 분기마다 위의 지표들을 다시 계산해서 리포트로 정리하고 있는데, 초반 6개월과 1년 뒤의 ROI가 꽤 달랐어요.
초반에는 초기 개발 비용이 커서 ROI가 낮게 나왔지만, 시나리오가 안정화되고 유지보수 비용이 줄면서 1년 차부터는 확실히 긍정적인 숫자가 나오기 시작했습니다.

 

챗봇 ROI를 측정하는 건 단순히 경영진을 설득하기 위한 숫자놀이가 아니라, 챗봇을 계속 개선해야 할 이유를 팀 스스로 확인하는 과정이라고 생각합니다.

저희도 처음엔 막연하게 "효율적일 것 같다"는 느낌으로 시작했지만, 지금은 숫자로 효과를 증명할 수 있게 됐고, 이 숫자를 근거로 다음 투자 계획도 훨씬 수월하게 세우고 있습니다.