개인화 추천 기능을 담당하면서 가장 많이 받는 질문이 "이거 좀 무섭지 않아요?"라는 반응입니다.
사용자가 검색한 적도 없는데 딱 필요한 걸 추천해주면 신기하다는 반응이 나오다가, 그게 조금만 더 나가면 "내 걸 다 알고 있는 것 같아서 불편하다"는 반응으로 바뀝니다.
저희 서비스에서도 이 경계선을 두 번쯤 넘었다가 다시 되돌아온 경험이 있어서, 이 주제에 대해 좀 길게 정리해보고 싶었습니다.
개인화가 잘 작동하면 효과는 확실합니다.
저희가 홈 화면에 개인화 추천 위젯을 처음 도입했을 때, 클릭률이 기존 인기순 노출 대비 40% 가까이 올랐어요.
사용자가 원하는 걸 더 빨리 찾게 해준다는 점에서 개인화는 분명 사용자에게도 이득입니다.
그런데 이 효용에는 대가가 따릅니다.
개인화를 잘하려면 더 많은 데이터가 필요하고, 더 많은 데이터를 쓸수록 사용자는 "내가 얼마나 추적당하고 있는가"에 대한 불안을 느끼기 시작합니다.
이 효용과 대가 사이의 균형점을 찾는 게 저희 팀의 계속되는 과제였어요.
한번은 사용자의 위치 정보와 최근 검색 이력을 결합해서, 홈 화면에 "지금 계신 곳 근처에서 자주 찾으시는 카테고리" 같은 문구를 노출한 적이 있습니다.
클릭률로 보면 나쁘지 않은 실험이었어요.
그런데 고객센터에 "내 위치를 어떻게 안 거냐"는 문의가 들어오기 시작했습니다.
사용자 입장에서는 위치 기반 서비스에 동의한 기억은 있지만, 그게 홈 화면 문구에 이렇게 구체적으로 드러날 거라고는 예상하지 못했던 거예요.
저희는 이 문구를 결국 일주일 만에 내렸습니다.
기술적으로 할 수 있다는 것과, 사용자가 편안하게 받아들일 수 있다는 것은 완전히 다른 문제라는 걸 이때 몸으로 배웠습니다.
이 사건 이후로 저희가 세운 첫 번째 원칙은 "왜 이걸 추천받았는지 사용자가 알 수 있어야 한다"는 것이었습니다.
그냥 "당신을 위한 추천"이라고 뭉뚱그리지 않고, "최근 본 상품과 비슷해서" 또는 "같은 관심사 사용자들이 많이 본 상품"처럼 추천 이유를 짧게라도 보여주기 시작했어요.
이걸 넣고 나서 신기하게도 클릭률은 거의 그대로였는데, 부정적 피드백은 눈에 띄게 줄었습니다.
사용자는 추천이 정확한 것보다, 추천의 이유가 예상 가능한 것에 더 안심한다는 걸 이때 알게 됐어요.
두 번째 원칙은 "성능 향상에 실제로 기여하는 데이터만 쓴다"는 것이었습니다.
저희도 초반에는 "일단 모아두면 나중에 쓸모 있겠지"라는 생각으로 온갖 데이터를 다 쌓아뒀는데, 정작 모델 성능을 유의미하게 개선한 건 몇 가지 핵심 행동 데이터뿐이었어요.
나머지 데이터는 저장 비용만 늘리고, 개인정보 리스크만 키우는 짐이었습니다.
저희는 6개월에 한 번씩 "이 데이터가 실제로 모델 성능에 기여하는가"를 검증하고, 기여가 미미한 데이터는 수집을 중단하는 프로세스를 만들었습니다.
데이터를 덜 쓰기로 결정하는 것도 기획자의 일이라는 걸 이 과정에서 새롭게 느꼈어요.
개인화가 무서운 건, 실패했을 때 단순한 기능 오류로 끝나지 않는다는 점입니다.
엉뚱한 추천 하나는 그냥 웃고 넘길 수 있지만, "내 정보를 이렇게까지 쓰고 있었나"라는 느낌을 한 번 주면 사용자는 서비스 전체를 다르게 보기 시작합니다.
저희는 이걸 신뢰 부채라고 부르기 시작했어요.
개인화로 얻는 전환율 상승은 눈에 보이는 자산이지만, 신뢰를 잃는 건 눈에 안 보이다가 한 번에 크게 터지는 부채 같다는 뜻이었습니다.
그래서 개인화 기능을 새로 기획할 때마다, "이게 실패했을 때 사용자가 느낄 불쾌감의 크기"를 예상 전환율 상승과 나란히 놓고 검토하는 습관을 들였습니다.
개인적인 판단만으로 이 경계선을 정하는 것도 위험하다고 생각해서, 개인정보보호 관련 가이드라인과 해외 빅테크들의 개인화 정책 변화도 계속 챙겨보고 있습니다.
쿠키 기반 추적을 줄이는 흐름이나, 사용자가 직접 개인화 수준을 조절할 수 있게 하는 설정 화면들이 점점 표준이 되어가는 걸 보면서, 저희도 "개인화를 끄거나 약하게 조절할 수 있는 옵션"을 설정 화면에 추가했어요.
이 옵션을 실제로 쓰는 사용자는 전체의 5%도 안 되지만, 이 옵션이 있다는 사실 자체가 신뢰에 기여한다고 판단했습니다.
개인화를 "얼마나 정교하게 할 것인가"만 고민하다가, "사용자에게 얼마나 통제권을 돌려줄 것인가"도 같은 무게로 고민해야 한다는 걸 이 과정에서 깨달았어요.
개인화 기능을 기획할 때마다 저는 스스로에게 같은 질문을 던집니다.
이 데이터를 쓰는 게 사용자에게 설명했을 때 "아 그렇구나" 하고 납득이 되는 수준인가, 아니면 설명을 듣고도 "그래도 좀 그렇다"는 반응이 나올 수준인가.
후자라면 아무리 성능이 좋아져도 저는 보류하는 쪽을 택합니다.
개인화는 결국 사용자가 눈치채지 못할 정도로 자연스러워야 좋은 개인화라는 말을 어디선가 들은 적이 있는데, 저는 이 말에 절반만 동의합니다.
자연스러운 것도 중요하지만, 물어보면 언제든 설명할 수 있는 자연스러움이어야 한다고 생각해요.
이 주제는 정답이 정해져 있는 문제가 아니라서, 쓰면서도 계속 제 생각이 바뀌었습니다.
1년 전의 저는 "데이터가 많을수록 좋다"는 쪽에 가까웠는데, 지금은 "필요한 만큼만, 설명 가능한 만큼만"이라는 쪽으로 많이 옮겨왔어요.
앞으로 개인화 관련 규제가 더 강화될 걸로 보이는 만큼, 이 균형점에 대한 고민은 계속 업데이트해서 다시 정리해볼 생각입니다.
'AI > AI Product' 카테고리의 다른 글
| 챗봇 프로젝트 실패 사례 분석 (0) | 2022.04.20 |
|---|---|
| 챗봇 UX 라이팅 - 톤앤매너 정하기 (0) | 2021.03.27 |
| AI 프로덕트의 신뢰(Trust) 설계 (0) | 2021.03.14 |
| AI 챗봇 페르소나 설계 노트 (0) | 2020.08.30 |
| 챗봇 시나리오 테스트, 엣지케이스 잡는 법 (0) | 2020.05.24 |