데이터 분석을 처음 시작하는 기획자를 위한 3가지 습관

 

기획자라면 한 번쯤 데이터 분석을 해 보라는 말을 듣게 되지요.
저도 처음에는 분석 도구를 열어 놓고 무엇부터 봐야 할지 몰라 한참 화면만 바라본 적이 있어요.
도구 사용법보다 먼저 몸에 붙이면 좋은 습관이 있다는 걸 시행착오 끝에 알게 됐습니다.
오늘은 그중 세 가지를 정리해 봅니다.

 

분석 도구를 열면 그래프가 너무 많아서 이것저것 눌러 보게 돼요.
그러다 보면 한 시간이 지나도 무엇을 알아냈는지 말하기가 어렵습니다.
그래서 저는 도구를 열기 전에 노트에 질문을 한 줄 적어요.
질문은 구체적일수록 좋습니다.
매출이 왜 떨어졌지는 너무 넓고, 신규 가입자 가운데 첫 구매까지 가는 비율이 지난달보다 떨어졌나로 좁히면 볼 데이터가 정해져요.
가정해서 모바일 앱의 가입 완료율이 떨어진 것 같다는 느낌이 있다고 해 볼게요.
질문을 적어 보면 가입 시작 대비 완료 비율이 정말 떨어졌는지, 떨어졌다면 언제부터인지, 어느 단계에서인지 세 가지로 쪼개집니다.
이렇게 쪼개 두면 분석이 탐험이 아니라 확인 작업이 됩니다.
그리고 질문에 답이 나오면 거기서 멈추는 것도 중요해요.
더 보고 싶은 마음이 들면 새 질문으로 적고 다음 차례에 봅니다.
질문에는 결과를 어떻게 쓸지도 같이 적어요.
이 숫자가 낮으면 가입 화면을 점검하고, 비슷하면 그대로 두겠다는 식으로 행동을 미리 정해 두는 겁니다.
그러면 숫자를 본 뒤에 의미를 억지로 해석하는 일이 줄어들어요.
답이 어느 쪽으로 나와도 다음 행동이 정해져 있는 질문이 좋은 질문이라고 생각합니다.

 

데이터 대화에서 가장 흔한 사고는 같은 이름을 다르게 이해하는 일이에요.
활성 사용자라는 말만 해도 로그인한 사람인지, 특정 기능을 쓴 사람인지, 하루인지 한 달인지에 따라 숫자가 크게 달라집니다.
저는 쓰는 지표마다 정의를 한 줄씩 적어 둡니다.
무엇을 분자로, 무엇을 분모로 보는지, 기간은 얼마인지, 어떤 사용자를 제외하는지를 적어요.
앞의 가입 완료율 예시라면 가입 화면에 진입한 사용자 중 가입을 마친 사용자의 비율이고, 하루 단위로 집계하며, 테스트 계정은 제외한다고 적을 수 있겠지요.
이 정의를 팀과 한 번 맞춰 두면 같은 숫자를 두고 다른 이야기를 하는 일이 확 줄어요.
정의가 바뀌었을 때는 바뀐 날짜도 기록합니다.
예전 숫자와 비교할 때 이 기록이 큰 도움이 돼요.
지표는 한두 개의 숫자로 끝내지 않는 것이 좋습니다.
가입 완료율만 보면 가입을 쉽게 만들기 위해 확인 절차를 빼고 싶은 마음이 들 수 있어요.
그러면 완료율은 오르지만 잘못된 정보로 가입한 사용자가 늘어날 수 있지요.
그래서 짝이 되는 지표를 함께 둡니다.
완료율 옆에 가입 후 7일 안에 다시 방문한 비율을 두는 식으로, 한쪽을 올리다 다른 쪽이 무너지지 않는지 같이 보는 거예요.

 

숫자는 무슨 일이 일어났는지는 알려 주지만 왜 일어났는지는 잘 말해 주지 않습니다.
가입 완료율이 떨어졌다는 사실을 확인했다면, 같은 시기에 무슨 일이 있었는지를 찾아봐야 해요.
화면 개편이 있었는지, 유입 채널이 바뀌었는지, 큰 이벤트나 휴일이 끼었는지, 측정 방식이 달라졌는지 같은 것들입니다.
가령 마케팅 행사로 새 유입이 많이 늘어난 주라면, 완료율이 낮아진 건 화면 문제가 아니라 가입 의도가 약한 사용자가 섞여 들어온 결과일 수 있어요.
이럴 때 유입 경로별로 나눠 보면 이야기가 달라집니다.
평균 숫자 하나로 결론을 내리지 않고 한 번은 쪼개서 보는 습관이 필요해요.
그리고 숫자에서 이상한 점을 발견하면 먼저 데이터가 잘못 쌓인 건 아닌지 의심해 보는 것도 좋습니다.
측정 코드가 빠졌거나 중복돼서 생기는 오류가 의외로 흔하거든요.
숫자를 해석할 때는 단위와 기간도 같이 봅니다.
하루 숫자는 요일에 따라 출렁이기 때문에 주 단위로 묶어서 보는 편이 안전해요.
주말에는 가입 의도가 다른 사용자가 들어오는 서비스도 있어서, 월요일과 토요일을 그대로 비교하면 엉뚱한 결론이 나올 수 있습니다.
그래서 비교할 때는 같은 요일, 같은 기간끼리 맞추는 습관을 들이고 있어요.
개발자나 운영 담당자에게 그 시기에 무슨 일이 있었는지 가볍게 물어보는 것도 좋은 방법입니다.
숫자 앞에서 혼자 고민하는 것보다 대화 한 번이 훨씬 빠르더라고요.

 

이 습관들이 머리로는 알아도 막상 바쁘면 건너뛰게 되더라고요.
그래서 저는 분석 메모에 틀을 만들어 두었습니다.
맨 위에 질문, 그 아래에 지표 정의, 그 아래에 확인한 맥락과 결과 순으로 쓰는 간단한 틀이에요.
이 틀을 채우다 보면 자연스럽게 세 가지 습관을 거치게 됩니다.
결과가 마음에 안 들어도 틀을 채운 기록은 남으니, 나중에 같은 질문을 다시 받았을 때 처음부터 하지 않아도 돼요.
한 번에 잘하려고 하지 말고 가벼운 분석부터 이 틀로 해 보시길 권합니다.

 

데이터 분석은 통계를 잘 아는 사람만의 일이 아니라 질문을 정확히 던지는 일에서 시작한다고 느꼈어요.
다만 아직 풀지 못한 고민이 있습니다.
표본이 작을 때 어디까지 믿어도 되는지, 숫자가 애매할 때 팀을 어떻게 설득할지입니다.
이 부분은 앞으로 실험이나 통계의 기초를 공부하면서 따로 정리해 보려고 해요.
여러분은 분석을 시작할 때 가장 먼저 무엇을 하시나요.