서비스 런칭 후 지표 모니터링 체크리스트

 

기능을 런칭하고 나면 다들 잠깐 긴장이 풀립니다.
저도 그랬어요.
몇 달간 준비한 기능이 배포되고 나면, "이제 좀 쉬어도 되겠다"는 생각이 먼저 들었습니다.
그런데 진짜 중요한 건 런칭 이후 첫 2주였다는 걸, 몇 번의 시행착오를 겪으며 배웠습니다.
지표를 제때 안 보고 넘어갔다가, 문제를 3주 뒤에야 발견하고 그동안의 데이터를 다 날린 경험도 있었어요.
그래서 이제는 런칭 후 모니터링을 위한 체크리스트를 팀 위키에 고정해두고 씁니다.

 

가장 먼저 보는 건 에러율과 응답 속도입니다.
새 기능이 나가면 서버 부하나 예상치 못한 예외 상황이 생기기 마련이에요.
저희는 런칭 당일에는 개발팀과 함께 에러 로그 대시보드를 최소 세 시간 간격으로 확인하는 걸 규칙으로 정해뒀습니다.
한 번은 런칭 6시간 뒤에 특정 기기에서 결제 화면이 하얗게 뜨는 버그가 발견됐는데, 이걸 다음 날 아침에 알았다면 하루치 결제 이탈을 그냥 날렸을 거예요.
당일 저녁에 발견해서 바로 핫픽스를 냈던 게 그나마 피해를 줄인 경우였습니다.

 

기술적으로 안정화되면 그다음엔 실제로 사용자가 기능을 쓰고 있는지를 봅니다.
저희는 신규 기능마다 "핵심 액션"을 미리 정의해두는데, 예를 들어 리마인더 기능이라면 "알림 설정 완료"가 핵심 액션이었어요.
런칭 후 3일간 이 핵심 액션의 전환율을 매일 체크했습니다.
첫날은 홈 화면 배너 노출 대비 클릭률이 4%밖에 안 나와서 다들 걱정했는데, 배너 문구를 "구독 해지 놓치지 마세요"에서 "다음 결제일 3일 전 알려드려요"로 바꾸고 나서 클릭률이 9%까지 올라갔던 적이 있습니다.
이런 미세 조정은 데이터를 매일 보지 않으면 놓치기 쉬운 기회였어요.

 

기능을 처음 써본 사용자가 다음 주에도 다시 쓰는지를 보는 게 이 시기의 핵심입니다.
저희는 신규 기능 사용자 코호트를 따로 만들어서, 1주 뒤 재방문율을 기존 사용자 평균과 비교했습니다.
동시에 이 시기에는 "부작용"도 같이 봐야 해요.
새 기능이 다른 기능의 사용률을 깎아먹는 경우가 있기 때문입니다.
저희가 겪었던 사례로는, 홈 화면에 추천 위젯을 새로 넣었는데 이게 기존 검색 기능 사용률을 오히려 떨어뜨린 적이 있었어요.
전체 체류 시간은 늘었지만, 검색을 통한 구매 전환율이 좋았던 사용자층이 추천 위젯 쪽으로 옮겨가면서 전체 전환율은 오히려 소폭 하락했습니다.
이걸 2주차에 발견해서 위젯 위치를 조정했는데, 만약 전체 매출만 보고 "잘 되고 있네"라고 넘겼다면 이 미묘한 잠식 효과를 한참 뒤에야 알았을 거예요.

 

한 달쯤 지나면 기능이 원래 목표했던 지표에 실제로 영향을 줬는지를 판단할 시점입니다.
이때는 PRD에 적어뒀던 성공 지표를 그대로 다시 꺼내서 비교합니다.
"결제 완료율을 32%에서 38%로 올린다"는 목표를 세웠다면, 한 달 뒤 실제 수치가 어디 있는지를 명확히 보고해요.
목표에 못 미쳤다면 왜 못 미쳤는지 가설을 세우고, 다음 개선 스프린트에 반영합니다.
저희는 이 리뷰를 "포스트 런칭 리뷰"라는 이름으로 문서화해서 팀 전체에 공유하는데, 성공한 기능뿐 아니라 실패한 기능도 똑같이 공유합니다.
실패 사례를 숨기지 않고 공유하는 문화가 자리 잡은 뒤로, 다음 기획할 때 비슷한 실수를 반복하는 빈도가 확실히 줄었어요.

 

체크리스트가 있어도, 누가 언제 확인할지가 정해져 있지 않으면 흐지부지됩니다.
저희는 이제 기능마다 "런칭 후 모니터링 담당자"를 PRD에 아예 적어둡니다.
보통 담당 PM이 맡지만, 휴가나 다른 일정이 있으면 미리 대체자를 정해두는 식이에요.
이렇게 명시적으로 담당을 정해둔 뒤로, "이거 누가 보고 있었던 거예요"라는 질문이 나오는 일이 없어졌습니다.

 

 

저희 팀 위키에는 런칭 시점 기준으로 D+0, D+1~3, D+7, D+14, D+30 이렇게 다섯 개 구간으로 나눠서 각 구간마다 확인할 지표와 담당자, 리뷰 채널(슬랙 채널명까지)을 표로 정리해뒀습니다.
새 기능을 런칭할 때마다 이 표를 복사해서 채우기만 하면 되니, 매번 "이번엔 뭘 봐야 하지"를 새로 고민하지 않아도 됩니다.

런칭은 끝이 아니라 진짜 검증이 시작되는 시점이라는 걸, 이 체크리스트를 만들면서 다시 새기게 됐습니다.

화려하게 런칭 발표를 하고 나서 지표를 놓치는 것보다, 조용히 런칭하고 지표를 꼼꼼히 보는 쪽이 결국 더 좋은 결과로 이어진다는 걸 여러 번 확인했어요.
다음 런칭부터는 이 체크리스트에 자동 알림 기능까지 붙여서, 사람이 깜빡하는 지점을 더 줄여볼 계획입니다.