UIpac

A/B 테스트 설계 시 흔한 실수

A/B 테스트를 처음 돌려봤을 때는, 그냥 두 버전을 나눠서 보여주고 숫자가 높은 쪽을 고르면 되는 거라고 생각했습니다.실제로 몇 번 돌려보니 그렇게 간단한 일이 아니었어요.저희 팀이 겪었던 실수들을 정리해봅니다.비슷한 실수를 반복하고 있는 분들이라면 도움이 되지 않을까 싶어요. 저희가 처음 돌린 A/B 테스트는 표본 크기 계산 없이 그냥 "일주일 돌리고 보자"는 식으로 시작했습니다.일주일 뒤 숫자를 보니 B안이 A안보다 전환율이 0.3%포인트 높았고, 팀은 신나서 B안을 채택했어요.그런데 알고 보니 그 구간 트래픽으로는 0.3%포인트 차이를 통계적으로 신뢰할 수 있는 최소 표본에 한참 못 미쳤습니다.결국 B안을 전체 적용하고 한 달을 지켜봤는데, 처음 기대했던 개선 효과가 전혀 나타나지 않았어요.그 이..

AI 기반 개인화, 어디까지 해야 하나

개인화 추천 기능을 담당하면서 가장 많이 받는 질문이 "이거 좀 무섭지 않아요?"라는 반응입니다.사용자가 검색한 적도 없는데 딱 필요한 걸 추천해주면 신기하다는 반응이 나오다가, 그게 조금만 더 나가면 "내 걸 다 알고 있는 것 같아서 불편하다"는 반응으로 바뀝니다.저희 서비스에서도 이 경계선을 두 번쯤 넘었다가 다시 되돌아온 경험이 있어서, 이 주제에 대해 좀 길게 정리해보고 싶었습니다. 개인화가 잘 작동하면 효과는 확실합니다.저희가 홈 화면에 개인화 추천 위젯을 처음 도입했을 때, 클릭률이 기존 인기순 노출 대비 40% 가까이 올랐어요.사용자가 원하는 걸 더 빨리 찾게 해준다는 점에서 개인화는 분명 사용자에게도 이득입니다.그런데 이 효용에는 대가가 따릅니다.개인화를 잘하려면 더 많은 데이터가 필요하고..

서비스 기획자가 알아야 할 최소한의 SQL

기획자가 SQL을 알아야 하냐는 질문을 종종 받는데, 저는 "몰라도 일은 되지만, 알면 일이 훨씬 빨라진다"고 답합니다.저도 입사 초반엔 궁금한 숫자가 있으면 매번 데이터 분석팀에 요청을 넣고 며칠씩 기다렸어요.급하지도 않은 질문 같아서 요청하기 눈치 보였던 적도 많았습니다.SQL을 배우고 나서부터는 이런 자잘한 질문의 90% 이상을 제가 직접 확인할 수 있게 됐고, 이게 업무 속도에 생각보다 큰 차이를 만들었습니다. 기획자가 SQL을 직접 배워야 하는 가장 큰 이유는, 궁금한 걸 궁금한 시점에 바로 확인할 수 있다는 것입니다.회의 중에 "이 기능 쓰는 사용자가 몇 명이나 될까요?"라는 질문이 나왔을 때, "확인해서 다시 알려드릴게요"와 "잠시만요, 지금 바로 조회해볼게요"는 회의의 흐름을 완전히 다르게..

4월 4주 읽을거리

개인적으로 읽은만한 글을 주 단위로 KEEP하기 위한 페이지 입니다. 함께 공유하면 좋을 것 같아 전체 공개로 업데이트를 합니다. PT 한번으로 반전의 주인이 되는 법 우리는 성장을 위해 올바른 노력을 하고 있는가 AB180 을 사용하는 원티드랩 인터뷰 (데이터 분석) 클라우드 ERP 이전, 성공 원칙 13가지 소프트웨어가 지배하는 자동차의 7가지 미래 조직 문화에서의 CIO의 역할 CIO가 고객 관점에 집중할 수 있도록 하라 How-to-Big Data 핵심정리 (Key Takeaways) UX 측면에서 잘 만들어진 B2C사례 네이버가 가진 최강의 검, 웨일 실전 UI/UX - Vingle은 왜 무너졌을까? AI 기업들이 수익 창출에 실패하는 이유 기업용 IT 인프라 혁신에 판을 깔다 (오픈소스) 매킨..

2021년 상반기 가트너 트렌드 요약과 내 생각

가트너에서 상반기에 발표한 전략 기술 관련 자료들을 훑어보면서, 작년 하반기 리포트와 비교해서 뭐가 달라졌는지, 그리고 저희 팀 입장에서 뭘 가져갈 수 있는지 정리해봤습니다.매번 느끼는 거지만, 이런 리포트는 읽는 순간엔 다 맞는 말 같은데 막상 우리 서비스에 대입하면 애매한 부분이 많아요.그래서 이번엔 항목별로 "이게 우리한테 지금 의미가 있는가"를 스스로 채점해보는 식으로 정리했습니다. 상반기 리포트에서 눈에 띈 건, 사용자 인터페이스가 화면 밖으로 계속 확장되고 있다는 이야기였습니다.음성 인터페이스, 웨어러블, 심지어 촉각 피드백까지 언급이 됐는데, 저희 서비스처럼 모바일 앱이 메인인 곳에서는 당장 적용할 접점이 많지는 않았어요.다만 음성 검색 관련해서는 저희도 고객센터 문의 중 일부를 음성으로 처..

기획자의 산출물, 어디까지가 적정선인가

기획자의 산출물 분량에 대한 고민은 경력이 쌓여도 계속 반복됩니다.어느 팀에서는 "왜 이렇게 문서가 많냐"는 얘기를 듣고, 어느 팀에서는 "이 정도 정보로 어떻게 개발을 시작하냐"는 얘기를 듣습니다.저도 같은 스타일로 일했는데 팀에 따라 정반대의 피드백을 받은 경험이 있어서, 이 적정선이라는 게 정말 존재하는지 한번 정리해보고 싶었습니다. 기획자로서 불안할 때 저는 문서를 더 많이, 더 자세히 쓰는 쪽으로 대응하는 습관이 있었습니다.한번은 신규 기능 하나에 화면 정의서, 플로우차트, 예외 케이스 표, 용어 정의집까지 총 40페이지짜리 문서를 만들었는데, 리뷰 회의에서 개발 리드가 "이 중에 실제로 필요한 정보는 5페이지 정도인 것 같다"고 솔직하게 말해줬습니다.당황스러웠지만 맞는 말이었어요.문서가 너무 ..

4월 3주 읽을거리

개인적으로 읽은만한 글을 주 단위로 KEEP하기 위한 페이지 입니다. 함께 공유하면 좋을 것 같아 전체 공개로 업데이트를 합니다. 1억 글로벌 서비스를 만들며 배운 것들 1 디자이너의 역할 변화 | 8년 동안 한국에서 일하다 처음으로 해외로 나가 몸 담게 된 첫 번째 회사, Grab. 입사 후 1.8억 명의 사용자가 매일 보는 앱의 홈스크린을 담당하여 2년 동안 일했고, 이후 brunch.co.kr 1억 글로벌 서비스를 만들며 배운 것들 2 디자이너로서의 커리어와 성장 | 커리어와 성장 1억 글로벌 서비스를 만들며 배운 것들 1 ​글과 이어집니다. 피드백은 선택이 아닌 필수 한국의 대기업에서 오래 일했던 만큼 많은 퍼포먼스 리 brunch.co.kr 구글 콘텐츠 편집장이 정리한 '구글 클라우드 치트 시트..

PM 이직 준비하며 정리한 포트폴리오 구성법

올해 초에 이직을 준비하면서 포트폴리오를 처음부터 다시 만들었습니다.4년 넘게 여러 프로젝트를 거쳤는데, 이걸 어떻게 한 문서에 담아야 할지 막막했어요.처음 만든 초안은 지금 보면 부끄러울 정도로 프로젝트 나열식이었는데, 몇 번의 피드백을 거치면서 나름의 구성법을 찾게 됐습니다.그 과정을 정리해봅니다. 기존에 갖고 있던 포트폴리오는 이력서에 있는 프로젝트 목록을 그대로 부풀린 버전이었습니다."이런 프로젝트를 했다"는 사실만 나열되어 있고, 제가 그 안에서 구체적으로 어떤 판단을 했는지는 거의 드러나지 않았어요.지원했던 회사 한 곳에서 서류는 통과했는데 면접에서 "이 프로젝트에서 본인의 기여가 정확히 뭐였나요"라는 질문에 제대로 답을 못 했던 게 계기가 됐습니다.그날 이후로 포트폴리오를 프로젝트 나열이 아..

러시아의 스마트팜 프로젝트 진행 현황

세계은행(The World Bank)은 스마트팜을 ‘기후 스마트 농업(climate-smart agriculture(CSA))’의 개념으로 정의하며 농업, 축산, 산림, 어업의 지속가능 생산성 및 회복력 강화, 배출가스 감소의 증가를 목표로 삼고 있다. 한편, Wikipedia에서 스마트 농업은 GPS, 지리정보시스템, 변동기술(VRT), 지구원격감지(Earth's Remote Sensing, ERS), IoT(사물인터넷) 등의 선진 솔루션을 기반으로 한 정교한 농업 관리 통합시스템을 의미한다고 정의하고 있다. 러시아 지역별 스마트팜 추진 현황 스마트 파밍 러시아 Kuban Trubilin 주립농업대학이 2018년 러시아 40개 지역을 대상으로 실시한 연구에 따르면, 다양한 규모의 농업기업이 1591개 ..

서비스 고도화 로드맵 짜는 법

서비스가 어느 정도 자리를 잡으면, 그다음부터는 신규 기능을 만드는 것보다 기존 기능을 다듬는 고도화 작업이 훨씬 큰 비중을 차지하게 됩니다.문제는 이 고도화 작업이 신규 기획보다 로드맵으로 짜기가 더 까다롭다는 거였어요.저희 팀이 고도화 로드맵을 짜면서 겪었던 시행착오와, 지금 쓰고 있는 방식을 정리해봅니다. 저희가 초반에 했던 실수는, 백로그에 쌓인 개선 아이디어를 순서대로 처리하는 걸 로드맵이라고 부른 것이었습니다.백로그는 "해야 할 수도 있는 일"의 목록이고, 로드맵은 "이 순서로, 이 이유로 하겠다"는 의사결정이 담긴 문서인데, 저희는 이 둘을 구분하지 않고 있었어요.그러다 보니 로드맵이 계속 바뀌었고, 팀원들도 "이번 분기에 뭘 하는 거예요?"를 자꾸 다시 물어봤습니다.로드맵을 백로그와 분리하..

4월 2주 읽을거리

개인적으로 읽은만한 글을 주 단위로 KEEP하기 위한 페이지 입니다. 함께 공유하면 좋을 것 같아 전체 공개로 업데이트를 합니다. CIO의 결정적 '한끗'··· 커리어 2막 여는 비즈니스 역량 7가지 오늘날 CIO는 기술 그 이상의 것을 갖춰야 한다. 장기적으로 봤을 때 성공적인 커리어를 구축하려면 일련의 핵심 비즈니스 역량을 강화하는 것이 중요하다.CIO가 오로지 기술적 전문성만으로 성 www.ciokorea.com 꾸준한 글쓰기를 위한 5단계 (feat. 문어발식 글쓰기) 꾸준히 써지는 글의 조건 글쓰기에 가장 찰떡 같이 달라붙는 연관어는 바로 '꾸준함'이다. 글쓰기를 시작하지 못하는 분들 중에 '나는 꾸준하지 못해서…'라고 말하시는 분들이 많다. 나도 다르 ppss.kr ‘도구에서 전략까지’ 데이터..

AI 모델 성능과 사용자 경험, 균형 잡기

얼마 전에 팀 내부 회의에서 좀 민망한 상황이 있었습니다.추천 모델 정확도를 12%나 개선했다고 보고했는데, 정작 사용자 만족도 조사 결과는 거의 그대로였거든요.데이터 사이언티스트는 "지표상으로는 확실히 좋아졌는데 왜 반응이 없냐"고 물었고, 저도 딱히 명쾌한 답을 못 했습니다.그날 이후로 몇 주간 이 문제를 계속 붙잡고 있었는데, 결국 "모델 성능"과 "사용자 경험"이 같은 방향을 보고 있지 않을 수도 있다는 결론에 도달하게 되었어요. 저희가 개선한 건 추천 알고리즘의 클릭률 예측 정확도였습니다.숫자로는 분명히 좋아졌어요.그런데 사용자 입장에서는 "이전보다 더 마음에 드는 추천이 나온다"고 느끼려면, 정확도뿐 아니라 다양성, 신선함, 그리고 무엇보다 응답 속도까지 같이 좋아져야 했습니다.저희 모델은 정..