(23년 3주 차) 가설 검증

DB 업데이트

커뮤니티에 DB 바로 반영해 주는 거 너무 좋네요 글이 올라왔다.

본문

왓챠에서 넘어오면서, DB에 없어서 못 옮긴 게 몇십 개 됐는데요, 모아서 한 번에 제보했더니 다음날 저녁부터 바로 반영해 주네요. 초큼 감동했습니다 ㅎㅎ 지금은 OTT에서 서비스 안 되는 옛날 것들이지만 아카이빙을 위해 필요한 것들이라 ㅠ ㅠ

댓글 모음

• 주말에도 해주시더라고요... 혹시 AI...?
• 그러게요 어제도 퇴근시간 이후에 막 올라오던데 ㅎㄷㄷ
• ㅁㅈ 저거 받으면 기분이 뭔가 좋음. 뿌듯함 ㅋㅋ
• 사용자를 챙겨준다는 느낌이 들어 좋습니다 ㅎㅎㅎ
• 진짜 키노는 문의 대응 속도가 ㄷㄷ
• 와 속도가 어마어마하게 빠르네요!

키노라이츠 DB는 Biny가 관리하고 있다. Biny는 키노라이츠 초기 멤버인데 어릴 적부터 영화를 너무 좋아해서 관련 학과에 진학하고 싶었고 입시 준비할 때 특별전형이 있어서 네이버 지식iN 영화 부문 초인 레벨을 달성해 그 이력을 바탕으로 합격했다는 일화가 있다. 지식 iN 초인이 되려면 질문이 올라오는 것과 거의 동시에 답변을 달아야 했다고 한다.

키노라이츠 합류 일화도 재밌는데 군 복무 시절 이제 막 출시한 키노라이츠 서비스를 이용해 보고 그렇게 운영하면 안 된다고 장문의 메일을 보내왔다고 한다. 그리고 대뜸 만나보자며 연락을 해왔는데 창업자들은 이상한 사람인 것 같다고 만나기를 꺼려했다는 썰이... Biny는 군대 휴가 중 창업자들을 만났고 제대 후 바로 합류하게 되었다. 첫 만남에서는 영화브로셔를 한가득 가지고 와서 테이블에 쌓아두고 이야기를 나눴는데 덕후의 느낌이 물씬 풍겼다고 한다.

Biny를 닉네임만 보고 여자로 착각하기도 하지만 건강한(?) 남자이다. 이름 끝에 빈이 들어가서 Biny로 결정했다고 한다. 지금도 극장 개봉작, 영화제, OTT 신작은 모두 섭렵하며 키노라이츠 멤버 중 가장 많은 콘텐츠를 시청하고 새벽에는 항상 깨어있다. 그래서 새벽 문의도 즉각적으로 응대하고 있어서 인간지능 AI라는 수식이 붙었다. Biny한테 취향을 이야기하고 작품을 추천해 달라고 하면 나름의 알고리즘을 통해 맞춤 추천을 해주기도 한다.

신규 아이디어 실험

작년부터 논의되었던 아이디어 중 고객 시청 기록을 바탕으로 '개인에게 딱 맞는 OTT 구독을 추천'해주면 유용할 것 같다는 아이디어가 있었다. OTT는 파편화되어 있고 모두 다 구독하기에는 비용도 부담된다. 요즘 세대의 고객들은 합리적인 소비를 추구한다.

이 아이디어는 항상 우선순위에 올라왔지만 실제 수요자 예측이 잘 안 되고 개발 공수도 적지 않아 제품 로드맵에는 올려놓지 못하고 있었는데 마케터 Maeve와 PM Jane이 별도의 개발 없이 수요를 검증해 보겠다고 의견을 발의했고 shopie까지 초대해서 셋이서 뚝딱뚝딱 진행을 하게 되었다.

해당 아이디어는 커뮤니티 이벤트로 올렸는데 반응이 매우 좋았다. 단기간 진행한 이벤트임에도 댓글 참여자가 480명이 넘었다. 댓글 추이를 보면 고객들은 평균 3~4개의 OTT를 구독중이다.

(키노 이벤트) 다음 달 어떤 OTT를 구독하면 좋을까?

1/28일. 당첨된 50명에게 결과 리포트가 발송되는데 고객 반응에 따라 정식 기능으로의 론칭 여부를 결정할 수 있을 것 같다. 이번 케이스는 가설을 유저 대상으로 검증해 보는 좋은 케이스였다. 키노라이츠에는 이렇게 다양한 시도를 해볼 수 있는 기회들이 열려있다.

론칭 일정 연기

설 연휴 직전 오픈을 목표로 진행 중이었던 프로젝트가 있었다. 개발 환경에서는 QA가 모두 마무리되었지만 코드 리뷰가 마무리되지 않아 설 연휴 이후로 론칭 일정을 연기했다. 일정 맞추려고 고생한 멤버들에게는 미안하지만 그렇다고 설 연휴 기간에 혹시 모를 리스크를 남겨놓을 수는 없었다.

우리는 개발 완성도에 대한 기준이 높고 탄탄한 코드 리뷰는 개발 팀이 가장 중요하게 생각하는 문화 중 하나이다.

포스트모템

최근에 푸시 알림 시스템을 전면 개편했고, 개편된 시스템으로 푸시 알림을 보내던 중 오류가 발생했다. 대량의 푸시 알림 발송 도중 예상치 못한 이슈로 끊어지게 되는 경우에 멈춘 시점부터 다시 알림을 보낼 수 있도록 프로세스를 잡아뒀는데 재발신하는 과정에서 기존에 발송되었던 회원 일부에게 중복 알림이 발신됐다. 해당 건은 긴급하게 대응해서 문제는 빠르게 해결했지만 개선이 필요했다.

개발팀에서는 다음 날 해당 이슈의 원인을 파악하고 대안을 논의하는 포스트모템 미팅을 가졌고 대응책을 마련했다. 개발팀에서는 중요 장애가 발생할 때마다 포스트모템 미팅을 주기적으로 가져가고 있다. 해당 기능을 개발한 담당자가 포스트모템 미팅을 주선하며 관련 내용을 상세하게 정리해서 참석한다.

제품을 만들고 운영하다 보면 소소한 문제는 필연적으로 발생할 수밖에 없다. 여기서 중요한 건 문제가 발생했다는 점이 아니라 문제를 어떻게 마주하고 대응하느냐이다. 대응 방법에 따라 제품의 퀄리티는 크게 차이 날 수밖에 없다. 임시방편으로 해결하다 보면 레거시만 가득 쌓이고 같은 문제가 계속해서 재발하게 된다.

푸시 알림 Admin 리뷰

푸시 알림 시스템은 유저의 행동에 따라 자동으로 발송되는 '자동 푸시 알림'과, 공지, 프로모션 등의 목적으로 발송하는 '수동 푸시 알림'으로 구분된다. 이번에 푸시 시스템을 전면 개편하는 과정에서 Admin 시스템도 새롭게 개편되었고 이 과정은 모두 개발자 주도로 진행되었다.

론칭 이후 실제 푸시를 발송하는 마케팅팀, PMD팀 멤버들 대상으로 리뷰 시간을 가지게 되었고 실수를 방지하고 오해를 줄이는 사용성에 대해 여러 논의가 있었다.

이 과정에서 인상 깊은 의사결정 중 하나는 비회원 대상으로 푸시를 보낼지 말지에 대한 논의였다. 키노라이츠의 경우 서비스 특성상 비회원 충성고객의 비율도 많은 편이라 마케팅 관점에서는 회원대상으로만 푸시 알림을 보낼 경우 더 많은 유저에게 알릴 수 없다는 아쉬움이 있었다.

그렇다고 비회원에게 알림을 보내자니 비회원은 푸시 알림을 제어할 수 있는 방법이 없는데 제어 불가능한 알림을 보내는 건 고객 경험에도 안 좋고 앱 삭제로도 이어질 수 있다는 의견이 있었다.

여러 의견이 오가던 와중에 cain이 지적한 포인트 중 하나는 푸시 알림 메시지는 app으로만 보낼 수 있고 web이 아닌 app을 사용하는 유저는 대부분 회원 유저들일거라 비회원 유저를 포함하더라도 모수가 크지 않을거라는 의견을 주었다. 관련 데이터를 바로 검토해 봤고 실제로 app 유저는 80% 이상이 회원 유저로 판별되어 비회원 대상으로는 푸시 알림을 보내지 않기로 결정할 수 있었다.

키노라이츠 주요 Release

• [필모그래피 v2 전환] 이제는 감독/배우 필모그래피 페이지에서도 시청기록을 관리할 수 있다.
• [커뮤니티 글 공유 시 UTM 자동 생성] 커뮤니티 유입을 추적하기 위해 글을 공유할 때 UTM을 자동으로 삽입한다.
• [웹 화면 스크롤바 노출] 사용성이 모바일을 기준으로 최적화되어 있다 보니 PC 사용성이 불편한 경우가 종종 있다. PC에서 특정 페이지에 스크롤바가 노출되지 않는다는 고객문의가 있어서 바로 개선했다.

키노라이츠 주요 소식

지난주에 론칭한 데이터 가져오기/내보내기 기능이 SNS와 여러 커뮤니티에 바이럴 되었다.

• OTT 통합 플랫폼 키노라이츠, ‘내 별점, 10초 만에 옮기세요’...평점 가져오기·내보내기 기능 출시
• 왓챠 피디아에서 키노라이츠로 리뷰 옮긴 후기
• (트위터) 그거 아시나요... 키노라이츠에 이번에 기록 데이터 옮기는 기능 추가됐던데...
• (트위터) 왓챠피디아 개인 데이터를 간편하게 백업하실 수 있습니다. 레터박스나 키노라이츠로 별점과 리뷰를 옮기는 것도 가능합니다.
• (디시인사이드) 왓챠 내보내기 하는 거 누가 또 개발했다 키노라이츠로 갈아타든 레터박스로 갈아타든 일단 받아두자
• (DVD프라임) 영화 평점, 리뷰 관리하시는 분들에게는 유용한 정보일듯 싶네요.
• (무코) 영화 별점 사이트 뭐가 좋을까요?
• (에펨코리아) 왓챠피디아에서 키노라이츠로 다 옮겼다

특별한 경험 & 배운 것

#1

개인정보 보호법이 강화되며 마케팅 캠페인을 추적하는 것이 점점 더 어려워지고 있다. 브라우저에서는 쿠키를 삭제하려 하고, GDPR(유럽 개인정보 보호법)의 규제도 강화되고 있다. Google analytics가 GA4로 이동하는 동향에서 알 수 있듯이, 분석 모델도 세션 기반에서 이벤트 기반으로 전환되고 있다.

이제 막 GA4를 정식으로 도입하고 마주한 첫 난관은 기존에 익숙했던 사용성으로 원하는 결과를 조회할 수 없었던 부분이었다. UA 버전에서는 Default Channel Grouping, 소스, 매체 등을 클릭하면 하위뎁스의 데이터를 바로 볼 수 있었는데 GA4에서는 해당 기능을 지원하지 않아서 한참 헤맸다. GA4에서 세부 데이터를 보기 위해서는 필터 기능을 활용해야 한다.

#2

우리는 Elasticsearch를 로그 기록 및 데이터 분석 목적으로 사용하고 있다. 그러던 중 최근에 특정 필드값으로 시각화(visualize)가 안되어 애먹고 있었는데 이유를 알아보니 2022년도에 특정 데이터 Field 속성이 문자열(string)에서 정수(integer)로 변경되어서 해당 Field를 사용할 경우 시각화 단계에서 에러가 발생했다.

Esji에게 도움을 요청했고, 기존의 데이터베이스 테이블에서 2023년도 데이터베이스를 따로 분리 생성해 원하던 시각화를 해낼 수 있었다.

#3

데이터 기반 사고에 대해 인사이트를 주는 글 2개를 읽었다. 데이터 기반의 사고는 물론 중요하지만, 사업의 성공과 혁신을 위해서는 수학적으로 검증되지 않는 의사결정을 해야 되는 순간들이 있다. 데이터분석은 하지 않은 일들에 대해서는 정확히 분석할 수 없다.

Jeff Bezos Letter to Shareholders 2005.pdf

그러나 여러분도 짐작하시듯 모든 중요한 결정이 수학 기반의 방식으로 이렇게 깔끔히 해결되는 것은 아닙니다. 우리를 인도할 만한 과거의 자료가 극히 적거나 전혀 없는 경우, 또 사전 실험이 불가능하거나 비현실적이거나 혹은 결정 자체와 다름이 없는 경우가 종종 있으니까요. 자료, 분석, 수학이 이런 결정에서도 어느 정도 역할을 하긴 하지만 가장 중요한 요소가 되는 것은 판단입니다.

주주 여러분이 알고 계시는 바와 마찬가지로 우리는 우리의 효율과 규모가 허락하는 한 매년 고객들을 위해 상품가격을 지속적으로, 또 현저히 더 낮추는 것을 목표로 의사결정을 해왔습니다. 이것은 숫자 계산을 기반으로는 할 수 없는 대단히 중요한 결정의 한 예입니다. 사실 가격을 낮출 때마다 우리는 수학이 말하는 것과는 반대되는 방향으로 나아갑니다. 수학은 늘 가격을 올리는 것이 현명한 조치라고 말합니다.

(중략)

우리는 프리 슈퍼 세이브 배송 및 아마존 프라임을 중심으로 이와 비슷한 판단을 해왔습니다. 두 가지 모두 단기적으로는 많은 비용이 많이 들지만 장기적으로는 중요하며 가치 있는 조치라고 우리는 믿습니다.

수학 기반의 결정은 광범위한 합의를 이끌어냅니다. 그에 반해 판단 기반의 결정은 반대에 부딪히거나 논란을 일으키곤 하며, 실제로 실행되어 효과가 입증되기 전까지는 그런 반대와 논란을 피하기 힘듭니다. 논란을 견디고 싶지 않은 조직이라면 자신들의 의사결정을 첫 번째 유형의 것으로만 제한하면 됩니다. 다만 그렇게 할 경우엔 논란뿐 아니라 혁신과 장기적 가치창출도 크게 제한될 것이라는 게 우리의 시각입니다.

20년 차 데이터 분석가 한승준 님의 페이스북 글

20년 차 데이터분석가입니다.

제 생각에 데이터 분석가는 과거를 분석하는 직업입니다.
잘한 일을 찾아서 확장하고 못한 일을 찾아서 개선하는 역할을 합니다.

이 일을 하다 보면 스스로 현업보다 똑똑하다는 생각이 들 때가 있습니다.
위험한 착각입니다 과거 데이터를 보면서 재벌집 막내아들 놀이를 하고 있을 뿐입니다.

사업의 본질은 미래에 성공할 일을 찾아서 현재에 실행하는 과정입니다.
데이터분석은 하지 않은 일을 분석할 수는 없습니다. 적어도 제 경험으로는 어려웠습니다.

(중략)

데이터 분석이나 회계 분석의 효용은 성공하는 방법보다는 실패하지 않은 방법을 찾는 데 있는 것 같습니다. 성공하는 이유는 회사마다 다양하지만 실패하는 이유는 대체로 비슷하기 때문입니다.
사업에 성공하려면 자신이 믿는 일을 시작하시고 실패하지 않으려면 전문가의 조언을 구하세요.

#4

PMD 팀에서는 매주 수요일 점심시간을 이용해 아티클 스터디를 한다. 이번주에 선정한 아티클은 아래 2개였다.

스타트업을 위한 '실험'과 '가설' 개념 설명

가설(hypothesis)과 가정(assumption) 구분하기
가정(assumption)을 검증하기 위해 가설(hypothesis)로 변환하기
가정(assumption)을 명시적인 가설(hypothesis)로 만들어 검증하기

왜 브랜딩 프로세스가 통하지 않을까?

마케팅 방법론으로 묶이지 않는 고객 집단
키워드를 유행이 아닌 욕망으로 보기
브랜드 액티비즘에 관하여

#5

프로덕트 디자이너 채용을 꽤 오랜 시간동안 진행 중이다. 수많은 이력서를 검토하다 보니 어느 정도 패턴이 보이는데 우리가 가장 먼저 거르는 이력서는 본인의 생각이 담기지 않은 채 템플릿에 맞춘 시각 중심의 포트폴리오이다.

비주얼라이즈/UI/UX 전문가를 채용 중이라면 시각 자료가 매우 중요할 수 있겠지만, 우리는 지금 프로덕트 디자이너를 채용 중에 있고 시각적인 요소가 적더라도 자신의 디자인을 논리적으로 담아내고 설명할 수 있는 멤버를 찾고 있다. 지원자 중 약 5% 정도가 이러한 구성의 포트폴리오를 제출한다.

프로덕트 디자이너로서의 경험이 부족해도 좋다. 데이터 기반으로 사고한 경험이 없어도 좋다. 하지만 프로덕트 디자이너 포지션으로 지원한다면 적어도 자신의 디자인에 대한 경험과 생각을 글과 디자인으로 담아낼 수 있어야 한다.

#6

올해는 미니멀라이프를 키워드로 잡고 잘 사용하지 않는 물건들을 중고장터에 팔거나 버리고 있다. 덕분에 이번주에는 당근마켓에서 당근페이로 첫 거래를 해보고, 중고나라에서 네이버페이로 첫 거래를 해봤다.

중고거래 과정에서 워낙 사기가 많았다 보니 페이를 사용했을 때의 가장 큰 이점은 안전인 것 같다. 중간에 플랫폼사에서 잠시 돈을 맡아주기 때문에 사기 거래에 대한 불안함을 걷어낼 수 있다. 양쪽 서비스를 다 써보니 사용성은 당근페이가 훨씬 쉽고 간편했다.

물론 당근페이는 대면거래, 네이버페이는 비대면 택배거래라는 차이는 있었지만 네이버페이 중고거래 프로세스는 첫 사용자의 경험으로는 다소 어렵고 불친절하게 느껴졌다.

#7

과거 군 생활 2년 동안 책 100권을 읽었다. 군 입대 전에는 삼국지, 무협지, 판타지 소설만 읽었기에 군에서는 책 읽는 습관을 만들고 싶어서 자대배치 후 100권 읽기 목표를 세웠고 정확히 101권을 읽고 제대했다. 군대 도서관에는 책이 많지 않았기에 손에 잡히는 대로 읽었고 덕분에 책을 편식하지 않고 다양한 분야의 책을 읽었다. 더불어 책 읽는 습관도 만들 수 있었다. 하지만 그때 읽었던 책 중 기억에 남는 내용은 거의 없다.

2017년부터 2021년까지 dayone이라는 app에 일기를 적어왔다. 최근에 이 app에 작성한 일기장을 RoamResearch 로 통합하면서 과거의 일기를 돌아보게 되었는데 한 줄짜리 짧은 글이라도 그때의 감정이 담긴 글이어서 그 시절이 회상되고 좋았다. 그러면서 나의 독서 습관을 다시 돌아보게 되었다.

다독이 중요한 게 아니라 기억에 남는 독서를 하는 게 중요하다. 책을 적게 읽더라도 아티클을 적게 보더라도 내 마음에 울림이 있는 글을 발견하고 간직하기로 다짐했고 책 읽는 습관도 바꿨다. 보고 싶은 책이 있으면 1~2시간 동안 가볍게 1회독, 2회독을 하고 애매한 책은 더 이상 읽지 않는다. 반대로 좋은 책이 있다면 그 책은 정독을 시작하고 내 생각을 곁들여 메모로 남기고 있다.

#8

재용형, 준호형이랑 함께 집필한 <처음부터 다시 배우는 웹 기획> 책의 인세가 들어왔다. 2016년부터 2022년까지 누적 판매부수는 8,279권. 다시 돌아보면 아쉬운 점도 많았지만 좋게 봐주셨던 독자 분들에게는 감사한 마음이다. 언젠가는 단독으로 책을 집필할 기회가 있지 않을까?

최근에 준호형을 만났을 때 새로운 책을 집필 중이라고 하고, 상운이형도 회사 팀 동료들과 새로운 책을 집필 중이라고 한다. 두 분이 준비하는 책들도 순조롭게 잘 출간되었으면 좋겠다.

#9

작년부터 피기팟(PM/기획자들의모임) 소모임을 운영하고 있다. 10여 명의 PM/기획자 분들과 직무별, 도메인별 고민을 나누고 온라인 정기 세션도 꾸준히 진행하고 있다. 도메인으로는 모빌리티, 거래소, 프랜차이즈 창업, 반려동물, 스마트글래스, OTT 분야가 있는데 22년 4분기를 마감하며 운영자 미팅을 가졌고 23년 1분기 운영 정책을 새롭게 정비했다.

결정사항으로는 작년까지는 신규 멤버를 충원하지는 않았는데 올해부터는 지인 초대로 제한하여 신규 멤버를 조금씩 충원해 보기로 결정했다. 이 모임에 관심 있는 분들은 브런치 프로필 '작가에게 제안하기' 버튼을 통해 연락을 주시면 된다. 미리 말씀드리지만 우리 모임은 회비를 걷고 있고 적극적 참여를 요구하기에 눈팅만 하는 멤버들은 참여할 수 없다. 온라인 세션에서 직접 발표도 해야 한다.

#10

나는 저널링을 작년부터 꾸준히 하고 있다. 최근에 12년 동안 내가 미친 듯이 열심히 살고 깨달은 것 영상을 보게 되었는데 핵심 메시지는 다음과 같다.

우리는 피드백을 통해 성장하며 피드백은 비싸다. 저널링은 비용을 지불하지 않고 셀프 피드백을 할 수 있는 가장 좋은 도구이며 개인의 능력을 복리로 성장시킬 수 있다.

이 영상에서는 결국 PDS 다이어리 홍보로 이어지는데 스스로 저널링만 할 수 있다면 도구에 갇힐 필요는 없다. 나는 RoamResearch 툴을 아주 잘 사용하고 있다.