넷플릭스 게임 사용자의 모험
이 글은 넷플릭스 (Netflix) 에서의 분석 엔지니어링 (Analytics Engineering) 관련 업무의 범위를 공유하기 위한 여러 편의 글 중 두 번째 글이며, 최근에 열렸던 분석 엔지니어링 컨퍼런스에서 발표된 내용이기도 합니다. 더 많은 내용이 궁금하신가요? 첫 번째 ...
넷플릭스 게임 사용자의 모험
이 글은 넷플릭스 (Netflix) 에서의 분석 엔지니어링 (Analytics Engineering) 관련 업무의 범위를 공유하기 위한 여러 편의 글 중 두 번째 글이며, 최근에 열렸던 분석 엔지니어링 컨퍼런스에서 발표된 내용이기도 합니다. 더 많은 내용이 궁금하신가요? 첫 번째 글 도 확인해보세요. 이 글에서 저희는 몇 가지 흥미로운 비지니스 사례에서의 분석 업무에 대해 공유하고, 마지막 부분에서 기술적인 부분에 대해서도 다루려고 합니다.
들어가기에 앞서
원문: Part 2: A Survey of Analytics Engineering Work at Netflix
원문은 넷플릭스의 기술 블로그 에 공유되었으며, 넷플릭스 게임과 관련된 여러 글 중 Netflix Games Player’s Adventure: Modeled using State Machine 에 대한 부분만 발췌하였습니다.
관련 포스트
- 의미있는 지표 (데이터로 제품팀이 집중해야할 것을 뾰족하게 만든 방법)
- 듀오링고가 사용자의 성장에 다시금 불을 지핀 방법 - Part 1
- 듀오링고가 사용자의 성장에 다시금 불을 지핀 방법 - Part 2
- 듀오링고가 사용자의 성장에 다시금 불을 지핀 방법 - Part 3
- 듀오링고 그로스 모델에 대한 오해
넷플릭스 게임 사용자의 모험: 상태 기계를 이용한 모델링을 곁들인
넷플릭스 게임에서 저희는 매달 게임을 이용한 사용자의 수를 높이고자 했고, 이를 월간 활성 계정 수 (Monthly Active Accounts; MAA) 라고 정의했습니다. 이 목표를 잘 달성하고 있는지를 평가하고, MAA 를 높일 수 있는 부분을 찾기 위해 저희는 넷플릭스 게임 사용자의 여정을 상태 기계 (state machine) 로 표현하였습니다.
저희는 매일 사용자의 상태 사이의 전환 확률을 보여주는 상태 기계를 추적하였습니다.
게임 사용자의 여정을 상태 기계로 표현하였더니, 미래의 상태를 시뮬레이션할 수 있었고, 목표 했던 참여 지표를 얼마나 달성했는지도 파악할 수 있었습니다. 가장 기본적인 운영에는 일별 상태 전환 행렬을 현재 상태 값과 곱해서 다음날의 상태 값을 구하는 것이 있습니다.
이 기본적인 운영을 이용하면 다양한 시나리오를 탐색해볼 수 있습니다.
- 변하지 않는 경우: 만약 전환 확률이 동일하기 유지된다고 하면, 일별 상태 전환 확률을 새로운 상태 값에 반복적으로 곱해서 미래의 상태 값을 예측할 수 있으며, 이를 통해 아무런 변화가 없는 상태에서의 연간 목표 수치 달성 정도를 평가할 수 있습니다.
- 동적인 시나리오: 전환 확률을 변경함으로써 복잡한 시나리오에 대한 시뮬레이션을 할 수 있습니다. 예를 들어, 과거 전환 확률에서의 변화를 이용하여 미래 특정 기간 동안의 전환 확률을 변경함으로써 향후의 비슷한 출시 과정에서의 효과를 예측할 수 있습니다.
- 정상 상태 (Steady State): 상태 전환 행렬의 정상 상태를 계산해서 (신규 사용자를 제외하고) 모든 사용자가 넷플릭스 게임에 대한 경험을 했을 때의 MAA 를 추정할 수 있고, 장기적인 리텐션과 재활성 효과를 이해할 수 있습니다.
미래 상태를 예측하는 것을 넘어서, 저희는 상태 기계를 이용하여 어떤 전환 확률이 MMA 에 끼치는 영향이 가장 큰지 민감도 분석 (sensitivity analysis) 를 수행하였습니다. 각 전환 확률를 조금씩 변화시키면서 저희는 MAA 의 변화를 계산하였고, 그 영향을 측정하였습니다. 이 덕분에 저희는 퍼널 윗부분의 개선, 사용자 리텐션, 그리고 재활성 중 어디에 집중해야할지 우선순위를 정할 수 있었습니다.
2025
듀오링고가 사용자의 성장에 다시금 불을 지핀 방법 - Part 3
듀오링고의 350% 성장의 뒷 이야기, 리더보드, 연속 학습, 알림, 그리고 혁신적인 그로스 모델 들어가기에 앞서
듀오링고가 사용자의 성장에 다시금 불을 지핀 방법 - Part 2
듀오링고의 350% 성장의 뒷 이야기, 리더보드, 연속 학습, 알림, 그리고 혁신적인 그로스 모델 들어가기에 앞서
듀오링고가 사용자의 성장에 다시금 불을 지핀 방법 - Part 1
듀오링고의 350% 성장의 뒷 이야기, 리더보드, 연속 학습, 알림, 그리고 혁신적인 그로스 모델
의미있는 지표 (데이터로 제품팀이 집중해야할 것을 뾰족하게 만든 방법)
원문: Meaningful metrics: How data sharpened the focus of product teams
2023
Booking.com 에서의 축차 검정 (Sequential Testing)
원문: Sequential Testing at Booking.com
영어랑 친해지는 방법
가장 좋은 방법은 당연히 영어 밖에 사용하지 못하는 환경에 강제로 처해지는 것이겠지만 그것이 어려우니…
신입 데이터 분석가를 꿈꾸는 분들에게
고민의 흔적을 보여주세요
데이터 트래킹 기깔나게 잘 하는 방법
을 찾습니다.
2022
차트와 접근성
원문: Charts & Accessibility
2020
모수, 큰 수의 법칙, 그리고 중심극한정리
모수, 큰 수의 법칙, 그리고 중심극한정리에 대하여
내가 COVID-19 데이터를 시각화하지 않는 이유
그리고 여러분들도 (아마도) 하지 않아야 하는 이유
사내 스터디에 대한 회고
회사 서비스의 추천 시스템을 개선하기 위해 팀 내에서 (아직까진 두 명이긴 하지만) 지난 두 달 동안 스터디를 진행했습니다. 얼마 전 두 번째 스터디가 끝났고 이에 대한 회고를 해보려고 합니다.
데이터의 어두운 면 - 개인정보 (Dark Side of Data:Privacy)
원문: Dark Side of Data: Privacy by Emre Rencberoglu
초보자를 위한 RStudio 의 프로젝트 와 작업 디렉토리
원문: RStudio Projects and Working Directories: A Beginner’s Guide by Martin Chan
Tidy Tuesday 이벤트에 대한 소개
원문: TidyTuesday GitHub Repository
프로그래밍 언어들의 이름을 지은 방법
원문: How programming languages got their names
2019
회의를 덜 끔찍하게 만드는 방법
원문: How to Make Meetings Less Terrible 팟캐스트: How to Make Meetings Less Terrible (Ep. 389)
R 에서 networkD3 를 이용해서 샌키 다이어그램(Sankey Diagram) 그리기
생키 다이어그램 (Sankey Diagram) 은 흐름(Flow) 다이어그램의 한 종류로써 그 화살표의 너비로 흐름의 양을 비율적으로 보여준다.
2016년 모든 데이터 사이언티스트가 알아야할 10+2 가지 데이터 사이언스 방법론
2년 전 일본어로 책을 내긴 했지만 대부분의 독자들이 이 책을 읽을 수는 없을 것 같았다.
29가지 통계 개념 - 자기회귀 모형의 정의와 자기회귀 과정(AR Process)
자기회귀 모형이란 무엇인가?
29가지 통계 개념 - 회귀분석의 가정과 조건들
회귀분석을 실행하기 위해 필요한 가정과 조건들에 대해 알아보자.
번역] 29가지 통계 개념 - 정규성 가정
통계적 검정과 회귀분석에서 자주 사용되는 정규성 가정과 정규성 검정에 대해 알아보자.
29가지 통계 개념 - 독립성 가정
여러 통계 검정과 모형에서 사용되는 독립성 가정에 대해 알아보자.
29가지 통계 개념 - ARMA 모형
시계열 모형 중 ARMA 모형에대해 알아보자.
29가지 통계 개념 - 통계학에서의 넓이에 대한 원칙
시각화에서 주의할 점인 넓이를 표시하는 원칙에 대해 알아보자.
29가지 통계 개념 - 평균으로부터 양쪽으로 떨어진 z-값 사이의 넓이
평균 양쪽의 z-값들 사이의 넓이를 구하는 방법에 대해 알아보자.
29가지 통계 개념 - 분산분석(Analysis of Variance)
분산분석의 개념과 방법에 대해 알아보자.
29가지 통계 개념 - 공분산분석(Analysis of Covariance)
분산분석(ANOVA; ANalysis Of VAriance) 와 회귀분석의 개념을 섞은 공분산분석(ANCOVA; ANalysis of COVAriance)에 대해 알아보자. 이 글을 이해하기 위해서는 아래의 글을 먼저 읽는 것이 좋다.
29가지 통계 개념 - Akaike’s Information Criterion(AIC)의 정의와 공식
Akaike’s Information Criterion 의 정의와 이를 구하는 방법에 대해 알아보자.
29가지 통계 개념 - 수정된 R제곱 무엇에 사용하는 것인가?
수정된 R제곱과 그 용도에 대해서 알아보자.
29가지 통계 개념- 정확도와 정밀도(Accuracy and Precision)
통계 용어 중 정확도(Accuracy)와 정밀도(Precision) 에 대해서 알아보자.
29가지 통계 개념 - 절대 오차와 평균 절대 오차(MAE)
절대 오차와 평균 절대 오차에 대해서 알아보자.
통계학도감 - 5장 가설 검정
가설 검정이란 무엇이며, 가설 검정의 다양한 방법에 대해 알아보자.
통계학도감 - 9장 회귀분석
회귀분석이란 무엇이며, 회귀분석 과정에서 사용하는 용어와 다양한 방법에 대해 알아보자.
GitHub Pages Jekyll Blog 에 MathJax 추가하기
이 글은 MathJax 를 GitHub Pages Jekyll blog 에 추가하는 방법을 다룬다. 이탤릭체로 된 부분은 본문에는 없고 제가 따라하면서 고치거나 추가한 부분이니 참고하세요.
29가지 통계 개념 - 통계학에서의 10% 조건이란 무엇인가?
모집단과 표본집단을 이용하는 경우 통계학에서 말하는 10% 조건이 무엇인지에 대해 알아보자.
GitHub 블로그에 Jupyter notebook 올리는 방법
여러분의 GitHub 블로그에 Jupyter notebook 을 바꿔서 올릴 수 있도록 도와줄 글입니다. 직접 바꾸는 방법은 1회성 글들을 위해서 추가했고, 변환 과정과 파일 이동, 그리고 여러분의 블로그에 올리는 것까지 한 번에 할 수 있는 자동화 bash 를 만드는 자세한 방법...
29가지 통계 개념 - 통계학에서의 68, 95, 99.7의 법칙(68 95 99.7 Rule in Statistics)
68 95 99.7의 법칙이란 무엇인가?
29가지 통계 개념 - ADF(Augmented Dicky Fuller) 검정
단위근 검정 방법 중 하나인 Augmented Dickey Fuller 검정에 대해 알아보자.
쉽게 풀어 쓴 29가지 통계 개념(29 Statistical Concepts Explained in Simple English)
이 자료는 데이터 과학과 관련된 특정 주제에 대한 연재물이며, 다룰 주제는 다음과 같다. 회귀분석, 군집화, 신경망, 딥러닝, 의사결정나무, 앙상블, 상관관계, 파이썬, R, 텐서플로우, SVM, 데이터 축소, 피쳐 선택, 실험 계획법, 교차검증, 모델 피팅 등. 이 글을 계속 받...