Booking.com 에서의 축차 검정 (Sequential Testing)
원문: Sequential Testing at Booking.com
통계적 검정과 회귀분석에서 자주 사용되는 정규성 가정과 정규성 검정에 대해 알아보자.
정규성 가정은 통계적 검정이나 회귀분석을 실행하기에 앞서 데이터가 종 모양의 분포를 대략적으로 따르는지 확인해야 한다는 것을 의미한다. 데이터가 정규분포를 따라야하는 검정들은 다음과 같다.
정규성 검정을 하는 방법으로는 크게 두 가지가 있다. 그래프를 눈으로 살펴보거나, 정규성 검정을 위해서 만들어진 검정을 실행하는 것이다. 하지만, 정규성을 만족하지 않는 데이터는 특정 종류의 테스트에 대해서 좋지 않은 성능을 보여주기도 한다 (예를 들어, 정규성 가정을 만족해야만 한다고 표기되어 있는 것들!). 그렇다면 데이터가 정규성 검정을 어느 정도로 만족해야 할까? 이는 판단하기 나름이다.
(일반적으로 통계학적인 지식에 기반하는) 이러한 판단을 내리기 껄끄럽다면, 통계적인 검정을 실행하는 것이 나을 것이다(검정 방법에 대해서는 아래를 참조하라). 즉, 어떤 검정들은 사용하기도 번거롭고, 검정 통계량과 임계값을 찾아야한다.
어떤 것을 선택해야하는지 헷갈리는가? 통계학에 대한 지식이 많지 않다면 해석하기 가장 쉬운 그래프는 히스토그램이다. 가장 쉬운 검정 방법은 아마도 자크-베라 검정(Jarque-Bera test)일 것이다.
Q-Q plot 은 두 가지 다른 분포를 비교한다. 만약 두 데이터셋이 서로 같은 분포에서 뽑혔다면, 데이터 포인트가 45도의 직선 위에 위치할 것이다. 이러한 종류의 그래프를 정규성 검정에 이용하기 위해서는 알려진 정규분포에 데이터를 비교해야 한다.
정규분포를 따르는 데이터의 상자그림(위)과 정규분포를 따르지 않는 데이터의 상자그림(아래)
데이터를 이용해서 상자그림을 그려보라. 데이터가 정규분포를 따른다면 상자그림은 좌우대칭이고, 평균과 중앙값이 가운데에 있는 형태를 띌 것이다. 데이터가 정규성 가정을 만족한다면 이상치(outlier)는 거의 없어야 한다.
대략적으로 정규분포를 따르는 데이터의 정규확률그림(Normal probability plot)
정규확률그림은 정규성 가정을 검정하기 위해서 만들어졌다. 만약 데이터가 정규분포에서 왔다면,
종모양을 가진 정규분포를 따르는 데이터, 출처: NASA
잘 알려진 히스토그램은 데이터가 정규성 가정을 만족하는 지에 대해 알려줄 수도 있다. 데이터가 종모양과 비슷하다면, 정규분포를 따를 수도 있다.
정규성 검정에는 엄청나게 많은 방법이 있다. 아래에 있는 대부분의 방법은 SPSS 와 같은 통계 패키지에서 사용할 수 있다.
카이제곱 정규성 검정(Chi-square normality test): 정규성 검정에 카이제곱 분포를 이용할 수도 있다. 이 방법의 장점은 사용하기에 쉽다는 것이지만, 아주 강력한 검정 방법은 아니다. 표본의 갯수가 작은 경우(20개 미만)에는 사용할 수 있는 유일한 방법일 것이다. 표본의 갯수가 많다면 훨씬 더 다양한 방법을 사용할 수도 있다.
디아고스티노-피어슨 검정(D’Agostino-Pearson test): 이 검정 방법은 왜도(skewness) 와 첨도(kurtosis) 를 사용해서 데이터가 정규분포와 일치하는 지를 살펴본다. 표본의 크기가 20개보다 큰 경우에만 사용할 수 있다.
자크-베라 검정(Jarque-Bera test): 이 일반적인 검정은 비교적으로 직관적이다. 디아고스티노-피어슨 검정과 마찬가지로 기본적인 아이디어는 정규분포에서 기대하는 왜도와 첨도와 데이터에서 얻은 값이 일치하는지를 살펴보는 것이다. JB 통계량이 클수록 정규분포에서 얻은 것일 확률이 높다.
콜모고로프-스미르노프 적합성 검정(Kolmogorov-Smirnov Goodness of Fit test): 이 방법은 알려진 분포(예를 들어, 정규분포) 와 주어진 데이터를 비교하는 방법이다.
릴리포스 검정(Liliefors test): 릴리포스 검정은 임계값과 비교할 수 있는 검정 통계량 T 를 계산한다. 검정 통계량이 임계값보다 크다면 데이터가 정규분포를 따르지 않는다는 신호라고 할 수 있다. 또한 유의수준과 비교할 수 있는 p-value 도 계산해준다.
샤피로-윌크 검정(Shapiro-Wilk test): 이 검정 방법은 임의의 표본이 정규분포에서 추출된 것인지를 알려준다. 검정 통계량 W 값을 주는데, 값이 작은 경우 주어진 데이터가 정규분포를 따르지 않는다는 것을 말해준다.
Assumption of Normality / Normality Test
원문: Sequential Testing at Booking.com
가장 좋은 방법은 당연히 영어 밖에 사용하지 못하는 환경에 강제로 처해지는 것이겠지만 그것이 어려우니…
고민의 흔적을 보여주세요
을 찾습니다.
원문: Charts & Accessibility
모수, 큰 수의 법칙, 그리고 중심극한정리에 대하여
그리고 여러분들도 (아마도) 하지 않아야 하는 이유
회사 서비스의 추천 시스템을 개선하기 위해 팀 내에서 (아직까진 두 명이긴 하지만) 지난 두 달 동안 스터디를 진행했습니다. 얼마 전 두 번째 스터디가 끝났고 이에 대한 회고를 해보려고 합니다.
원문: Dark Side of Data: Privacy by Emre Rencberoglu
원문: RStudio Projects and Working Directories: A Beginner’s Guide by Martin Chan
원문: TidyTuesday GitHub Repository
원문: How programming languages got their names
원문: How to Make Meetings Less Terrible 팟캐스트: How to Make Meetings Less Terrible (Ep. 389)
생키 다이어그램 (Sankey Diagram) 은 흐름(Flow) 다이어그램의 한 종류로써 그 화살표의 너비로 흐름의 양을 비율적으로 보여준다.
2년 전 일본어로 책을 내긴 했지만 대부분의 독자들이 이 책을 읽을 수는 없을 것 같았다.
자기회귀 모형이란 무엇인가?
회귀분석을 실행하기 위해 필요한 가정과 조건들에 대해 알아보자.
통계적 검정과 회귀분석에서 자주 사용되는 정규성 가정과 정규성 검정에 대해 알아보자.
여러 통계 검정과 모형에서 사용되는 독립성 가정에 대해 알아보자.
시계열 모형 중 ARMA 모형에대해 알아보자.
시각화에서 주의할 점인 넓이를 표시하는 원칙에 대해 알아보자.
평균 양쪽의 z-값들 사이의 넓이를 구하는 방법에 대해 알아보자.
분산분석의 개념과 방법에 대해 알아보자.
분산분석(ANOVA; ANalysis Of VAriance) 와 회귀분석의 개념을 섞은 공분산분석(ANCOVA; ANalysis of COVAriance)에 대해 알아보자. 이 글을 이해하기 위해서는 아래의 글을 먼저 읽는 것이 좋다.
Akaike’s Information Criterion 의 정의와 이를 구하는 방법에 대해 알아보자.
수정된 R제곱과 그 용도에 대해서 알아보자.
통계 용어 중 정확도(Accuracy)와 정밀도(Precision) 에 대해서 알아보자.
절대 오차와 평균 절대 오차에 대해서 알아보자.
가설 검정이란 무엇이며, 가설 검정의 다양한 방법에 대해 알아보자.
회귀분석이란 무엇이며, 회귀분석 과정에서 사용하는 용어와 다양한 방법에 대해 알아보자.
이 글은 MathJax 를 GitHub Pages Jekyll blog 에 추가하는 방법을 다룬다. 이탤릭체로 된 부분은 본문에는 없고 제가 따라하면서 고치거나 추가한 부분이니 참고하세요.
모집단과 표본집단을 이용하는 경우 통계학에서 말하는 10% 조건이 무엇인지에 대해 알아보자.
여러분의 GitHub 블로그에 Jupyter notebook 을 바꿔서 올릴 수 있도록 도와줄 글입니다. 직접 바꾸는 방법은 1회성 글들을 위해서 추가했고, 변환 과정과 파일 이동, 그리고 여러분의 블로그에 올리는 것까지 한 번에 할 수 있는 자동화 bash 를 만드는 자세한 방법...
68 95 99.7의 법칙이란 무엇인가?
단위근 검정 방법 중 하나인 Augmented Dickey Fuller 검정에 대해 알아보자.
이 자료는 데이터 과학과 관련된 특정 주제에 대한 연재물이며, 다룰 주제는 다음과 같다. 회귀분석, 군집화, 신경망, 딥러닝, 의사결정나무, 앙상블, 상관관계, 파이썬, R, 텐서플로우, SVM, 데이터 축소, 피쳐 선택, 실험 계획법, 교차검증, 모델 피팅 등. 이 글을 계속 받...