29가지 통계 개념 - 공분산분석(Analysis of Covariance)
분산분석(ANOVA; ANalysis Of VAriance) 와 회귀분석의 개념을 섞은 공분산분석(ANCOVA; ANalysis of COVAriance)에 대해 알아보자. 이 글을 이해하기 위해서는 아래의 글을 먼저 읽는 것이 좋다.
공분산분석이란 무엇인가?
공분산분석은 분산분석고 회귀분석을 섞은 것이다. 이는 다른 변수들의 영향 없이 한 번에 하나의 변수만을 고려함으로써 얻을 수 있는 추가적인 정보에 대해 말해준다는 점에서 이원분산분석(factorial ANOVA, two-way ANOVA) 와 비슷하다. 그리고 다음과 같이 사용할 수 있다:
- 여러 회귀선을 비교하는 다중회귀의 확장
- 분산분석의 확장
비록 ANCOVA 가 주로 여러분의 기준(baseline) 집단들 사이에 차이가 있을 때 사용하지만(Senn 1994; Overall, 1993) 평균으로의 회귀가 사후검정의 측정에 영향을 줄 때 사전검정/사후검정 분석에 사용할 수 있다(Bonate, 2000). 이 기법은 비실험적 연구(설문조사와 같은) 와 유사 실험(quasi-experiments; 연구의 참가자가 임의로 할당될 수 없는 경우)에도 일반적으로 사용한다. 하지만 항상 이런 특수한 경우에 ANCOVA 를 사용하는 것을 추천하지는 않는다(Vogt, 1999).
다중 회귀의 확장
다중 회귀의 확장으로 사용할 때 ANCOVA 는 모든 회귀선의 기울기가 동일할 때 어떤 회귀선의 절편값이 다른지를 검정할 수 있다.
회귀분석과 마찬가지로, ANCOVA 는 독립변수가 종속변수에 어떻게 작용하는지를 살펴볼 수 있게 한다. ANCOVA 는 여러분이 살펴보고자 하는 변수가 아닌 공변량의 영향을 모두 제거한다. 예를 들어, 여러분이 교수 능력의 수준이 수학 과목에 있어서 학생의 학습 능력에 끼치는 영향에 대해 알아보고 싶어한다고 하자; 이러한 경우 학생들을 임의로 교실에 배정할 수 없을 수도 있다. 그렇다면 여러분은 다른 교실에 있는 학생들 사이에 계통적인 차이를 고려해야만 한다(예를 들어, 똑똑한 학생과 일반적인 학생 사이에 존재하는 수학 실력의 차이).
예시
신약이 우울증에 효과가 있는지 알아보고자 한다. 연구에는 세 실험군과 하나의 대조군이 있다. 일반적인 ANOVA 는 그 치료가 효과가 있는지를 알려준다. ANCOVA 는 결과에 영향을 줄 수 있는 다른 요인들에 대해서도 통제할 수 있다. 예를 들자면, 가족 생활, 직업, 또는 복용하는 약 등
ANOVA 의 확장
ANOVA 의 확장으로써 ANCOVA 는 두 경우로 사용할 수 있다(Leech et. al, 2005):
- 연구의 주 목적이 아닌 공변량(주로 연속형이거나 척도를 가지는 변수)을 통제하기 위해서
- 예측변수로써 범주형 변수와 연속형 또는 척도를 가지는 변수의 조합을 연구하기 위해서. 이 경우에는 공변량에 관심이 있다.
집단내 변동
ANCOVA 는 집단내 변동을 설명할 수 있다. ANCOVA 는 변수(또는 다른 공변량)들을 합성함으로써 ANOVA 검정에서 설명할 수 없었던 변동을 설명하려고 한다 여러 가능한 공변량을 사용할 수도 있다. 하지만 더 많은 값들을 넣을수록 자유도는 줄어든다. 약한 공변량을 포함시키는 것은 통계적인 검정력을 낮추기 때문에 좋은 생각이 아니다. 검정력이 낮을수록 해당 검정의 결과를 믿을 수 있는 확률이 낮아진다. 강한 공변량은 그 반대의 효과가 있다: 이는 해당 검정의 검정력을 증가시킨다.
ANCOVA 의 일반적인 절차
일반적인 절차는 다음과 같다:
- 독립변수와 종속변수에 대해 회귀분석을 실시한다.
- 그 결과로부터 나온 잔차를 확인한다.
- 잔차에 대해 ANOVA 를 실시한다.
ANCOVA 에서의 가정들
ANCOVA 에서의 가정들은 ANOVA 에서의 가정들과 기본적으로는 동일하다. 검정을 시행하기 전에 아래 항목들을 만족하는지 확인하라.
- 독립변수(최소 2개) 는 범주형이어야 한다.
- 종속변수와 공변량은 연속형이어야한다(등간척도 또는 비율척도).
- 공변량과 종속변수는 (모든 수준의 독립변수에서) 선형적으로 연관 되어야 한다.
- 자료는 각각의 독립변수 값에 대해 종속변수는 등분산성 을 가져야 한다.
- 공변량과 독립변수는 교호작용이 없어야 한다. 다른 말로 하자면, 회귀계수에 동차성(homogeneity) 을 만족해야 한다.
참고 자료:
- Bonate, P. (2000). Analysis of Pretest-Posttest Designs. CRC Press.
- Horn, R. (n.d.). Understanding Analysis of Covariance. Retrieved October 26, 2017 from: http://oak.ucc.nau.edu/rh232/courses/eps625/
- Leech, N. et. al (2005). SPSS for Intermediate Statistics: Use and Interpretation. Psychology Press.
- Overall, J. (1993). Letter to the editor: The use of inadequate correlations for baseline imbalance remains a serious problem. J.Biopharm. Stat. 3, 271.
- Senn, S. (1994). Testing for baseline balance in clinical trials. Statistics in Medicine. Volume 13, Issue 17.
- Vogt, W. P. (1999). Dictionary of Statistics and Methodology: A Nontechnical Guide for the Social Sciences (2nd ed.). Thousand Oaks, CA: Sage Publications.
출처:
ANCOVA: Analysis of Covariance
2022
Back to top ↑2020
모수, 큰 수의 법칙, 그리고 중심극한정리
모수, 큰 수의 법칙, 그리고 중심극한정리에 대하여
번역] 내가 COVID19 데이터를 시각화하지 않는 이유
그리고 여러분들도 (아마도) 하지 않아야 하는 이유
사내 스터디에 대한 회고
회사 서비스의 추천 시스템을 개선하기 위해 팀 내에서 (아직까진 두 명이긴 하지만) 지난 두 달 동안 스터디를 진행했습니다. 얼마 전 두 번째 스터디가 끝났고 이에 대한 회고를 해보려고 합니다.
번역] 데이터의 어두운 면 - 개인정보 (Dark Side of Data:Privacy)
원문: Dark Side of Data: Privacy by Emre Rencberoglu
번역] 초보자를 위한 RStudio 의 프로젝트 와 작업 디렉토리
원문: RStudio Projects and Working Directories: A Beginner’s Guide by Martin Chan
번역] 몇 가지 추천 시스템에 대한 개괄
원문: An Overview of Several Recommendation Systems
번역] Tidy Tuesday 이벤트에 대한 소개
원문: TidyTuesday GitHub Repository
번역] 프로그래밍 언어들의 이름을 지은 방법
원문: How programming languages got their names
2019
번역] 회의를 덜 끔찍하게 만드는 방법
원문: How to Make Meetings Less Terrible 팟캐스트: How to Make Meetings Less Terrible (Ep. 389)
R 에서 networkD3 를 이용해서 샌키 다이어그램(Sankey Diagram) 그리기
생키 다이어그램 (Sankey Diagram) 은 흐름(Flow) 다이어그램의 한 종류로써 그 화살표의 너비로 흐름의 양을 비율적으로 보여준다.
번역] 2016년 모든 데이터 사이언티스트가 알아야할 10+2 가지 데이터 사이언스 방법론
2년 전 일본어로 책을 내긴 했지만 대부분의 독자들이 이 책을 읽을 수는 없을 것 같았다.
번역] 29가지 통계 개념 - 회귀분석의 가정과 조건들
회귀분석을 실행하기 위해 필요한 가정과 조건들에 대해 알아보자.
번역] 29가지 통계 개념 - 정규성 가정
통계적 검정과 회귀분석에서 자주 사용되는 정규성 가정과 정규성 검정에 대해 알아보자.
29가지 통계 개념 - 독립성 가정
여러 통계 검정과 모형에서 사용되는 독립성 가정에 대해 알아보자.
29가지 통계 개념 - ARMA 모형
시계열 모형 중 ARMA 모형에대해 알아보자.
29가지 통계 개념 - 통계학에서의 넓이에 대한 원칙
시각화에서 주의할 점인 넓이를 표시하는 원칙에 대해 알아보자.
29가지 통계 개념 - 평균으로부터 양쪽으로 떨어진 z-값 사이의 넓이
평균 양쪽의 z-값들 사이의 넓이를 구하는 방법에 대해 알아보자.
29가지 통계 개념 - 분산분석(Analysis of Variance)
분산분석의 개념과 방법에 대해 알아보자.
29가지 통계 개념 - 공분산분석(Analysis of Covariance)
분산분석(ANOVA; ANalysis Of VAriance) 와 회귀분석의 개념을 섞은 공분산분석(ANCOVA; ANalysis of COVAriance)에 대해 알아보자. 이 글을 이해하기 위해서는 아래의 글을 먼저 읽는 것이 좋다.
29가지 통계 개념 - Akaike’s Information Criterion(AIC)의 정의와 공식
Akaike’s Information Criterion 의 정의와 이를 구하는 방법에 대해 알아보자.
29가지 통계 개념 - 수정된 R제곱 무엇에 사용하는 것인가?
수정된 R제곱과 그 용도에 대해서 알아보자.
29가지 통계 개념- 정확도와 정밀도(Accuracy and Precision)
통계 용어 중 정확도(Accuracy)와 정밀도(Precision) 에 대해서 알아보자.
29가지 통계 개념 - 절대 오차와 평균 절대 오차(MAE)
절대 오차와 평균 절대 오차에 대해서 알아보자.
통계학도감 - 5장 가설 검정
가설 검정이란 무엇이며, 가설 검정의 다양한 방법에 대해 알아보자.
통계학도감 - 9장 회귀분석
회귀분석이란 무엇이며, 회귀분석 과정에서 사용하는 용어와 다양한 방법에 대해 알아보자.
GitHub Pages Jekyll Blog 에 MathJax 추가하기 (Adding MathJax to a GitHub Pages Jekyll Blog)
이 글은 MathJax 를 GitHub Pages Jekyll blog 에 추가하는 방법을 다룬다. 이탤릭체로 된 부분은 본문에는 없고 제가 따라하면서 고치거나 추가한 부분이니 참고하세요. 절차
29가지 통계 개념 - 통계학에서의 10% 조건이란 무엇인가?
모집단과 표본집단을 이용하는 경우 통계학에서 말하는 10% 조건이 무엇인지에 대해 알아보자.
GitHub 블로그에 Jupyter notebook 올리는 방법
여러분의 GitHub 블로그에 Jupyter notebook 을 바꿔서 올릴 수 있도록 도와줄 글이다. 직접 바꾸는 방법은 1회성 글들을 위해서 추가했고, 변환 과정과 파일 이동, 그리고 여러분의 블로그에 올리는 것까지 한 번에 할 수 있는 자동화 bash 를 만드는 자세한 방법...
29가지 통계 개념 - 통계학에서의 68, 95, 99.7의 법칙(68 95 99.7 Rule in Statistics)
68 95 99.7의 법칙이란 무엇인가?
29가지 통계 개념 - ADF(Augmented Dicky Fuller) 검정
단위근 검정 방법 중 하나인 Augmented Dickey Fuller 검정에 대해 알아보자.
쉽게 풀어 쓴 29가지 통계 개념(29 Statistical Concepts Explained in Simple English)
이 자료는 데이터 과학과 관련된 특정 주제에 대한 연재물이며, 다룰 주제는 다음과 같다. 회귀분석, 군집화, 신경망, 딥러닝, 의사결정나무, 앙상블, 상관관계, 파이썬, R, 텐서플로우, SVM, 데이터 축소, 피쳐 선택, 실험 계획법, 교차검증, 모델 피팅 등. 이 글을 계속 받...