2016년 모든 데이터 사이언티스트가 알아야할 10+2 가지 데이터 사이언스 방법론

2년 전 일본어로 을 내긴 했지만 대부분의 독자들이 이 책을 읽을 수는 없을 것 같았다.

실제로 이 책은 10가지 주로 사용하는 데이터 사이언스 방법론들을 요약해놓은 것이다. 하지만 2년이 지나면서 책의 내용이 조금 뒤쳐졌다. 통계학과 머신러닝 분야가 발전함에 따라 당연히 향후에도 업데이트가 필요할 것이다. 아래는 2016년을 기준으로 모든 데이터 사이언티스트가 알아야한다고 생각하는 10+2 가지 방법론들이다.

  1. 통계적 가설 검정 (t 검정, 카이제곱 검정, 분산분석)
  2. 다중 회귀분석 (선형 모형)
  3. 일반화 선형 모형 (로지스틱 회귀, 포아송 회귀)
  4. 랜덤포레스트
  5. XGBoost (eXtreme Gradient Boosted Trees)
  6. 딥러닝
  7. MCMC 를 이용한 베이지안 모델링
  8. word2vec
  9. k-평균 클러스터링
  10. 그래프 이론과 네트워크 분석
  • 잠재 디리클레 할당 (LDA: Latent Dirichlet Allocation) 과 토픽 모델링

  • 팩터라이제이션 (Facorization; SVD, NMF)

위의 10가지는 내가 잘 알고 있고, 매일 업무에서 사용하는 것들이지만, 마지막 두 가지는 실제 비지니스에 내가 직접적으로 사용해보지는 않았지만, 운영 매니저로 일하면서 친했던 동료들이 사용하는 것은 보았다. 그렇기 때문에 앞의 10가지에 대해서는 실제 예제를 이용한 R 또는 파이썬 코드가 있지만, 뒤의 두 가지는 다른 도움말 등에서 제공해주는 일반적인 예제들만 있을 뿐이다. 이 중 일부는 gcc / clang 컴파일러나 H2O와 같은 java 런타임 환경을 요구하기도 한다.

자 그럼 이제 시작해보자.

출처: 10+2 Data Science Methods that Every Data Scientist Should Know in 2016

2020

사내 스터디에 대한 회고

1 minute read

회사 서비스의 추천 시스템을 개선하기 위해 팀 내에서 (아직까진 두 명이긴 하지만) 지난 두 달 동안 스터디를 진행했습니다. 얼마 전 두 번째 스터디가 끝났고 이에 대한 회고를 해보려고 합니다.

Back to top ↑

2019

GitHub 블로그에 Jupyter notebook 올리는 방법

3 minute read

여러분의 GitHub 블로그에 Jupyter notebook 을 바꿔서 올릴 수 있도록 도와줄 글이다. 직접 바꾸는 방법은 1회성 글들을 위해서 추가했고, 변환 과정과 파일 이동, 그리고 여러분의 블로그에 올리는 것까지 한 번에 할 수 있는 자동화 bash 를 만드는 자세한 방법...

Back to top ↑

less than 1 minute read

1 minute read

Back to top ↑