1. 로그
(1) 정의
: 어떤 수를 나타내기 위해 고정된 밑을 몇 번 곱해야 하는 지 표현. 지수함수의 역함수.
- 이진로그: 밑이 2인 로그
- 자연로그: 특정 상수를 밑으로 하는 로그
- 상용로그(10진로그): 10을 밑으로 하는 로그
(2) 공통점: x가 1일 때, y는 0이다.
2. 정보 엔트로피
(1) 전제
- 불리언처럼 참/거짓의 이진법으로 구성된 정보량을 전송해야 함을 전제
- 질문의 개수 = log2(가능한 결과의 수)
(2) Decision Tree에서의 엔트로피
- 엔트로피는 불확실성의 측정을 의미
- 가능한 모든 사건이 동일한 확률을 가질 때, 엔트로피는 최댓값을 갖게 된다
- 최적의 전략 하에서 그 사건을 예측하는 데에 필요한 질문의 갯수 (="기댓값"
3. 분산감소기법
유저가 왜 그랬을까