Inductive bias 정리

예측을 가능하게 만드는 학습 알고리즘의 가정

[참고] vector는 각 차원의 component로 구성된다. matrix는 각 행과 열의 element(entry)로 구성된다.

Bayes Classifier

[질문] Bayes Classifier에서 input vector x는 확률벡터인가? 즉, input vector x의 각 요소는 확률분포를 따르는가?

• input vector x는 score가 최대인 class k로 분류한다. Choose $c_k$ if $k = \argmax\limits_{k} \hat{f_k}(x;w)$

Naive Bayes Classifier

(Bayes Classifier)

• input vector x의 요소는 서로 독립이다.

Linear Classifier

(Bayes Classifier)

• input vector x와 parameter vector w_i를 내적하여 class k에 대한 score를 구한다. $\hat{f_k}(x;w) = w_k^tx$, for all class $k$

Binary Logistic Regression

(Naive Bayes Classifier)

• 확률을 score로 삼는다.

  $\hat{f_k}(x;w) = P(Y = c_k | X = x)$, $k \in \set{0, 1}$

• 확률은 input vector x와 parameter vector w_i 내적의 Sigmoid function 함숫값으로 표현된다.

  $P(Y = c_k | X = x) = \sigma(w^tx)$

• MLE를 사용하여 parameter vector w_i를 추정한다.

❓ MLE와, Sigmoid form이 확률인 이유의 관계를 알아보자.

Gaussian UVN Bayesian Classification: input value x가 정규분포를 따른다고 가정