• 도입부 원문

<aside> 📌

inductive bias는 귀납적 추론(inductive inference)를 연역적 추론(deductive inference)로 변환시켜주는 역할이다.

</aside>

즉, 훈련 데이터셋과 더불어 “학습에 대한 inductive bias”가 함께 주어지면 학습된 모델은 새로운 어떤 인스턴스에 대해 언제나 같은 예측 결과를 출력한다.

⇔ 새로운 인스턴스 $x_i$에 대한 $L(x_i, D_c)$ 함숫값이 언제나 결정적이다.

$$ (\forall{x_i} \in X)[(B \land D_c \land x_i) \vdash L(x_i, D_c)] $$

그림에서, 귀납적 시스템에 내포되었던 귀납적 추론의 규칙이 같은 연역적 시스템의 inductive bias로 입력에 명시된다. 참고로 귀납적 추론은 시스템 내부에서 절차적으로 수행되며, 시스템 외부에서 선언적으로 이해할 수 없다. (”선언적”이라는 말은 프로그래밍 패러다임에서 가져옴)

유도 추론 시스템을 그들의 유도 편향 측면에서 보는 것의 한 가지 장점은 관찰된 데이터를 넘어 일반화하는 정책을 비절차적으로 특징짓는 방법을 제공한다는 것이다.

• ⇔ 같은 훈련 데이터와 새로운 인스턴스를 학습하는 다양한 방법을 inductive bias에 따라 “구분”할 수 있다. inductive bias가 없다면 학습 알고리즘 간 비절차적인 구분이 어렵다.

두 번째 장점은 그들이 사용하는 유도 편향의 강도에 따라 서로 다른 학습자를 비교할 수 있게 한다는 것이다. 예를 들어, 다음 세 가지 학습 알고리즘을 생각해 보자. 이들은 약한 편향에서 강한 편향 순으로 나열된다.