둘 다 여러 변수 사이의 관계/함수/모델 f를 구한다.
f의 형식은 결정해야하고, 그 형식에 포함된 매개변수를 찾아야 한다.
회귀라 하자.
통계는 가설검정을 통해 변수를 선택하고 최적화 기법으로 매개변수를 계산한다.
머신러닝은 프로그램에 데이터를 학습시켜 매개변수를 구한다.
기계학습은 모델을 세우고 데이터셋을 학습하여 새로운 데이터를 예측하는 귀납적 추론 시스템이다. 어떤 기계학습 방법론에서는 데이터의 분포나 모델의 형태를 정할 때 통계 지식을 “이용”하여 컴퓨터에게 시킬 알고리즘을 구축한다. (수업시간에 다룬 모델은 전부 해당) 다시 말해, 통계 이론에 기반하여 inductive bias를 설정한다.
통계도 마찬가지로 모집단 분포를 표본을 통해 추정하는 시스템이므로 기계학습의 요소가 통계적 작업과 비슷해 보인다.
기계학습에서 모델을 학습할 때 통계적 추정이 이뤄진다. 구체적으로, 기계학습의 손실함수가 통계적 추정의 근거인 수리적 기법(MLE, MAP)을 이용하여 수립된다.