본 블로그의 모든 글은 직접 공부하고 남기는 기록입니다.
잘못된 내용이나 오류가 있다면 언제든지 댓글 남겨주세요.

What is Inductive bias?

귀납에 사용되는 편향이라는 뜻으로,
딥러닝에서는 모델이 데이터에 대해 가진 설계적 편향을 의미합니다.

CNN을 예로 들어보겠습니다.

CNN는 convolution 연산이라는 특이한 메커니즘을 가지고 있습니다. 이미지 데이터에서 local information을 뽑아내어 feature map을 만들기 위한 방법이죠. 다시 말해서 이미지 데이터에 local information이 존재한다는 것을 전제하고 설계된 것입니다.

이게 바로 inductive bias입니다.

Inductive bias와 모델 설계 철학

inductive bias는 사전에 처리할 데이터에 대한 정보가 있을 때 유용합니다. 하지만 사전에 처리할 데이터에 대한 정보가 없거나, 여러 종류의 데이터를 처리해야 할 때는 오히려 성능을 저하시킬 수 있습니다. 또한 inductive bias가 있는 모델이 없는 모델보다 반드시 성능적 우위를 갖는 것은 아닙니다.

현대 딥러닝 설계 철학 중 end-to-end는 inductive bias를 포함하여 모델 설계과정에서 포함될 수 있는 가정과 편향을 최대한 배제하는 것을 목표로 합니다. 그런데 inductive bias가 없는 모델은 있는 모델보다 상대적으로 더 많은 데이터를 학습에 사용하는 경향이 있기 때문에, 대부분의 딥러닝 모델들이 많은 데이터를 필요로 하는 특성을 갖게 됩니다.