딥러닝으로 풀 수 있는 문제는 굉장히 많습니다.
간단한 이미지 분류 문제부터 문장 분류, 문장 생성, 자율주행, 대화형 챗봇 등 오늘날 딥러닝 모델은 무궁무진한 가능성을 보여주고 있습니다.
이에 대해 우리는 다음과 같은 질문을 생각해 볼 수 있습니다.
- 딥러닝의 한계가 있을까?
- 딥러닝으로 풀 수 없는 문제가 있을까?
- 딥러닝으로 풀 수 없는 문제가 있다면, 그 문제는 어떻게 풀어야 할까?
Universal Approximation Theorem
Universal Approximation Theorem (보편-근사 정리)는 이 질문들에 명확한 답변을 제공합니다.
A feed-forward network with a single hidden layer contating a finite number of neurons can approximate arbitrary well real-valued continuous function on compact subset of , under mild assumptions on the activation function.
이를 번역하면 다음과 같이 말할 수 있습니다.
유한한 뉴런으로 구성된 하나의 은닉층(hidden layer) 갖는 피드-포워드 신경망은, 어떤 컴팩트 셋 위의 리얼-밸류드 연속 함수에 근사될 수 있다. 물론, 활성 함수에 대한 유한 가정이 충족되어야한다.
다시 말하면, 층이 하나인 아주 간단한 형태의 신경망으로도 모든 연속 함수를 근사할 수 있다는 것입니다. 따라서 처음의 세 질문에 대한 답은 "딥러닝(피드-포워드 신경망)으로 모든 문제를 풀 수 있다."가 될 것입니다.
자세한 증명은 Multilayer Feedforward Networks are Universal Approximators - Kurt Honik에서 찾아보실 수 있습니다.
하지만...
Universal Approximation Theorem은 적절한 신경망으로 모든 문제를 풀 수 있다고 말하지만, 어떻게 그 적절한 신경망을 얻을 수 있는가에 대해서는 다루지 않습니다. 신경망의 적당한 깊이, 너비는 무엇인지, 초기값은 어떻게 설정해야하는지, 각 node의 가중치와 편향은 어떻게 계산하는 지 등의 문제에 대해서는 AutoML, Initialization Methodology, Gradient Descent 등 여러 연구가 진행되었고, 또 진행 중입니다.
References
