딥러닝의 핵심 구성

Data

Model

Loss

Optimization (Algorithm)

• optimzier
  : 미분값을 활용하여, loss를 줄여가는 알고리즘
• Dropout, Early stopping, k-fold validataion, weight decay, Batch normalization, MixUp, Ensemble, Bayesian optimization
  : 학습이 오히려 잘 안되도록 처리하는 테크닉
  -> 다양한 테크닉을 함께 사용함으로써 학습 데이터 뿐만아니라, 학습하지 않은 새로운 데이터에서도 잘 동작하도록 한다.

Neural Network (MLP)

정의

: affine transformation(행렬을 곱하는.. linear transformation)과 nonlinear transformation(activation function)이 반복적으로 일어나는, 데이터로부터 원하는 결과를 얻어낼 수 있는
"어떤 함수에 대한 approximator"