• Overfitting

• Overfitting을 극복하는 4가지 방법

🧿 Overfitting(과적합)

Training loss는 점점 낮아지는데 Validation loss가 높아지는 현상

이를 해결하고 적당한 복잡도를 가진 모델을 찾아야한다.

📌 Data augmentation (데이터 증강기법)

Overfitting을 해결하는 가장 좋은 방법은 데이터를 늘리는 방법이다.

데이터가 부족할때 원본데이터를 가지고 여러가지 방법으로 데이터를 복사하는 방법이 데이터 증강기법

📌 Dropout (드랍아웃)

각 노드들이 이어진 선을 빼서 없애서 모델 복잡도는 낮추는 방법

너무 많은 노드들 중 일부만 사용하여 더 좋은 결과를 낼 수 있다.

📌 Ensemble (앙상블)

여러개의 딥러닝 모델을 만들어 각각 학습시킨 후 결과를 비교하는 방법. 컴퓨팅 파워가 충분할때 시도하기 쉽다.

📌 Learning rate decay

Learning rate를 점진적으로 낮춰서 효율적으로 Local minimum을 찾는 방법.

Learning rate가 줄어들때마다 Error값이 크게 떨어진다.

Reference: https://neurohive.io/en/popular-networks/resnet/