모두를 위한 딥러닝 1: Lecture 7 Application & Tips : Learning Rate , data Processing, Overfitting, Training/Test Data Set

Learning Rate

• Large Learning Rate : 큰 step으로 경사하강법을 함 ( Overshooting 발생 - 큰값으로 증가, 발산)

• Small Learning Rate : 너무 작은 step으로 경사하강법을 함 ( takes too long, stops at local minimum )

• Tip : 0.01로 시작하고 발산 정도에 따라 값을 수정해주는 것이 좋음

---

Data Processing

• Data가 편향되어 있는경우 데이터를 전처리 해줘야 하는 경우가 생김
  편향 조정 방법 : Zero-centered data, normalized data

Ex)Standarzation

---

Over-Fitting

• Over fitting이란 ? 과적합을 말하며 학습데이터에 너무 적합한 상태

• Over fitting 을 줄이는 방법
  1) 중복된걸 줄여주기
  2) 데이터 수를 늘리기
  3) 일반화 시키기 - regulation strength를 이용해서 W의 값을 조정해줌

---

Evalutaion

• 학습이 얼마나 잘됬는지 성능 평가

Training Data Set

• 학습을 시키는 데이터 셋, 절대로 Test data로 활용할 때 쓰면 안됨

Test Data Set

-Test Data Set : 절대로 Training Data로 활용할 때 쓰면 안됨

Online Learning

• 많은 데이터가 있을 때, 데이터를 분할해서 학습시키고 테스트 하는 방법