[딥러닝] Linear Regression

SSOYEONG·2022년 4월 7일
0

Deep Learning

목록 보기
1/14
post-thumbnail

Linear Regression

  • 주어진 데이터들을 바탕으로 추론해서 가장 fit한 line을 추정
  • Finding a linear equation that represents the correlation of the data.

Cost Function

  • 추론한 직선이 데이터에 얼마나 적합한지 수치화한다.

    MSE(Mean Squread Error

  • 제곱하는 이유? 상쇄되어 0이 나올 수도 있음

  • cost를 통해서 W와 b가 데이터를 얼마나 잘 설명하고 있는지 측정할 수 있다.

Cost Function Minimization

  • Cost를 최소화해야 한다.

    W에 대한 Cost

  1. 처음에 랜덤하게 W를 찍는다.
  2. 그 점에서 기울기를 구한다.
  3. 기울기 > 0 ? 음수 방향 : 양수 방향
  4. 2~3번을 반복한다.

Gradient Descent

  • A first-order iterative optimization algorithm
  • 수식 중요
  • cost(W)를 미분 (기울기 구하기)
  • 마이너스(-)를 붙여 반대 방향으로 이동
  • 알파는 Learning Rate
  • := W를 업데이트

Gradient Descent의 한계

  • Gradient Descent가 항상 global minima를 구하는 것은 아니다.
  • Local minima에 빠질 수도 있다.

Learning Rate

  • 알파가 너무 작으면 조금씩 업데이트 되어 goal에 천천히 도달한다.
    --> Loss 변화 없음
  • 알파가 너무 크면 반대 방향으로 넘어간다.
    --> Loss 폭발
  • 보통 10^(-3)부터 시작하여 조정해 나간다.

📌 Note

  • Gradient Descent 식 알아두기
profile
Übermensch

0개의 댓글