# Gradient Descent

23개의 포스트
post-thumbnail

PyTorch 익히기 - Linear Regression & Gradient Descent

Pytorch를 간단히 다루어본 적이 있는데, 앞으로의 연구에 익숙하게 활용하기 위해 Pytorch 내용을 정리해보려 한다.

2022년 7월 11일
·
0개의 댓글
·
post-thumbnail

[AI 기초 다지기] 7. 경사하강법 (gradient descent)

부스트코스 Pre-Course 강의내용 정리

2022년 7월 11일
·
0개의 댓글
·
post-thumbnail

Stochastic Gradient Descent

딥러닝의 중요한 포인트.Gradient descent, Stochastic gradient descent, mini batch stochastic gradient descent.Q. Gradient Descent 알고리즘이 뭐에요?A. Gradient descent 알

2022년 7월 1일
·
0개의 댓글
·
post-thumbnail

Gradient Descent 모델 구현

나이를 기준으로, 키를 예측하는 선형 예측 회귀 모델을 생성하자. 목표: 오차함수로, MSE를 사용하고 오차를 줄이기 위해 Gradient Descent를 사용하자. 모델 구현의 편의를 위해, Feature Vector(나이)의 차원은 1D로 사용한다. 사용될 데이터는

2022년 4월 25일
·
0개의 댓글
·
post-thumbnail

목적함수(Objective Function)

KeywordsObjective FunctionMSEIndependent Variable, Dependent Variable Regression 신경망의 학습능력을 평가하는 지표이다. 출력층의 예측값 (가중치+편향)과 실제값의 차이를 수학적으로 접근하는 기법이다. Th

2022년 4월 15일
·
0개의 댓글
·
post-thumbnail

Python 경사하강법(BGD), 확률적경사하강법(SGD), 미니배치 구현하기

BGD(Batch Gradient Descent):전체 학습 데이터를 기반으로 계산예를들어 피처가 100개라고 생각하면 뉴럴네트워크에서 weight의 개수가 기하급수적으로 증가한다. 이를 GD로 계산하는데는 많은 computing자원이 소모된다. 이를 극복하기 위해 S

2022년 4월 3일
·
0개의 댓글
·
post-thumbnail

Gradient Descent (경사하강법)과 기초 수학

Keywords Gradient Descent (경사하강법)은 예측값과 타겟값의 차이를 최소 또는 0으로 만들기위해 사용되는 테크닉중 하나이다. (머신러닝의 기본은 최적값, Optimization을 하는 과정) 아래 키워드는 Gradient Descent를 이해하기위

2022년 4월 3일
·
0개의 댓글
·
post-thumbnail

Logistic Regression (Notation, Cost Function, Gradient Descent)

Binary Classification classification의 결과가 0 또는 1인 것을 의미한다. 예를 들면 사진 하나를 보여주고 이 사진이 고양이이면 1, 고양이가 아니면 0을 뱉는 classification model은 binary classificatio

2022년 3월 12일
·
0개의 댓글
·
post-thumbnail

[Boostcamp AI Tech] AI Math 3강

[Boostcamp AI Tech] 경사하강법(순한맛)

2022년 1월 19일
·
0개의 댓글
·
post-thumbnail

Gradient Descent: 경사하강법

미분이란? 미분은 어디에 쓸까? 변수가 벡터라면?

2021년 12월 27일
·
0개의 댓글
·

경사하강법

Chapter 1 sigmoid는 어디에서나 미분이 가능하다. -34 $w1x1 +w2x2 + b$ 는 $[w1, w2,b]\cdot[x1,x2,1]$ 로 표현될 수 있다. 컴퓨터에서는 내적계산이 용이하므로 이러한 특성을 잘 활용하면 좋다. -36 픽셀마다 중요도

2021년 12월 8일
·
0개의 댓글
·
post-thumbnail

[논문리뷰] 경사하강법 알고리즘

경사하강법 알고리즘 논문을 보면서 미약하지만 정리하였습니다.

2021년 11월 26일
·
0개의 댓글
·
post-thumbnail

4일차 gradient descent

\*20210914 11시 줌 강의, 업로드 동의를 받았습니다. 오차 (error): 용어(차이를 작게) 에러를 최소화 시키고 싶다 -> gradient descent(경사하강법)를 사용하는 이유에러-cost function error=cost=distance 같은 언

2021년 9월 14일
·
4개의 댓글
·
post-thumbnail

Optimization Methods

이전에는 Gradient Descent를 사용해서 parameter를 업데이트하고 Cost Function을 최소화했다. 이번에는 다른 Optimization Method를 통해 속도를 높이고 비용을 최소화하는 알고리즘을 배워보자.언제나 그랬듯, package먼저 다운

2021년 8월 27일
·
0개의 댓글
·
post-thumbnail

AI Tech - Optimization

용어에 대해 명확한 개념을 잡고 넘어가자.Gradient Descent줄어들었을 때, optimal에 이를 것이라 기대하는 loss function parameter로 , loss function을 편미분한 값으로 학습local minimum을 찾는다.imageGene

2021년 8월 13일
·
0개의 댓글
·